데이비드 실버의 UCL 강화학습 강의를 따라가는 시리즈의 첫 강이다. 슬라이드 순서를 그대로 따라, 강화학습이라는 문제 자체를 먼저 정의한다.

강의 슬라이드: PDF

강화학습의 여러 얼굴

강화학습을 기계학습의 한 가지 기법쯤으로 여기기 쉽지만, 실버는 강의를 그 반대편에서 연다. 강화학습은 훨씬 오래되고 넓은 질문, 곧 “시간에 걸쳐 좋은 결정을 어떻게 내리는가"에 컴퓨터과학이 붙인 이름일 뿐이라는 것이다.

같은 질문이 여러 학문에서 저마다의 이름으로 되풀이된다.

  • 컴퓨터과학에서는 기계학습.
  • 공학에서는 최적 제어(optimal control).
  • 신경과학에서는 뇌의 보상 시스템, 곧 도파민 신호.
  • 심리학에서는 고전적 조건형성과 조작적 조건형성.
  • 수학에서는 운용과학(operations research).
  • 경제학에서는 제한된 합리성과 게임이론.

실버의 슬라이드는 이 분야들을 강화학습을 한가운데 둔 바큇살처럼 그린다. 서로 다른 동네에서 출발한 사람들이 결국 같은 문제, 곧 의사결정의 과학 앞에 모인 그림이다. 강화학습이 유난히 근본적으로 느껴지는 이유가 여기 있다. 새로 발명된 기교가 아니라, 여러 학문이 제각기 맴돌던 오래된 물음을 한자리에 세운 것이기 때문이다.

강화학습은 무엇이 다른가

지도학습과 비교하면 강화학습에는 없는 것이 많다.

  • 정답을 알려주는 지도자가 없다. 오직 보상(reward) 신호만 있다.
  • 피드백이 즉각적이지 않고 지연된다. 지금의 선택이 한참 뒤에야 결과로 돌아온다.
  • 데이터가 독립적이지 않다. 시간 순서가 있는 순차적 데이터다.
  • 에이전트의 행동이 이후에 받을 데이터를 바꾼다.

즉 강화학습은 정답을 맞히는 문제가 아니라, 시행착오 속에서 좋은 행동을 찾아가는 문제다.

보상, 그리고 보상 가설

보상 $R_t$는 매 시점 에이전트가 얼마나 잘하고 있는지를 알려주는 스칼라 신호다. 강화학습의 목표는 단순하다. 누적 보상을 최대로 만드는 것.

이것을 한 문장으로 못박은 것이 보상 가설이다. “모든 목표는 기대 누적 보상의 최대화로 나타낼 수 있다.” 게임의 승리든 로봇의 걸음이든, 전혀 달라 보이는 목표가 전부 하나의 보상 신호로 번역된다는 주장이다.

보상이 지연된다는 점도 핵심이다. 당장의 보상을 포기하고 먼 미래의 더 큰 보상을 택해야 할 때가 많다.

예: 목표를 보상으로 옮기기

보상 가설이 공허하게 들릴 수 있으니, 실버가 든 예들을 보상 설계의 눈으로 하나씩 보자. 서로 전혀 달라 보이는 목표가 어떻게 하나의 보상으로 옮겨지는지가 핵심이다.

  • 헬리콥터 곡예 비행: 원하는 궤도를 따를수록 +, 추락하면 큰 −. 매 순간 궤도 오차로 촘촘한 보상을 줄 수 있어 학습이 비교적 수월하다.
  • 백개먼 세계 챔피언 이기기: 이기면 +1, 지면 −1, 그 외엔 0. 보상이 게임 끝에만 나오는 지연·희소 보상이라, 어느 수가 승리에 기여했는지 되짚는 신용 할당이 어렵다.
  • 투자 포트폴리오 운용: 매 시점 늘어난 잔고만큼 +. 즉각적이고 자연스러운 보상이지만, 위험을 담지 않으면 에이전트가 도박에 가까운 전략으로 흐른다. 보상에 무엇을 빠뜨렸는지가 문제가 되는 대목이다.
  • 발전소 제어: 전력을 생산하면 +, 안전 한계를 넘으면 −. 목표가 하나가 아니라 성능과 안전을 한 보상 안에서 저울질해야 한다. 제약을 음의 보상으로 녹이는 흔한 설계다.
  • 휴머노이드 로봇 걷기: 앞으로 나아가면 +, 넘어지면 −. 단순해 보이지만 “앞으로"에만 큰 보상을 주면 앞으로 자빠지는 식으로 보상을 악용하기 쉽다. 보상 설계의 함정(reward shaping)이 잘 드러나는 예다.
  • 아타리 게임을 사람보다 잘하기: 점수가 오르면 +, 내리면 −. 이미 있는 게임 점수를 그대로 쓰는 편의가 있지만, 점수가 진짜 목표와 어긋나면 점수만 파먹는 행동이 나오기도 한다.

백개먼 보드

백개먼. 두 사람이 주사위를 굴려 각자 15개의 말을 반대 방향으로 옮겨, 먼저 다 빼내면 이기는 2인용 보드게임이다. 승패가 마지막에야 갈리니 보상이 지연된다. (사진: Ptkfgs, 퍼블릭 도메인)

여섯을 관통하는 교훈은 이렇다. 강화학습에서 가장 창의적이고 가장 위험한 일은 학습 알고리즘이 아니라 보상을 정하는 일이다. 목표를 잘못 번역하면 에이전트는 우리가 원한 것이 아니라 우리가 적어준 것을 완벽하게 달성한다.

여담으로, 목록의 마지막 아타리는 실버에게 남의 일이 아니었다. “픽셀과 점수만 보고 여러 게임을 사람보다 잘한다"는 그 결과가 바로 실버가 몸담은 딥마인드의 DQN(Deep Q-Network) 연구다. 2013년 워크숍 논문과 2015년 네이처 논문으로 발표됐고, 하나의 신경망이 게임마다 규칙을 새로 배우지 않고 원시 화면과 점수만으로 수십 개 아타리 게임을 익혔다. 이 데모는 2014년 구글이 딥마인드를 인수하게 만든 장면으로 흔히 꼽힌다. 그러니 실버가 1강에서 이 예를 들 때, 그는 딥러닝 강화학습을 세상에 알린 자기 팀의 결과를 슬쩍 가리키고 있는 셈이다. 이 DQN이 6강의 가치함수 근사이고, 그 줄기가 10강의 알파고로 이어진다.

에이전트와 환경, 그리고 상태

매 시점 $t$에서 에이전트는 행동 $A_t$를 하고, 환경은 관측 $O_t$와 보상 $R_t$를 돌려준다. 이 주고받음을 처음부터 쭉 이어 붙인 기록이 히스토리다.

$$H_t = O_1, R_1, A_1, \dots, A_{t-1}, O_t, R_t$$

관측과 보상만이 아니라 에이전트 자신의 과거 행동($A$들)까지 다 담긴, 말하자면 로봇의 감각·운동 스트림 전체다. 다음에 무엇이 일어날지는 이 히스토리에 달려 있다.

하지만 히스토리 전체를 매번 들고 다닐 수는 없다. 다음 결정에 필요한 정보만 추린 요약이 상태이고, 히스토리의 함수로 정의된다: $S_t = f(H_t)$. 여기서 중요한 건 $f$를 어떻게 잡느냐가 설계자의 선택이라는 점이다.

여기서 관측과 상태를 구별해 둘 필요가 있다. 관측 $O_t$는 그 순간 에이전트가 받은 날것의 한 장면이다. 상태 $S_t$는 그 한 장면이 아니라, 지금까지의 히스토리를 추려 다음 결정에 쓰는 정보다. 관측 한 장이 그대로 상태가 되는 경우는 드물다. 게임 화면 한 프레임만 봐서는 공이 어디로 움직이는지조차 알 수 없듯, 대개는 여러 관측을 엮어야 상태가 된다. 관측이 곧 상태인 것은 뒤에 볼 완전관측이라는 특수한 경우뿐이다.

세 가지 상태

같은 상황을 세 관점에서 본다.

  • 환경 상태 $S^e_t$: 환경이 속으로 쥔 표현. 다음 관측과 보상을 정하는 데 환경이 실제로 쓰는 데이터다. 보통 에이전트에게 보이지 않고, 설령 보이더라도 결정과 무관한 정보가 잔뜩 섞여 있을 수 있다.
  • 에이전트 상태 $S^a_t$: 에이전트가 다음 행동을 고르는 데 쓰는 내부 표현. 강화학습 알고리즘이 실제로 붙잡는 것이 이거다. 히스토리의 함수라면 무엇이든 될 수 있다: $S^a_t = f(H_t)$.
  • 정보 상태(마르코프 상태): 히스토리에서 쓸모 있는 정보를 남김없이 담은 상태.

환경 상태와 에이전트 상태의 차이는 고전 게임 에뮬레이터를 떠올리면 또렷하다. 에뮬레이터 안에는 그 순간의 게임을 완전히 결정하는 메모리(RAM)가 있다. 적의 좌표, 남은 목숨, 화면에 안 드러난 내부 변수까지 전부. 이것이 환경 상태이고, 게임이 다음에 무엇을 할지는 온전히 여기에 달려 있다. 반면 사람이나 에이전트가 실제로 보는 것은 화면 픽셀뿐이다. 픽셀은 그 메모리가 드리운 그림자라, 화면만으로는 숨은 변수를 다 복원할 수 없다. 그 화면에서 에이전트가 스스로 추려 만든 것이 에이전트 상태다. 그래서 화면만 본다면 부분관측이고, 에뮬레이터의 메모리를 통째로 읽을 수 있다면 완전관측이다. 앞서 나온 아타리 DQN이 바로 이 부분관측 쪽에 서서, 픽셀만 보고 여러 프레임을 겹쳐 자기 상태를 만든다.

마르코프 상태는 이 조건을 만족한다.

$$\mathbb{P}[S_{t+1} \mid S_t] = \mathbb{P}[S_{t+1} \mid S_1, \dots, S_t]$$

지금 상태만 알면 과거 전체를 알 때와 미래 예측이 똑같다는 뜻이다. 상태가 미래의 충분한 통계량이라, 일단 상태를 알면 히스토리는 버려도 된다. 환경 상태와 히스토리 그 자체는 언제나 마르코프다.

바둑이 좋은 예다. 지금 판 위 돌의 배치만 있으면 다음 수를 정하는 데 충분하고, 어떤 순서로 그 배치에 이르렀는지는 상관없다. 그래서 바둑판의 현재 상태는 마르코프 상태다. (엄밀히는 패 같은 반복 금지 규칙 때문에 약간의 이력이 필요하지만, 큰 그림에서는 지금 판이 곧 상태다.)

히스토리에서 상태를 뽑아내기: 쥐 실험

상태를 어떻게 정의하느냐가 왜 중요한지, 실버의 쥐 예가 잘 보여준다. 쥐 앞에 불빛과 종소리가 켜지고 쥐가 레버를 누르는 일이 어떤 순서로 이어지다가, 끝에 치즈(좋음)나 전기충격(나쁨)이 온다. 똑같은 히스토리를 두고도 상태를 어떻게 잡느냐에 따라 예측이 갈린다.

  • 상태 = 마지막 세 항목이라면?
  • 상태 = 불빛·종·레버 각각이 나온 횟수라면?
  • 상태 = 전체 순서 통째라면?

셋은 서로 다른 미래를 내놓는다. 어떤 표현에서는 치즈가, 다른 표현에서는 충격이 예측될 수 있다. 강화학습에서 “상태를 어떻게 정의하는가"가 곧 “무엇을 예측할 수 있는가"를 정한다. 좋은 상태 표현을 찾는 일 자체가 문제의 절반인 셈이다.

여기에 하나가 더 얽힌다. 히스토리에는 쥐가 본 것(불빛, 종)만이 아니라 쥐가 한 것(레버 누르기)도 들어 있다. 상태를 뽑을 때 이 과거 행동을 담을지 버릴지도 설계의 일부다. “마지막 세 항목"에 레버 누름이 들어가면 상태가 자기 행동의 기억을 품는 것이고, 횟수만 센다면 순서 정보를 버리는 것이다. 대개 과거 행동은 미래를 가늠하는 데 도움이 되므로 상태에 함께 넣는다.

완전관측과 부분관측

환경을 얼마나 볼 수 있느냐가 두 세계를 가른다.

완전관측은 에이전트가 환경 상태를 그대로 보는 경우다. 관측 = 에이전트 상태 = 환경 상태 = 마르코프 상태이고, 이것이 다음 강의 주인공인 마르코프 결정 과정(MDP)이다. 바둑이 그렇다. 판 전체가 두 사람에게 다 보인다.

부분관측은 에이전트가 환경을 간접적으로만 보는 경우다. 포커에서는 상대의 패가 가려져, 내가 보는 것(내 패, 바닥 카드, 베팅 기록)은 실제 판의 일부일 뿐이다. 카메라 하나로 세상을 보는 로봇이나, 현재 시세만 보는 트레이딩 에이전트도 마찬가지다. 이제 에이전트 상태와 환경 상태가 갈라지고, 이를 부분관측 마르코프 결정 과정(POMDP)이라 부른다. 에이전트는 가려진 것을 메워 스스로 상태를 지어야 한다. 방법은 여럿이다. 히스토리를 통째로 쓰거나, 환경 상태에 대한 믿음(확률분포)을 유지하거나, 순환신경망으로 과거를 요약하거나.

에이전트를 이루는 세 조각

강화학습 에이전트는 다음 셋 중 일부 또는 전부로 이루어진다.

  • 정책(policy) $\pi$: 상태에서 행동으로 가는 규칙. 결정적이면 $a = \pi(s)$, 확률적이면 $\pi(a \mid s) = \mathbb{P}[A_t = a \mid S_t = s]$.
  • 가치함수(value function): 어떤 상태가 앞으로 얼마나 좋은지를 매기는 함수. 미래 보상의 기대 합이다.
$$v_\pi(s) = \mathbb{E}_\pi\left[ R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \cdots \mid S_t = s \right]$$

여기서 $\gamma \in [0,1]$는 먼 미래를 얼마나 깎아서 볼지 정하는 할인율이다.

  • 모델(model): 환경이 어떻게 움직일지에 대한 에이전트의 예측. 다음 상태를 내다보는 전이 $\mathcal{P}$와 다음 보상을 내다보는 $\mathcal{R}$로 이루어진다.

이 셋을 어떻게 갖추느냐로 에이전트를 나눈다. 가치함수만 쓰면 가치 기반, 정책만 쓰면 정책 기반, 둘 다 쓰면 actor-critic이다. 환경 모델을 쓰지 않으면 model-free, 모델을 세워 계획하면 model-based다.

실버는 이 셋을 미로 하나로 그려 보인다. 같은 미로를 두고, 정책은 각 칸에서 어디로 갈지 화살표로, 가치함수는 각 칸이 목표에 얼마나 가까운지 숫자로, 모델은 칸이 어떻게 이어지고 각 칸의 보상이 얼마인지로 나타난다. 하나의 문제를 세 방식으로 그린 셈이다.

강화학습의 세 가지 근본 물음

강의는 강화학습을 관통하는 세 쌍의 구분으로 마무리한다.

  • 학습 vs 계획: 환경을 모른 채 상호작용으로 배우는가(학습), 아니면 환경 모델을 알고 머릿속으로 굴려 답을 찾는가(계획).
  • 탐험 vs 활용: 새로운 걸 시도해 정보를 얻을 것인가(탐험), 지금까지 아는 최선을 취할 것인가(활용). 이 균형이 강화학습을 어렵게 만드는 핵심이다.
  • 예측 vs 제어: 주어진 정책이 얼마나 좋은지 평가하는 문제(예측)와, 가장 좋은 정책을 찾는 문제(제어).

실버는 아타리로 학습과 계획을 대비한다. 학습 쪽은 게임 규칙도 모른 채 직접 플레이하며, 점수라는 보상만으로 정책을 고쳐 나간다. 계획 쪽은 에뮬레이터라는 완벽한 모델이 손에 있다고 보고, 실제로 조작하지 않고도 “이 버튼을 누르면 어떻게 될까"를 그 모델 안에서 미리 굴려 최선의 수를 찾는다. 앞의 에뮬레이터 이야기가 여기서 다시 등장하는 셈이다.

다음 강부터는 이 문제를 수학적으로 다루기 위한 틀, 마르코프 결정 과정(MDP)으로 들어간다.