강화학습 10강: 게임 속 강화학습

마지막 강은 사례 연구다. 강화학습이 체커, 체스, 오델로, 백개먼, 바둑, 포커 같은 고전 게임에서 어떻게 사람을 넘어섰는지 살펴본다. 게임은 규칙이 단순한데 개념은 깊고, 수백 수천 년 갈고닦여 왔고, 지능의 의미 있는 시험대가 된다. 실버의 표현으로는 인공지능의 초파리(drosophila)다. 초파리가 유전학의 표준 실험동물이듯, 게임은 현실의 문제를 작게 압축한 실험실이 된다. 그리고 무엇보다, 게임은 재미있다.

강의 슬라이드: PDF

지금까지 도달한 수준

강의 첫머리는 현황판이다. 체커는 완전(perfect) 수준으로 풀렸고, 체스·오델로·백개먼·스크래블·포커는 초인(superhuman) 수준, 바둑은 (이 강의 시점 기준) 그랜드마스터 수준이었다. 각 정상을 세운 프로그램이 치누크(체커), 딥 블루(체스), 로지스텔로(오델로), TD-개먼(백개먼), 메이븐(스크래블), 모고·크레이지스톤·젠(바둑), 폴라리스(포커)다.

흥미로운 건 그 옆에 붙은 두 번째 표다. “이 정상을 강화학습으로 이룬 프로그램은 무엇인가"를 따로 뽑으면 목록이 살짝 바뀐다. 체스에서는 딥 블루 대신 나이트캡·미프가, 포커에서는 폴라리스 대신 SmooCT가 들어온다. 강화학습만으로 최고 수준에 오른 체스 프로그램은 아직 인터내셔널 마스터 정도였고, 그 밖은 대부분 강화학습이 정상권을 차지했다. 이 강의는 바로 그 강화학습 계보를 따라간다.

게임이론: 최선 대응과 내시 균형

여러 명이 겨루는 게임에서 “최적 정책"이란 무엇일까. 나 혼자의 문제가 아니라 상대가 있으니, 최적은 상대가 무엇을 하느냐에 달려 있다.

핵심 관찰은 이렇다. 다른 모든 참가자가 자기 정책 $\pi^{-i}$를 고정해 버리면, 그 순간 상대들은 더 이상 지능적인 적수가 아니라 그저 환경의 일부가 된다. 상대가 정해진 규칙대로만 움직이는 벽이라면, 남은 건 나 혼자 그 벽을 상대로 보상을 최대화하는 문제다. 즉 게임이 하나의 MDP로 줄어든다. 이때 나의 최선 대응(best response) $\pi^{i}_*(\pi^{-i})$란 바로 그 MDP의 최적 정책이다. 다인 게임이 단일 에이전트 강화학습 문제로 접히는 셈이다.

이제 모두가 동시에 최선을 다한다면 어떤 상태에 다다를까. 모든 참가자의 정책을 한데 묶은 결합 정책 $\pi$가 있고,

$$\pi^{i} = \pi^{i}_*(\pi^{-i}) \quad \text{모든 } i \text{에 대해}$$

즉 각자의 정책이 나머지 모두에 대한 최선 대응이 되면, 아무도 혼자 바꿔서 이득을 볼 수 없다. 이 상태가 내시 균형(Nash equilibrium)이다.

여기서 강의의 첫 번째 큰 그림이 나온다. 내시 균형은 자기 대국(self-play) 강화학습의 고정점이다. 여러 에이전트가 서로 대국하며 경험을 쌓고($a^1 \sim \pi^1$, $a^2 \sim \pi^2$, …), 각자 상대에 대한 최선 대응을 배운다. 그런데 한 명의 정책이 곧 다른 이의 환경을 결정하므로, 모두가 동시에 서로에게 맞춰 적응해 간다. 이 술래잡기가 멈추는 지점, 즉 아무도 더 바꿀 게 없는 그 고정점이 바로 내시 균형이다.

이 강의는 그중에서도 특수한 부류, 2인 제로섬 게임에 집중한다. 두 명이 번갈아 두고(백과 흑이라 부르자), 흑과 백의 보상이 정확히 반대라 $R^1 + R^2 = 0$이다. 내가 이기는 만큼 상대가 진다. 이 게임에서 내시 균형을 찾는 두 갈래가 게임 트리 탐색(계획)과 자기 대국 강화학습이고, 이 강의의 뼈대가 그 둘이다.

한 가지 축이 더 있다. 판이 다 보이면 완전정보(마르코프) 게임이다(체스, 체커, 오델로, 백개먼, 바둑). 상대 패가 가려져 있으면 불완전정보 게임이다(스크래블, 포커). 먼저 완전정보 게임부터 본다.

미니맥스 탐색

2인 제로섬 게임의 고전 해법은 미니맥스다. 결합 정책 $\pi = (\pi^1, \pi^2)$가 주어지면 가치함수는 여느 때처럼 $v_\pi(s) = \mathbb{E}_\pi[G_t \mid S_t = s]$이다. 미니맥스 가치함수는 백의 기대 리턴을 최대화하는 동시에 흑의 기대 리턴을 최소화한다.

$$v_*(s) = \max_{\pi^1} \min_{\pi^2} v_\pi(s)$$

이 값을 달성하는 결합 정책이 미니맥스 정책이다. 그리고 강의가 짚는 두 번째 다리가 여기 있다. 미니맥스 정책은 내시 균형이다. 앞의 게임이론과 여기 탐색이 같은 지점을 가리킨다는 뜻이다. 미니맥스 가치함수는 유일하다.

미니맥스 값은 깊이 우선 게임 트리 탐색으로 구한다. 내 차례엔 값을 최대로, 상대 차례엔 최소로 골라 리프에서 뿌리로 값을 끌어올린다. 역사적으로 이 아이디어는 클로드 섀넌이 1950년 논문 “체스를 두는 컴퓨터의 프로그래밍"에서 제시했다. 컴퓨터가 없어 종이 위에서 돌렸다.

문제는 트리가 지수적으로 폭발한다는 점이다. 끝까지 읽는 건 현실적으로 불가능하다. 그래서 일정 깊이까지만 읽고, 그 아래 리프 노드의 값은 가치함수 근사기 $v(s, \mathbf{w}) \approx v_*(s)$로 어림한다. 이걸 평가 함수 또는 휴리스틱 함수라 부른다. 미니맥스 탐색은 고정된 깊이까지 내려간 뒤, 리프의 근사값을 기준으로 위로 값을 올린다.

이진-선형 가치함수

리프 값을 매기는 가장 단순하고도 강력한 형태가 이진-선형 가치함수다. 강의의 결론 레시피가 결국 이 한 줄로 수렴하니, 여기가 이 강의의 뼈대다.

기물 하나마다 특징 하나를 둔 이진 특징 벡터 $\mathbf{x}(s)$를 만든다(예: “이 자리에 이 기물이 있는가"를 0 또는 1로). 가중치 벡터 $\mathbf{w}$의 각 성분은 그 기물의 가치다. 그러면 판의 평가값은 켜져 있는(active) 특징들의 가중치를 더한 것이다.

$$v(s, \mathbf{w}) = \mathbf{x}(s) \cdot \mathbf{w}$$

체스로 치면 내 폰이 하나 있으면 $+1$, 상대 나이트가 하나 있으면 $-3$처럼, 켜진 특징의 가중치를 죽 더해 하나의 점수로 만든다. 사람이 손으로 “기물 값"을 매기던 오래된 직관이, 정확히 선형 함수 하나로 표현되는 것이다. 이 단순한 틀이 강의 전체를 관통한다.

딥 블루

딥 블루는 이 틀을 사람 손끝으로 극한까지 밀어붙인 사례다.

• 지식: 약 8000개의 손수 만든 체스 특징을 가진 이진-선형 가치함수. 가중치 대부분을 사람 전문가가 튜닝했다.
• 탐색: 고성능 병렬 알파-베타 탐색. 체스 전용 VLSI 칩 480개로 초당 2억 국면을 읽었고, 16에서 40플라이 앞을 내다봤다.
• 결과: 1997년 세계 챔피언 개리 카스파로프를 4대 2로 꺾었다. 당시 인터넷 역사상 가장 많이 시청된 이벤트였다.

딥 블루에는 강화학습이 없다. 사람이 짠 평가 함수에 압도적인 탐색을 얹은, 손세공의 정점이다.

치누크

체커의 치누크도 처음엔 손튜닝 계열이었다.

• 지식: 이진-선형 가치함수. 21개의 지식 기반 특징(위치, 기동성 등)을 게임의 4단계(phase)별로 나눠 썼다.
• 탐색: 고성능 알파-베타 탐색. 여기에 역방향 분석(retrograde analysis)을 얹었다. 이긴 국면에서 거꾸로 탐색해, 이기는 모든 국면을 조회 테이블에 저장한다. 그러면 말이 몇 개 남은 종반은 완벽하게 둔다.
• 결과: 1994년 세계 챔피언 매리언 틴슬리와의 대결에서 2판을 이겼고, 틴슬리가 건강 문제로 기권했다.

그리고 2007년, 치누크는 체커를 완전히 풀었다. 신을 상대로도 지지 않는 완전 대국이다. 여기서 주의할 점 하나. 이 완전 해결판 치누크의 핵심은 손튜닝 가중치와 역방향 분석에 의한 엔드게임 데이터베이스이지, 뒤에 나올 TD 리프 학습이 아니다. TD 리프는 나중에 붙은 후기 버전 이야기다(뒤 절에서 다시 나온다).

자기 대국 강화학습

이제 사람이 평가 함수를 짜 주는 대신, 강화학습으로 배우게 하자. 자기 자신과 대국하며 얻은 경험으로 가치함수 $v(s, \mathbf{w})$를 갱신한다. 4강에서 본 예측 알고리즘이 그대로 쓰인다.

• MC: 리턴 $G_t$를 향해 갱신한다. $\Delta\mathbf{w} = \alpha(G_t - v(S_t, \mathbf{w}))\nabla_\mathbf{w} v(S_t, \mathbf{w})$
• TD(0): 다음 상태 값 $v(S_{t+1})$을 향해 갱신한다. $\Delta\mathbf{w} = \alpha(v(S_{t+1}, \mathbf{w}) - v(S_t, \mathbf{w}))\nabla_\mathbf{w} v(S_t, \mathbf{w})$
• TD(λ): λ-리턴 $G_t^\lambda$을 향해 갱신한다. $\Delta\mathbf{w} = \alpha(G_t^\lambda - v(S_t, \mathbf{w}))\nabla_\mathbf{w} v(S_t, \mathbf{w})$

자기 대국이 매력적인 이유는 커리큘럼이 저절로 굴러가기 때문이다. 상대가 곧 나 자신이라, 내 실력이 오르면 상대도 같이 세진다. 끝없이 어려워지는 난이도를 사람이 설계해 줄 필요가 없다.

애프터스테이트로 정책 개선하기

여기서 게임 특유의 지름길이 하나 있다. 결정론적 게임에서는 $v_*(s)$만 배우면 충분하다. 상태-행동 가치 $q_*(s, a)$를 따로 배울 필요가 없다.

이유는 애프터스테이트(afterstate)에 있다. 게임 규칙이 이미 후속 상태 $\text{succ}(s, a)$를 결정해 주므로, 행동 $a$의 가치는 그 행동이 만드는 판의 가치와 같다.

$$q_*(s, a) = v_*(\text{succ}(s, a))$$

내가 어떤 수를 두면 판이 어떻게 되는지는 규칙만 알면 즉시 알 수 있으니, “수의 가치"를 배울 필요 없이 “판의 가치"만 배우면 된다. 그래서 행동은 애프터스테이트 값을 최대화(또는 상대라면 최소화)해 고른다.

$$A_t = \arg\max_a v_*(\text{succ}(S_t, a)) \quad (\text{백}), \qquad A_t = \arg\min_a v_*(\text{succ}(S_t, a)) \quad (\text{흑})$$

이 한 번의 선택이 백과 흑 양쪽의 결합 정책을 동시에 개선한다.

오델로의 로지스텔로

로지스텔로가 인상적인 건 특징을 스스로 만들었다는 점이다. “C1에 흑 돌이 있는가” 같은 날것의 입력 특징에서 출발해, 그것들을 논리곱·논리합으로 엮어 새 특징을 지어냈다. 그렇게 서로 다른 구성으로 150만 개에 이르는 특징을 만들고, 그 위에 이진-선형 가치함수를 얹었다.

학습은 일반화된 정책 반복이었다. 현재 정책으로 자기 대국을 한 묶음 만들고, 그 결과(승패)로 몬테카를로 회귀해 정책을 평가한 뒤, 그리디 개선으로 새 플레이어를 만든다. 결과는 세계 챔피언 무라카미 다케시를 6대 0으로 꺾었다.

백개먼의 TD-개먼

TD-개먼은 이 강의에서 가장 유명한 이정표다. 여기선 선형 함수 대신 비선형 신경망이 판을 평가했다.

• 무작위 가중치로 초기화한다(사전 지식 0).
• 자기 대국으로 학습한다.
• 비선형 시간차 학습을 쓴다. $\delta_t = v(S_{t+1}, \mathbf{w}) - v(S_t, \mathbf{w})$, $\Delta\mathbf{w} = \alpha\delta_t \nabla_\mathbf{w} v(S_t, \mathbf{w})$.
• 그리디 정책 개선만 했다(탐험 없음).

여기서 특이한 대목이 하나 있다. 탐험 장치 없이 순수 그리디로 학습했는데도 실제로 늘 수렴했다. 이론적으로는 탐험이 있어야 할 것 같은데 백개먼에서는 괜찮았다. 이유는 주사위다. 매 수마다 주사위가 무작위성을 뿌려 주니, 알고리즘이 탐험을 따로 안 해도 판이 알아서 다양하게 흩어진 것이다. 강의도 “다른 게임에서는 이렇지 않았다"고 짚는다.

결과는 하나의 지식 사다리로 요약된다.

• 전문가 지식 0 $\Rightarrow$ 중급 실력
• 손수 만든 특징 추가 $\Rightarrow$ 고급 실력 (1991)
• 2플라이 탐색 $\Rightarrow$ 강한 마스터급 (1993)
• 3플라이 탐색 $\Rightarrow$ 초인 실력 (1998)

그리고 1992년, 세계 챔피언 루이지 빌라를 7대 1로 이겼다. 아무 지식 없이 자기 자신과만 두어 올라선 사다리다.

강화학습과 미니맥스 탐색을 엮다

TD-개먼에서는 학습 중에 단순 그리디 행동 선택으로 충분했다. 그런데 안타깝게도 이게 어디서나 통하지는 않았다. 대표적으로 체스가 그렇다.

앞 절 방식, 즉 단순 TD(다음 상태 값으로 현재 값을 갱신하는 것)를 게임별로 돌려 보면 성패가 갈렸다. 오델로(로지스텔로)와 백개먼(TD-개먼)에서는 초인 수준이 나왔는데, 체스와 체커에서는 성적이 나빴다.

왜일까. 체스는 전술이 있어야 판에서 신호를 찾을 수 있기 때문이다. 예컨대 체크메이트는 탐색 없이 그냥 판만 봐서는 좀처럼 알아채기 어렵다. 좋은 자리에 있어 보이는 판이 몇 수 뒤 외통으로 무너지는데, 정적인 평가 함수는 그걸 못 본다. 결론은 이렇다. 다음 상태의 값이 아니라, 탐색으로 얻은 값으로 배워야 한다.

여기서 세 형제가 등장한다. 셋을 구분하는 열쇠는 딱 하나, “무엇을 무엇으로 갱신하는가"다.

TD 루트

TD 루트는 다음 상태의 탐색값으로 현재 상태의 값을 갱신한다. 뿌리 위치 $S_t$에서 탐색값을 계산한다.

$$v_+(S_t, \mathbf{w}) = \min\max_{s \in \text{leaves}(S_t)} v(s, \mathbf{w})$$

그리고 다음 상태의 탐색값으로 현재 값을 끌어당긴다. $v(S_t, \mathbf{w}) \leftarrow v_+(S_{t+1}, \mathbf{w}) = v(l_+(S_{t+1}), \mathbf{w})$. 여기서 $l_+(s)$는 $s$에서 미니맥스 값을 달성하는 리프 노드다.

이것이 새뮤얼의 체커 플레이어(1959)로, 역사상 최초의 TD 학습 알고리즘이다. 자기 대국으로 배워 아마추어 인간을 이겼다. 지금 보면 이상한 다른 아이디어들도 함께 썼다.

TD 리프

TD 리프는 현재의 탐색값을 다음 스텝의 탐색값으로 갱신한다. TD 루트와 달리 지금과 다음, 두 곳 모두에서 탐색값을 계산한다.

$$v_+(S_t, \mathbf{w}) \leftarrow v_+(S_{t+1}, \mathbf{w}) \quad\Longrightarrow\quad v(l_+(S_t), \mathbf{w}) \leftarrow v(l_+(S_{t+1}), \mathbf{w})$$

체스의 나이트캡이 이 방식이다. 전문가 상대를 두고 훈련하며, 표준 기물 값에서 출발해 TD 리프로 가중치를 배웠다. 알파-베타 탐색에 표준 개선을 얹어, 적은 대국 만에 마스터 수준에 올랐다. 다만 두 가지 한계가 있었다. 자기 대국에서는 잘 안 됐고, 좋은 초기 가중치에서 출발하지 않으면 잘 안 됐다.

앞에서 미뤄 둔 이야기가 여기서 닫힌다. 체커의 치누크는 원래 손튜닝 가중치를 썼지만, 후기 버전은 자기 대국으로 훈련하며 TD 리프로 가중치를 조정했다(기물 값만은 고정한 채). 그렇게 배운 자기 대국 가중치가 손튜닝 가중치 이상의 성능, 즉 초인 수준을 냈다. 앞서 “완전 해결판 치누크는 TD 리프가 아니다"라고 강조한 이유가 이것이다. TD 리프는 이 후기 버전 이야기다.

트리스트랩

트리스트랩은 탐색값을 같은 시점의 더 깊은 탐색값으로 갱신한다. TD 루트·리프가 시간을 건너뛰며(다음 스텝의 값으로) 배운 것과 달리, 트리스트랩은 같은 스텝 안에서 트리의 모든 노드의 값을 그 자리의 탐색값으로 끌어당긴다.

$$v(s, \mathbf{w}) \leftarrow v_+(s, \mathbf{w}) \quad\Longrightarrow\quad v(s, \mathbf{w}) \leftarrow v(l_+(s), \mathbf{w}), \quad \forall s \in \text{nodes}(S_t)$$

체스의 미프가 이 방식이다. 2000개 특징의 이진-선형 가치함수를, 무작위 초기 가중치에서(사전 지식 0) 출발해 트리스트랩으로 조정했다. 그리고 나이트캡의 두 한계를 넘었다. 자기 대국에서도 유효했고, 무작위 초기 가중치에서도 유효했다. 결과는 인터내셔널 마스터들을 상대로 13승 15패, 아니 13/15승이다.

탐색을 시뮬레이션으로 대체하다

한 걸음 더 나아가면, 자기 대국 강화학습이 탐색 자체를 대신할 수 있다. 뿌리 상태 $S_t$에서 자기 대국을 시뮬레이션하고, 그 시뮬레이션 경험에 강화학습을 적용한다. 몬테카를로 제어를 이렇게 트리에 얹은 것이 몬테카를로 트리 탐색(MCTS)이고, 가장 효과적인 변형이 각 노드에서 UCB로 탐험과 활용을 저울질하는 UCT다.

여기서 8강과 이 강이 이어진다. 자기 대국 UCT는 미니맥스 값으로 수렴한다(완전정보, 제로섬, 2인 게임에서). MCTS는 바둑(지난 강), 헥스, 라인즈오브액션, 아마존 등 여러 어려운 게임에서 최고 성능을 냈다. 한편 어떤 게임에서는 트리를 세우지 않는 단순 몬테카를로 탐색만으로도 충분했다(스크래블, 백개먼).

스크래블의 메이븐: 단순 몬테카를로 탐색

메이븐은 불완전정보의 대표 사례로 오해하기 쉽지만, 이 강의에서 메이븐은 그 “단순 몬테카를로 탐색"의 사례로 배치된다.

• 학습: 수를 점수 + $v(\text{rack})$으로 평가한다. 여기서 $v(\text{rack})$은 손에 남은 타일(rack)의 가치를 매기는 이진-선형 가치함수로, 한 글자·두 글자·세 글자 특징을 쓴다(Q??????, QU?????, III???? 처럼). 로지스텔로처럼 몬테카를로 정책 반복으로 배웠다.
• 탐색: 자기 대국 $n$스텝을 상상하는 롤아웃으로 수를 펼쳐 보고, 그 결과 판을 점수 + $v(\text{rack})$으로 평가한다. 롤아웃 평균 평가로 각 수를 채점하고, 가장 높은 수를 골라 둔다. 종반은 B* 알고리즘으로 전용 탐색을 한다.

결과, 메이븐은 세계 챔피언 애덤 로건을 9대 5로 이겼다. 한 대국에서는 종반을 MOUTHPART로 마무리하리라 예측했고, 분석 결과 판당 3점 정도의 오차밖에 없었다.

불완전정보 게임의 강화학습

이제 판이 다 보이지 않는 게임이다. 포커처럼 상대 패가 가려지면, 참가자마다 아는 것이 달라 서로 다른 탐색 트리를 갖는다. 핵심 도구는 정보 상태(information state)다. “내가 지금까지 본 카드는 무엇인가"처럼 한 참가자가 아는 것을 요약한 노드를 정보 상태마다 하나씩 둔다. 실제로는 서로 다른 여러 물리 상태가 같은 정보 상태를 공유하고, 값이 비슷한 상태들을 더 묶기도 한다.

이 정보 상태 게임 트리를 푸는 두 갈래가 있다.

• 반복적 전방 탐색: 대표적으로 반사실적 후회 최소화(CFR, counterfactual regret minimization)다. 헤즈업 리밋 텍사스 홀덤을 사실상 완전하게 풀었다.
• 자기 대국 강화학습: 대표적으로 스무스 UCT다. 2인·3인 리밋 홀덤에서 은메달 3개를 땄고, 대규모 전방 탐색 에이전트들을 능가했다.

스무스 UCT

스무스 UCT는 정보 상태 게임 트리에 MCTS를 적용한 UCT 변형인데, 게임이론의 가상 플레이(fictitious play)에서 영감을 받았다. 핵심은 상대의 평균 행동에 반응한다는 것이다. 각 노드의 행동 카운트에서 평균 전략을 뽑아낸다.

$$\pi_{\text{avg}}(a \mid s) = \frac{N(s, a)}{N(s)}$$

그리고 각 노드에서 확률 $\eta$로는 평소처럼 UCT로, 확률 $1 - \eta$로는 이 평균 전략 $\pi_{\text{avg}}$로 행동을 고른다.

$$A \sim \begin{cases} \text{UCT}(S), & \text{확률 } \eta \\ \pi_{\text{avg}}(\cdot \mid S), & \text{확률 } 1 - \eta \end{cases}$$

왜 이게 중요할까. 포커 변형들에서 순진한 MCTS는 발산했다. 상대가 계속 바뀌는 표적을 쫓다 자기들끼리 진동해 버린 것이다. 반면 스무스 UCT는 상대의 평균 전략이라는 안정된 표적에 반응해, 내시 균형으로 수렴했다. 게임이론에서 시작한 이 강의가 다시 게임이론의 고정점으로 돌아오는 셈이다.

관통하는 것: 하나의 레시피

강의 결론은 놀랄 만큼 단순하다. 성공의 레시피가 게임을 가로질러 거의 같았다는 것이다. 체스(미프), 체커(치누크), 오델로(로지스텔로), 백개먼(TD-개먼), 바둑(모고), 스크래블(메이븐), 리밋 홀덤(SmooCT)을 한 표에 늘어놓으면 공통점이 도드라진다.

• 이진 특징: 기물, 폰, 원반 배치, 남은 말 수, 돌 패턴, 랙 위의 글자, 카드 추상화. 대상은 게임마다 달라도 형태는 한결같이 이진이다.
• 가치함수: 거의 다 선형이다(TD-개먼의 신경망만 예외).
• 자기 대국: 학습은 대부분 자기 자신과의 대국으로 이뤄졌다(나이트캡만 전문가 상대를 곁들였다).

이진 특징 + 선형 가치함수 + 자기 대국. 서로 다른 게임에서 서로 다른 사람들이 도달한 답이 이 하나로 모인다는 게 이 강의가 남기는 그림이다. 여기에 미니맥스 탐색을 어떻게 엮느냐(알파-베타, TD 리프, 트리스트랩, MCTS)가 게임마다의 개성이었을 뿐이다.

한 가지만 덧붙이면, 이 강의보다 뒤에 나온 알파고와 알파제로는 바로 이 계보, 자기 대국과 MCTS의 직계 후예다(실버 본인이 이끈 프로젝트다). 정책·가치 신경망과 트리 탐색을 자기 대국으로 엮어 바둑을 정복했으니, 이 강의가 세운 뼈대 위에 딥러닝을 얹은 셈이다. 다만 이는 슬라이드 범위 밖 후속이라 여기서는 한 문장으로만 짚어 둔다.

이것으로 실버 강의를 따라간 열 강을 마친다. 여기서부터 시리즈는 자료 글에서 예고한 대로, PPO를 비롯한 더 최근의 방법으로 나아간다.