“Google人工智能击败欧洲围棋冠军， AlphaGo 究竟是如何做到的？”

编辑:本文为新智元的原创，翻译自nature。 如果觉得这篇文章很深奥，也可以看到雷锋网关于机器学习的早期文案。 “机器自学72小时可与国际大师媲美。 深度学习到底有多厉害？ () ) )。

围棋一直被认为是人工智能最难破解的游戏。 今天，《火影》杂志以封面论文的形式，介绍了谷歌深度mind开发的人工智能程序alphago。 击败欧洲围棋冠军樊麿，3月对战世界冠军李世乭！ 谷歌特意为此准备了100万美元的奖金。

根据国际象棋的经验，自1997年人工智能首次打败人类后，2006年成为了人类在国际象棋上的绝唱，从此人类再也没有战胜过最好的人工智能国际象棋选手。 阿尔法go击败欧洲围棋冠军后，世界冠军李世乭和阿尔法go的对战，会成为人类在围棋界的绝唱吗？

阿尔法go给围棋带来了新的打法。 背后的首要做法是价值互联网和政策网络战略互联网。 其中，value networks判断棋盘的位置，而policy networks选择国际象棋网络。 这些神经网络模式用新的方法进行了训练，通过人类专家比赛学到的教练学习，以及自己和自己的国际象棋( self-play )学到了强化学习。 这不需要前瞻的lookahead search，神经互联网玩围棋游戏的能力达到了最先进的蒙特卡罗树搜索算法的水平(该算法模拟了成千上万随机的自己和自己下棋的结果， 还引入了蒙特卡罗模拟、价值和战略互联网相结合的新搜索算法。

通过这个搜索算法，阿尔法go在与其他围棋项目的比赛中取得了99.8%的胜率，以5:0击败了人类欧洲围棋冠军樊麿。 计算机程序在全尺寸( 19x19 )板上首次击败人类职业选手的成果在过去被认为至少需要10年。

(/S2 ) )欧洲围棋冠军樊麿) ) ) 2005年樊麿被正式聘为法国围棋队和少年围棋队总教练，那年他才24岁。 他是欧洲围棋的冠军。

通过将value networks、policy networks与树形检索相结合，alpha go达到了职业围棋的水平，让我们看到了ai即使在其他尚未完成的行业也能够达到人类水平的表现的希望

关于deepmind团队对围棋项目的介绍，可以访问新智元观看。

如果所有的完整新闻( perfect information )游戏都有最佳值函数) optimal value function，并且所有参与游戏的玩家都表现得很完美，那么游戏 你在棋盘的哪个位置落子)或者状态s )。

这些游戏可以通过在包含大致bd的可能的行为序列(其中，b是游戏的宽度，即在各位置能够移动的步数，以及d是游戏的深度)的搜索树( search tree )上反复计算最佳值函数来进行处理。 在象棋( b≈35，d≈80 )和围棋) b≈250，d≈150 )的大型游戏中，包罗万象地搜索是不合适的，但是比较有效地搜索/ /

首先，搜索深度有可能由于位置估计而降低。 )/s2/)在状态s中切出搜索树，将接下来的部分树( subtree )置换为根据状态s预测结果的近似值函数v ) s ) ) v ) ) s ) )的这种做法，在象棋、棋盘、循环象棋的游戏中程序超过了人类， 因为围棋非常多而且很复杂。

其次，搜索的幅度有可能通过从战略概率p(a|s )中采样行动，从战略概率p(a|s )下降，该战略概率p(a|s )是表示在位置s上可能的所有行动的概率分布。 例如，在蒙特卡罗方法中，通过从战略概率p中采样游戏双方长序列的行为，搜索达到极限，没有分支树。 通过对这些模拟结果进行平均，可以提供比较有效的位置估计，使程序在西方的后台游戏和拼字游戏中发挥出超越人类的性能，在围棋中也能够达到低级别的业余水平。

围棋为什么这么多又杂？

围棋有3361个局面，可观测的宇宙原子数为1080。

围棋的难点在于，评价函数非常不流畅，如果子盘面有一个不同，就有可能发生翻天覆地的情况，而且状态空之间很大，也没有全局的结构。 这两点加在一起，是因为现在的计算机只能使用穷举法，同时这个进展很慢。

但是，人能够很好地下车，知道在数百个选择中哪个位置应该考虑，可以证明其评价函数是有规律的。 虽然这些定律不是几个简单的公式可以概括的，但是所需的新闻量还是比状态空之间自身的数量要少得多。 总之，穷举状态不是最终目的，即使今后超级计算功能实现了这一点，也不能说处理了人工智能。 找到学习规律的学习算法，才是处理问题的根本手段。 by田渊栋

蒙特卡罗树搜索( mcts )利用蒙特卡罗算法的模拟结果估计一个搜索树的各个状态)的值。 随着进行更多的模拟，搜索树越来越大，相关值也越来越精确。 通过选择较高值的子树，用于选择动作的策略的概率在搜索过程中会随时间而提高。 目前最强大的围棋程序是基于蒙特卡罗树进行搜索的，通过安排训练后预测人类棋手行为的战略概率而得到增强。 这些战略概率被用于将搜索范围缩小到高概率的行动组中，或者通过模拟对行动进行采样。 这种做法已经得到了高级业余水平的表现。 但是，迄今为止的业务仅限于基于输入特征( input features )的线性组合的粗糙战略概率和值函数。

近来，深度卷积神经互联网在视觉行业有了前所未有的多种表现，如图像分类、人脸识别、雅特丽游戏等。 他们采用许多层的神经元，各自放置在重叠的块( tiles )上，构建日益抽象和本地化的图像显示。 我们在围棋游戏中使用了相似的框架。 用19x19的图像传播棋盘的位置，利用卷积层构建位置的表示。 我们使用这些神经互联网来减少搜索树比较有效的深度和宽度( breadth )。 使用一个value networks (价值互联网)估计位置，使用policy network )对运动进行采样。

我们使用由几个机器学习阶段( stages )构成的流水线来训练神经网络(例1 )。 我们直接采用人类专家的步法来训练监督学习战略互联网pσ。 这为快速有效的学习更新( learning updates )提供了良好的梯度和即时反馈。 和以前的工作一样，我们也训练了高速战略互联网pπ，以便能够通过模拟更快地对动作进行采样。 其次，我们训练了强化学习( rl )策略互联网pρ，通过优化“主动面对”的最终结果来改善监控学习策略互联网。 这不是将预测精度最大化，而是将战略调整为取胜者这一正确目标。 最后，训练了有价值的互联网vθ。 这可以预测rl战略互联网通过模拟“自己对抗自己”而得到的战略中，哪个是最佳的战略。 我们的程序alphago有效地结合了战略和有价值的互联网和蒙特卡罗树搜索。

为了判断阿尔法go，我们在很多阿尔法go变体和一些其他围棋项目中进行了内部比赛。 其中包括最强大的商业计划crazy stone和zen，以及最大的开源计划pachi和fuego。 这些程序都基于高性能mcts算法。 另外，比赛还包括开源程序gnugo，该程序采用了出现在mcts面前的最先进的做法。 所有的程序每次掉下来都有5秒的计算时间。

(/S2 ) )比赛结果，单机alpha go领先了此前围棋比赛的多个段位，在495场比赛中取得了494次胜利( 99.8% )。 为了向alpha go提出更大的挑战，我们也要求alpha go让四男(让子，也就是让对方自由落子)； alphago在次竞赛中对战crazy stone、zen、pachi时，分别取得了77%、86%、99%的成绩。 分散型alpha go明显更强大，对战型单体alpha go取得77%的成绩，完胜其他项目。

(/S2 ) )详细地说，alpha go是如何在对战游戏中选择步法的(/S2 ) )。

黑棋子代表着阿尔法戈在下棋。 对于下面的各项统计，橙色圆圈表示最大值所在的位置。

红色圆圈表示alpha go选择的步法； 白方眼表现出樊麿的反应； 樊麿比赛后，他评论说特别欣赏阿尔法go预测的(1)步法。

阿尔法go和樊麿的比赛结果

用号码表示了阿尔法go和樊麿进行围棋比赛时各自的落子顺序。 棋盘下面成对放置的棋子表示在同一十字路口的重复下落。 每对第一个棋子的数字表示重复落子是什么时候发生的，落子的位置由第二个棋子的数字决定。 (请参阅补充新闻补充信息)

第一轮:阿尔法go在第二轮半获胜

第二盘:阿尔法go中盘胜

第三盘:阿尔法go中盘胜

第四盘:阿尔法go中盘胜

第五盘:阿尔法go中盘获胜

最终，我们判断了分布式alpha go和樊麾的比赛。 他是职业2段位选手，14年和15年的欧洲围棋冠军。 年10月5日至9日，阿尔法go和樊麿正式进行了5场比赛。 阿尔法go都赢了。 这是第一个电脑围棋程序，不让子，以全尺寸( 19x19 )打败了人类职业选手。 这项成果过去被认为至少需要十年。

在我们的工作中，我们开发了围棋程序。 它结合了深度神经网络和树搜索。 这个项目可以达到最强的人类选手的表演。 因为这完成了体工智能的“伟大挑战”。 我们也为了围棋开始了高效的步法选择和位置判定函数。 这是通过创新性地结合监督和强化学习两种做法来训练深度神经网络的。 我们还引入了一种新的检索算法，成功地集成了神经网络判定和蒙特卡罗树模拟算法。 我们的计划alphago在高性能树的各搜索引擎中从一定的规模上综合了这些成分。

在与樊麾的比赛中，alpha go比在深蓝和kasparov4的比赛中判断的位置少了几千倍。 这是因为，采用战略互联网更智能地选择哪个位置，采用价值互联网更准确地判断，采用价值互联网更接近人类的国际象棋方法。 此外，深蓝依赖手工设计判断方程，而alpha go的神经网络直接由纯比赛数据训练，也采用了通用的教练和强化学习方法。

围棋代表着许多人工智能所面临的困难。 挑战性的决策任务、难以解读的搜索空之间的问题、优化处理方案非常多，一个战略或价值函数几乎无法直接得到。 迄今为止在计算机围棋方面的第一个突破是引进了mcts，这带来了许多其他行业的相应进步。 例如，通用游戏、经典计划问题、计划只是部分可观测问题、日程问题、限制满足问题。 通过战略、价值互联网和树形检索相结合，alpha go终于达到了职业围棋的水平，让我们看到了ai在其他即将完成的行业也能达到人类水平的表现的希望。

我认为ai技术征服人类不太长远。 今年，ai技术可能会征服人类。

——微软亚洲工程院院长刘震

i thought ai won'； tbeathumaningoforalongtime ... itmaybethisyear！ 谷歌和# 39； salphagobeatseuropeanprofessionalchampion5: 0； 下一站:李世石九段in March for m谷歌大奖。

——陈雷，万同科技首席执行官，留德mba，连续创业者，目前致力于人工智能+围棋的互联网服务，围棋互联网9段。

对人来说，围棋比赛是智能、心理、灵性三个维度的综合竞争。 根据deep mind现有的计算机围棋处理方案的描述，可以评价为程序在智力维度上取得了很大的进展。 在智力方面，计算机围棋研究行业需要处理的核心问题是盘面形势评估，即专家判断系统的处理方案，专家判断系统能力的大幅提高关系到围棋ai水平的本质提高。 deep mind的计算机围棋处理方案实际上可以归结为精确的专家判断系统( value network )、基于海量数据的深度神经网络)，以及之前流传下来的人工智能方法蒙特卡罗树搜索的组合 该计划有理由相信，该水平与标准业余6段棋手和中国职业棋手等排名第200位后的棋手实力相当。 根据经验，由于缺乏心理和灵性维度的突破，阿尔法go战胜人类最好的围棋高手还需要时间。

google deepmind是英国人工智能企业，成立于年，被称为deep mind科技，年被Google收购，更名为google deepmind。

这家企业由demis hassabis、shane legg和mustafa suleyman创立。 企业的目标是“处理智能”，即通过整合机器学习的最佳做法和系统神经科学，构建强大的通用学习算法。 他们想形式化智能，不仅用机器实现它，还想理解人脑。 现在，企业聚焦于研究可以玩游戏的计算机系统，研究从战略游戏围棋到游戏游戏等广泛的游戏。

创业者介绍

毕业于demis hassabis，人工智能研究者，神经科学家，计算机游戏设计师，剑桥大学，在伦敦大学获得phd，研究有趣:机器学习，神经科学。

shane legg，计算学习研究者，deepmind创始人，研究趣味性:人工智能、神经互联网、人工进化、强化学习和学习理论。

mustafa suleyman是英国企业家，deepmind technologies的联合创始人和产品运营总监，也是reos partners的联合创始人，被谷歌收购后，google deepmind的APP AI部门负责人。