羿阁发自凹非寺
量子位公众号 QbitAI
一个连业余棋手都打不过的新模型，竟然击败了世界最强围棋 AI——KataGo？
没错，这惊掉人下巴的结果来自 MIT、UC 伯克利等的最新论文。
研究人员利用对抗攻击方法，抓住了 KataGo 的盲点，并基于该技术使一个菜鸟级围棋程序成功打败了 KataGO。
在没有搜索的情况下，这一胜率甚至达到了 99%。
这么算下来，围棋界的食物链瞬间变成了：业余棋手>新 AI>顶级围棋 AI？
等等，这个神奇的新 AI 是怎么做到又菜又厉害的？
刁钻的攻击角度
在介绍新 AI 之前，让我们先来了解一下这次被攻击的主角——KataGo。
KataGo，目前最强大的开源围棋 AI，由哈佛 AI 研究员开发。
此前，KataGo 战胜了超人类水平的 ELF OpenGo 和 Leela Zero，即使没有搜索引擎的情况下，其水平也与欧洲前 100 名围棋专业选手相当。
刚刚拿下三星杯冠军、实现“三年四冠”的韩国围棋“第一人”申真谞，就一直用的 KataGo 进行陪练。
△图源：Hangame
面对实力如此强劲的对手，研究人员选择的方法可以说是四两拨千斤了。
他们发现，尽管 KataGo 通过与自己进行数百万次游戏来学习围棋，但这仍然不足以涵盖所有可能的情况。
于是，这次他们不再选择自我博弈，而是选择对抗攻击方法：
让攻击者（adversary）和固定受害者（victim，也就是 KataGo）之间进行博弈，利用这种方式训练攻击者。
这一步改变让他们仅用训练 KataGo 时 0.3% 的数据，训练出了一个端到端的对抗策略（adversarial policy）。
具体来说，该对抗策略并不是完全在做博弈，而是通过欺骗 KataGo 在对攻击者有利的位置落子，以过早地结束游戏。
以下图为例，控制着黑子的攻击者主要在棋盘的右上角落子，把其他区域留给 KataGo，并且还心机的在其他区域下了一些容易被清理的棋子。
论文共同一作 Adam Gleave 介绍：这种做法会让 KataGo 误以为自己已经赢了，因为它的地盘(左下)比对手的要大得多。
但左下角的区域并没有真正贡献分数，因为那里仍留有黑子，这意味着它并不完全安全。
由于 KataGo 对胜利过于自信——认为如果游戏结束并计算分数自己就会赢——所以 KataGo 会主动 pass，然后攻击者也 pass，从而结束游戏，开始计分。(双方 pass，棋就结束)
但正如 Gleave 分析的一样，由于 KataGo 围空中的黑子尚有活力，按照围棋裁判规则并未被判定为“死子”，因此 KataGo 的围空中有黑子的地方都不能被计算为有效目数。
因此最后的赢家并不是 KataGo，而是攻击者。
这一胜利并不是个例，在没有搜索的情况下，该对抗策略对 KataGo 的攻击达到了 99% 的胜率。
当 KataGo 使用足够的搜索接近超人的水平时，他们的胜率达到了 50%。
另外，尽管有这种巧妙的策略，但攻击者模型本身的围棋实力却并不强：事实上，人类业余爱好者都可以轻松地击败它。
研究者表示，他们的研究目的是通过攻击 KataGo 的一个意想不到的漏洞，证明即使高度成熟的 AI 系统也会存在严重的漏洞。
正如共同一作 Gleave 所说：
（这项研究）强调了对 AI 系统进行更好的自动化测试以发现最坏情况下的失败模式的必要性，而不仅仅是测试一般情况下的性能。
研究团队
该研究团队来自 MIT、UC 伯克利等，论文共同一作为 Tony Tong Wang 和 Adam Gleave。
Tony Tong Wang，麻省理工学院计算机科学专业博士生，有过在英伟达、Genesis Therapeutics 等公司实习的经历。
Adam Gleave，加州大学伯克利分校人工智能博士生，硕士和本科毕业于剑桥大学，主要研究方向是深度学习的鲁棒性。
值得一提的是，对于这项研究，也有不少围棋专业人士发出质疑，认为作者只是 hack 了自动点目的 bug，并没有真正战胜 KataGo。
论文的链接附在最后，感兴趣的小伙伴们可以自己查看～
论文链接：
https://arxiv.org/abs/2211.00241
参考链接：
