近几年，自我博弈中的强化学习已经在围棋、国际象棋等一系列游戏中取得了超人的表现。此外，自我博弈的理想化版本还收敛于纳什均衡。纳什均衡在博弈论中非常著名，该理论是由博弈论创始人，诺贝尔奖获得者约翰 · 纳什提出，即在一个博弈过程中，无论对方的策略选择如何，当事人一方都会选择某个确定的策略，则该策略被称作支配性策略。如果任意一位参与者在其他所有参与者的策略确定的情况下，其选择的策略是最优的，那么这个组合就被定义为纳什均衡。
之前就有研究表明，自我博弈中看似有效的连续控制策略也可以被对抗策略利用，这表明自我博弈可能并不像之前认为的那样强大。这就引出一个问题：对抗策略是攻克自我博弈的方法，还是自我博弈策略本身就能力不足？
为了回答这个问题，来自 MIT、 UC 伯克利等机构的研究者进行了一番研究，他们选择自我博弈比较擅长的领域进行，即围棋（Go）。具体而言，他们对公开可用的最强围棋 AI 系统 KataGo 进行攻击。针对一个固定的网络（冻结 KataGo），他们训练了一个端到端的对抗策略，仅用了训练 KataGo 时 0.3% 的计算，他们就获得了一个对抗性策略，并用该策略攻击 KataGo，在没有搜索的情况下，他们的策略对 KataGo 的攻击达到了 99% 的胜率，这与欧洲前 100 名围棋选手实力相当。而当 KataGo 使用足够的搜索接近超人的水平时，他们的胜率达到了 50%。至关重要的是，攻击者（本文指该研究学到的策略）并不能通过学习通用的围棋策略来取胜。
-
论文地址：https://arxiv.org/pdf/2211.00241.pdf -
研究主页：https://goattack.alignmentfund.org/adversarial-policy-katago?row=0#no_search-board
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢