周五晚上，你正试图挑选一家餐厅吃饭，但没有预定。你应该去你最爱的那家人满为患的餐厅排队等位，还是尝试一家新餐厅，希望能发现一些更好吃的惊喜？

后者确实有可能带来惊喜，但这种好奇心驱动的行为是有风险的：你去尝试的那家新餐厅的东西可能会更难吃。

好奇心作为AI探索世界的驱动力，实例已经不胜枚举了——自主导航、机器人决策、优化检测结果等等。

在某些情况下，机器使用「强化学习」来完成一个目标，在这一过程中，AI智能体从被奖励的好行为和被惩罚的坏行为中反复学习。

就像人类在选择餐厅时面临的困境一样，这些智能体也在努力平衡发现更好的行动（探索）的时间和采取过去导致高回报的行动（利用）的时间。

太强的好奇心会分散智能体的注意力，无法做出有利的决定，而好奇心太弱，则意味着智能体永远无法发现有利的决定。

为了追求使AI智能体具有「恰到好处」的好奇心，来自麻省理工学院计算机科学与AI实验室（CSAIL）的研究人员创造了一种算法，克服了AI过于「好奇」和被手头的任务分散注意力的问题。

他们研究出的算法会在需要时自动增加好奇心，如果智能体从环境中得到足够的监督，已经知道该怎么做，则降低好奇心。

图片

论文链接：https://williamd4112.github.io/pubs/neurips22_eipo.pdf

经过60多个视频游戏的测试，该算法能够在不同难度的探索任务中取得成功，而以前的算法只能单独解决简单或困难难度。这意味着AI智能体可以使用更少的数据来学习决策规则，达到激励最大化。

「如果你很好地掌握了探索-开发之间权衡，就能更快地学习正确的决策规则，而任何不足之处都需要大量的数据，这可能意味着产生的结果是非最优的医疗方案，网站的利润下降，以及机器人没有学会做正确的事情。」

该研究带头人之一、麻省理工学院教授兼Improbable AI实验室主任Pulkit Agrawal说。

内容中包含的图片若涉及版权问题，请及时与我们联系删除