随着人工智能系统越来越先进，智能体「钻空子」的能力也越来越强，虽然能完美执行训练集中的任务，但在没有捷径的测试集，表现却一塌糊涂。
比如说游戏目标是「吃金币」，在训练阶段，金币的位置就在每个关卡的最后，智能体能够完美达成任务。
但在测试阶段，金币的位置变成随机的了，智能体每次都会选择到达关卡的结尾处，而没有选择寻找金币，也就是学习到的「目标」错了。
智能体无意识地追求一个用户不想要的目标，也称之为目标错误泛化（GMG, Goal MisGeneralisation）。
目标错误泛化是学习算法缺乏鲁棒性的一种特殊形式，一般在这种情况下，开发者可能会检查自己的奖励机制设置是否有问题，规则设计缺陷等等，认为这些是导致智能体追求错误目标的原因。
最近DeepMind发表了一篇论文，认为即使规则设计师正确的，智能体仍然可能会追求一个用户不想要的目标。
论文链接：https://arxiv.org/abs/2210.01790(opens new window)
文中通过在不同领域的深度学习系统中例子来证明目标错误泛化可能发生在任何学习系统中。
如果推广到通用人工智能系统，文中还提供了一些假设，说明目标错误泛化可能导致灾难性的风险。
文中还出提出了几个研究方向，可以减少未来系统的目标错误泛化的风险。
近年来，学术界对人工智能错位（misalignment）带来的灾难性风险逐渐上升。
在这种情况下，一个追求非预期目标的高能力人工智能系统有可能通过假装执行命令，实则完成其他目标。
但我们该如何解决人工智能系统正在追求非用户预期目标？
之前的工作普遍认为是环境设计者提供了不正确的规则及引导，也就是设计了一个不正确的强化学习（RL）奖励函数。
在学习系统的情况下，还有另一种情况，系统可能会追求一个非预期的目标：即使规则是正确的，系统也可能一致地追求一个非预期的目标，在训练期间与规则一致，但在部署时与规则不同。
以彩球游戏为例子，智能体在游戏里需要以某种特定的顺序访问一组彩球，这个顺序对于智能体来说是未知的。
为了鼓励智能体向环境中的其他人进行学习，即文化传播（cultural transmission），在最开始环境中包含一个专家机器人，以正确的顺序访问彩球。
在这种环境设置下，智能体可以通过观察转嫁的行为来确定正确的访问顺序，而不必浪费大量的时间来探索。
实验中，通过模仿专家，训练后的智能体通常会在第一次尝试时正确访问目标位置。
当把智能体与反专家（anti-expert）进行配对时，会不断收到负奖励，如果选择跟随会不断收到负奖励。
理想情况下，智能体刚开始会跟着反专家移动到黄色和紫色球体。在进入紫色后，观察到一个负奖励后不再跟随。
但在实践中，智能体还会继续遵循反专家的路径，积累越来越多的负奖励。
不过智能体的学习能力还是很强的，可以在充满障碍物的环境中移动，但关键是这种跟随其他人的能力是一个不符合预期的目标。
即使智能体只会因为正确顺序访问球体而得到奖励，也可能出现这个现象，也就是说，仅仅把规则设置正确还是远远不够的。
目标错误泛化指的就是这种病态行为，即尽管在训练期间收到了正确的反馈，但学到的模型表现得好像是在优化一个非预期的目标。
这使得目标错误泛化成为一种特殊的鲁棒性或泛化失败，在这种情况下，模型的能力可以泛化到测试环境中，但预期的目标却不能。
需要注意的是，目标错误泛化是泛化失败的一个严格子集，不包括模型breaks, 随机行动或其他不再表现出合格能力的情况。
在上述例子中，如果在测试时垂直翻转智能体的观察结果，它就只会卡在一个位置，而不会做任何连贯的事情，这就属于是泛化错误，但不是目标泛化错误。
相对于这些「随机」的失败，目标错误泛化会导致明显更糟糕的结果：跟随反专家会得到大量的负奖励，而什么都不做或随机行动只会得到0或1的奖励。
也就是说，对于现实中的系统，朝着非预期目标的连贯行为可能会产生灾难性的后果。
评论
沙发等你来抢