Evolution and The Knightian Blindspot of Machine Learning

本文指出，机器学习（ML）在很大程度上忽视了通用智能的一个重要方面：在开放世界中对定性未知未来的稳健性。这种稳健性与经济学中的奈特不确定性（Knightian uncertainty, KU）有关，即无法量化的不确定性，而这一点被排除在机器学习的关键形式化之外。本文旨在识别这一盲点，论证其重要性，并催化相关研究以解决该问题，我们认为这是创建真正稳健的开放世界人工智能所必需的。为了揭示这一盲点，我们将机器学习的一个领域——强化学习（RL），与生物进化过程进行对比。尽管取得了令人瞩目的进展，强化学习在开放世界情境下仍然面临挑战，在不可预见的情况下常常失败。例如，将仅在美国训练的自动驾驶汽车策略直接应用于英国目前似乎非常困难。相比之下，生物进化经常产生能够在开放世界中茁壮成长的个体，有时甚至在极其超出分布的情况中也是如此（如入侵物种；或人类，他们确实会进行这种零样本的国际驾驶）。有趣的是，进化实现这种稳健性并不依赖明确的理论、形式化或数学梯度。我们探讨了强化学习典型形式化背后的假设，展示了它们如何限制强化学习应对复杂多变世界中“未知的未知”的能力。此外，我们确定了进化过程中促进对新奇和不可预测挑战稳健性的机制，并讨论了将其算法化实现的潜在途径。结论是，机器学习仍存在的脆弱性可能源于其形式化中的盲点，而直接面对KU挑战可能会带来显著的进步。

该论文试图解决机器学习（ML）领域中一个被忽视的问题，即在面对开放世界中的未知不确定性（Knightian uncertainty, KU）时，ML模型缺乏鲁棒性。这是一个新问题，因为它指出了当前ML研究的一个盲点，特别是在强化学习（RL）领域。

论文的关键思路是通过对比生物进化与强化学习，揭示了ML在处理开放世界中的未知不确定性方面的局限性。作者认为，进化过程中产生的鲁棒性机制可以在没有明确理论或数学梯度的情况下应对未知挑战，而RL则受限于其形式化假设。这为开发更适应开放世界的AI提供了新的思考方向。

论文强调了几个值得关注的亮点：1) 强调了ML在处理开放世界和未知不确定性方面的不足；2) 对比了生物进化与RL，提出了进化机制如何帮助提高鲁棒性的见解；3) 指出了解决这一问题可能带来的显著进步，并呼吁更多研究关注这一领域。此外，论文还讨论了未来的研究方向，包括如何将进化机制算法化。

最近在这个领域的相关研究包括：1) 'Reinforcement Learning in Open-World Environments'，探讨了RL在动态环境中的应用；2) 'Biologically-Inspired Robustness in Artificial Intelligence'，研究了生物学启发的鲁棒性机制；3) 'Uncertainty Quantification in Deep Learning'，专注于深度学习中的不确定性量化。这些研究共同构成了对开放世界AI鲁棒性的探索。