A Mathematical Model of the Hidden Feedback Loop Effect in Machine Learning Systems

社会规模的机器学习系统的广泛部署需要深入了解这些系统对其环境产生的长期影响，包括信任度的降低、偏差放大和违反人工智能安全要求。我们引入了一个重复学习过程，共同描述了一些归因于意外隐藏反馈循环的现象，如误差放大、感知漂移、回声室等。该过程包括在单个数学模型内获取数据、训练预测模型和向最终用户提供预测的整个周期。这种重复学习设置的一个独特特点是，随着时间的推移，环境的状态变得因果依赖于学习者本身，从而违反了有关数据分布的通常假设。我们提出了一个重复学习过程的新型动力系统模型，并证明了系统操作的正反馈循环模式的概率分布的极限集。我们使用两个合成数据集上的一个示例监督学习问题进行了一系列计算实验。实验结果与从动力模型推导出的理论预测相一致。我们的结果证明了所提出的方法用于研究机器学习系统中的重复学习过程的可行性，并为该领域的进一步研究开辟了一系列机会。

研究机器学习系统中重复学习过程的长期影响，包括信任度的降低、偏差放大和违反AI安全要求等问题。

提出了一个重复学习过程的数学模型，用于描述由于意外的隐藏反馈循环引起的错误放大、概念漂移、回声室等现象。

通过计算实验验证了该模型的可行性，并证明了系统操作的正反馈循环模式和负反馈循环模式的概率分布极限集。

相关研究包括《Hidden Technical Debt in Machine Learning Systems》、《The Limitations of Deep Learning in Adversarial Settings》等。