复杂系统科学视角看生成模型：如何理解大型语言模型的行为？

Generative Models as a Complex Systems Science: How can we make sense of large language model behavior?

Ari Holtzman, Peter West, Luke Zettlemoyer
[University of Washington]

复杂系统科学视角看生成模型：如何理解大型语言模型的行为？

• 动机：认识到预训练模型对自然语言处理的重要影响，但目前缺乏对模型行为的解释和理解。本文旨在通过系统性的分类和解释模型行为，指导机械性解释和未来的研究。
• 方法：通过对模型行为进行系统性分类，探讨模型表现背后的机理和生成模型的趋势。将复杂系统的视角应用于研究生成模型，并提出使用元模型预测生成模型输出的规律以更好地理解它们。
• 优势：探讨了生成模型的复杂性和其与传统机器学习的不同之处，提出了研究生成模型行为的新目标和原则，为解释模型性能和进行评估提供了新的视角。

通过将生成模型视为复杂系统，系统性分类其行为，提出元模型预测规律，为解释模型性能和研究生成模型行为指引了新方向。

https://arxiv.org/abs/2308.00189 

内容中包含的图片若涉及版权问题，请及时与我们联系删除