Faith and Fate: Limits of Transformers on Compositionality

Nouha Dziri, Ximing Lu, Melanie Sclar, Xiang Lorraine Li, Liwei Jian, Bill Yuchen Lin, Peter West, Chandra Bhagavatula, Ronan Le Bras, Jena D. Hwang, Soumya Sanyal, Sean Welleck, Xiang Ren, Allyson Ettinger, Zaid Harchaoui, Yejin Choi

[Allen Institute for Artificial Intelligence & University of Washington]

Transformer在复合性任务上的限制

  • 动机：研究transformer模型在复合性任务上的限制。虽然Transformer在复杂多步推理任务上表现出色，但同时也存在在一些简单问题上的失败。论文旨在探究这些错误是否是偶然的，还是暴露了更严重的限制。
  • 方法：通过对三个代表性的复合性任务(多位数乘法、逻辑格谜和经典动态规划问题)的研究，系统地量化了Transformer模型在复合性任务中的限制。将复合性任务构建为计算图，将推理步骤分解为中间子过程，以此来评估任务的复杂程度和推理过程的线性化子图匹配能力。 优势：实证研究结果显示，Transformer模型在复合性任务上通过将多步复合推理简化为线性化子图匹配的方式来解决问题，而并没有真正发展出系统性的问题解决能力。论文研究揭示了Transformer在高复杂性的复合性任务上的固有限制，并提供了理论依据支持这一观点。


研究了Transformer模型在复合性任务上的限制，发现其倾向于通过线性化子图匹配的方式解决问题，而无法真正实现系统性的多步推理能力。

https://arxiv.org/abs/2305.18654 


图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除