标题:加州大学、微软、霍布金斯大学|Compositional Processing Emerges in Neural Networks Solving Math Problems(合成处理在解决数学问题的神经网络应用)

简介:认知科学中一个长期存在的问题涉及构成人类基础的学习机制认识。人类可以推断出结构化的关系,例如,隐含在听觉语音等感官观察中的语法规则,并利用这些知识将较简单的含义组成复杂的整体。最近的人工神经网络的进展表明,当大型模型要接受足够的语言数据训练,语法结构会出现在它们的表示形式中。我们扩展这个在数学推理领域工作可能就含义如何提出精确的假设(例如,与数字相对应的数量)应根据结构化规则(例如,操作顺序)组成。我们的工作表明神经网络不仅能够推断关于其隐含的结构化关系的一些信息训练数据,但也可以利用这些知识来指导将单个含义组成一个整体。

下载地址:https://arxiv.org/pdf/2105.08961v1.pdf

内容中包含的图片若涉及版权问题,请及时与我们联系删除