Neurosymbolic Diffusion Models

神经符号（NeSy）预测器通过结合神经感知与符号推理来解决诸如视觉推理等任务。然而，标准的 NeSy 预测器假设其所提取的符号之间条件独立，这限制了它们对交互和不确定性进行建模的能力，往往导致预测过于自信以及在分布外数据上的泛化性能较差。为克服这一独立性假设的局限性，我们引入了一种新的 NeSy 预测器类别——神经符号扩散模型（NeSyDMs），它利用离散扩散过程来对符号之间的依赖关系进行建模。我们的方法在扩散过程的每一步重新利用了 NeSy 预测器的独立性假设，从而实现了可扩展的学习，同时捕捉到符号依赖关系和不确定性量化。在包括合成数据和真实世界基准测试中（涵盖高维视觉路径规划和基于规则的自动驾驶任务），NeSyDMs 在 NeSy 预测器中达到了最先进的准确性，并展现出强大的校准能力。

论文试图解决神经符号预测器（NeSy）在处理视觉推理任务时因假设符号条件独立性而导致的局限性问题，包括无法有效建模符号间的交互、不确定性量化不足以及泛化能力差的问题。这是一个已知问题，但尚未有系统性方法来全面解决这些局限性。

论文提出了一种新的模型——神经符号扩散模型（NeSyDMs），通过结合离散扩散过程和神经符号预测器的优点，在每一步扩散过程中重用条件独立性假设以实现可扩展学习，同时捕捉符号间的依赖关系和不确定性。这一思路创新性地将扩散模型引入神经符号领域，为解决符号依赖性和不确定性问题提供了新方向。

论文在多个基准测试中展示了NeSyDMs的优越性能，包括合成数据集和真实世界的高维视觉路径规划及基于规则的自动驾驶任务。实验设计涵盖了从简单到复杂的任务场景，并证明了该模型在准确性和校准方面的优势。此外，作者提到代码已经开源，为后续研究者提供了便利。未来可以进一步探索NeSyDMs在更多实际应用场景中的表现，例如复杂机器人控制或医疗诊断领域。

近期相关研究包括：1) 标准神经符号预测器的研究（如NeSy架构的初步开发）；2) 扩散模型在其他领域的应用（如图像生成和自然语言处理）；3) 不确定性量化的深度学习方法。一些具体的相关工作包括《Neural-Symbolic VQA: Disentangling Reasoning from Recognition》和《Denoising Diffusion Probabilistic Models》等。