Enhancing Semantics in Multimodal Chain of Thought via Soft Negative Sampling

这篇文章讲述了链式思考在需要进行复杂推理的问题中的应用，其中许多问题是文本和多模态的。在给定不同模态的输入后，模型生成一个理由，然后用它来回答问题。由于存在幻觉问题，生成的具有高文本质量但语义不合逻辑的软负理由并不总是有助于提高答案准确性。因此，本研究提出了一种使用软负采样（SNSE-CoT）的理由生成方法，以减轻多模态CoT中的幻觉。使用了五种方法来生成软负样本，这些样本与原始样本具有高度相似的文本，但具有不同的语义。双向边距损失（BML）被应用于将它们引入到传统的对比学习框架中，该框架仅涉及正负样本。在ScienceQA数据集上进行了大量实验，证明了该方法的有效性。代码和数据已在https://github.com/zgMin/SNSE-CoT上发布。

本论文旨在解决文本和多模态问题中的复杂推理问题，特别是通过提出一种使用软负采样的理性生成方法来减轻幻觉问题。

论文提出了一种使用软负采样的理性生成方法（SNSE-CoT），通过在传统的对比学习框架中引入高度相似但具有不同语义的文本，来解决多模态CoT中的幻觉问题。

论文使用了五种方法来生成软负样本，这些样本具有高度相似的文本但具有不同的语义。同时，论文还使用双向边缘损失（BML）来引入这些样本到传统的对比学习框架中。在科学问答数据集上进行了大量实验，并证明了所提出方法的有效性。此外，论文还公开了代码和数据。

在这个领域中，最近的相关研究包括使用对抗性生成网络（GAN）来生成理性的方法，以及使用多模态表示学习来进行CoT。