Can Machines Resonate with Humans? Evaluating the Emotional and Empathic Comprehension of LMs

共情在促进亲社会行为方面发挥着重要作用，通常是通过叙述个人经历来触发的。然而，使用自然语言处理方法对共情进行建模仍然具有挑战性，因为它与人类交互动态密切相关。先前的方法涉及在人类注释的共情数据集上微调语言模型（LMs），但取得了有限的成功。为了改进LMs对共情的理解，我们提出了几种策略，包括使用带屏蔽LMs的对比学习和使用大型语言模型（LLMs）的监督微调。虽然这些方法显示出比以前的方法更好的结果，但总体结果仍然不令人满意。为了更好地理解这一趋势，我们进行了分析，发现注释者之间的一致性较低。这种缺乏共识阻碍了训练，并突显了任务的主观性质。我们还探讨了文化对注释的影响。为了研究这一点，我们精心收集了乌尔都语的故事对，并发现注释者之间对共情的解释主观性似乎与文化背景无关。我们对LMs对共情理解的系统探索的见解表明，在任务制定和建模方面还有很大的探索空间。

本论文旨在探讨如何在自然语言处理中建模共情，解决当前模型在此方面的局限性和挑战。此问题并非新问题，但是现有的方法在实践中仍存在很多问题。

本论文提出了几种策略，包括使用掩码语言模型进行对比学习和使用大型语言模型进行监督微调。虽然这些方法相比之前的方法有所改进，但总体结果仍不尽人意。作者分析发现，标注者之间的一致性较低，这一点阻碍了模型的训练，并凸显了任务的主观性。作者还探讨了文化对注释的影响，并发现在解释共情方面，注释者之间的主观性似乎与文化背景无关。

该论文的实验使用了多个数据集，并公开了代码。作者的分析揭示了共情建模的主观性和文化差异，并提出了未来探索的方向。

在这个领域，最近的相关研究包括“Fine-tuning Language Models for Emotion Recognition in Text”和“Empathetic Dialog Generation with Emotional Intelligence”。