Talk With Human-like Agents: Empathetic Dialogue Through Perceptible Acoustic Reception and Reaction

大型语言模型(LLM)增强的代理人在人机交互中越来越普遍，从娱乐到专业领域提供了巨大的潜力。然而，当前的多模态对话系统忽略了语音中存在的声学信息，这对于理解人类交流细微差别至关重要。这种疏忽可能导致对说话者意图的误解，在对话中产生不一致甚至矛盾的回应。为了弥补这一差距，本文提出了PerceptiveAgent，这是一个具有共情能力的多模态对话系统，旨在通过集成语音模态感知来辨别超越字面解释的更深层或更微妙的含义。PerceptiveAgent利用LLMs作为认知核心，感知输入语音中的声学信息，并根据自然语言描述的讲话风格生成共情回应。实验结果表明，PerceptiveAgent在情境理解方面表现出色，能够准确地辨别在语言意义与说话者真实感受相反或不一致的情况下说话者的真实意图，产生更加细致和富有表现力的口头对话。代码公开在以下网址：\url{https://github.com/Haoqiu-Yan/PerceptiveAgent}。

本论文旨在解决当前多模态对话系统忽略语音信息的问题，从而导致对说话者意图的误解，提出了一个结合语音模态感知的多模态对话系统PerceptiveAgent。

PerceptiveAgent采用LLM作为认知核心，通过感知输入语音中的声学信息，基于自然语言描述的说话风格生成共情回应，从而更深入、更细致地理解言外之意。

论文实验结果表明，PerceptiveAgent在上下文理解方面表现出色，能够准确地识别说话者真实意图，产生更加细致和富有表现力的口语对话。论文提供了开源代码，可在GitHub上获取。值得进一步研究。

最近在这个领域中，还有一些相关的研究，例如“Multi-modal Dialogue Generation with Adversarial Learning”、“A Survey on Multimodal Machine Learning”等。