DialSim: A Real-Time Simulator for Evaluating Long-Term Dialogue Understanding of Conversational Agents

最近，大型语言模型（LLM）的进步显著增强了对话代理的能力，使其适用于各个领域（例如教育）。尽管它们有所进展，但对代理的评估常常忽略了真实世界对话的复杂性，例如实时交互、多方对话和扩展上下文依赖性。为了弥合这一差距，我们引入了 DialSim，一种实时对话模拟器。在这个模拟器中，代理被分配为流行电视节目中的角色，需要使用过去的对话信息回答即时提出的问题，并区分已知和未知信息。 DialSim 的关键特点包括评估代理在合理时间内回应的能力，处理长期的多方对话，并管理对抗性设置（例如交换角色名称）以挑战代理对预先训练的知识的依赖。我们利用这个模拟器来评估最新的对话代理并分析它们的限制。我们的实验突出了这些代理的优点和缺点，为未来改进对话人工智能领域提供了有价值的见解。 DialSim 可在 https://github.com/jiho283/Simulator 上获得。

DialSim论文试图解决评估对话系统的复杂性问题，例如实时交互、多方对话和上下文依赖性。

DialSim是一个实时对话模拟器，可以评估对话系统的能力，并挑战其对预训练知识的依赖性。

DialSim使用角色扮演的方式，要求对话系统根据过去的对话信息回答问题，并在规定时间内回复。它还可以处理长期多方对话和对抗性设置，如交换角色名称。作者使用DialSim评估了最新的对话系统，并分析了它们的优缺点，提供了有价值的见解。DialSim的代码已经开源。

最近的相关研究包括：1. ConvLab：一个对话系统平台，用于评估多方对话系统；2. MultiWOZ：一个多领域对话数据集，用于评估对话系统的能力。