Towards a Japanese Full-duplex Spoken Dialogue System

全双工语音对话系统近年来备受关注，它可以模拟人类对话中的双向同时性特征，例如语音重叠和反馈信号（backchannels）。然而，针对日语的全双工语音对话系统研究仍然有限，相关开发工作也较为稀缺。在本文中，我们介绍了首个公开可用的日语全双工语音对话模型，该模型基于英文全双工对话模型Moshi构建。我们的模型通过两阶段训练过程完成：首先在大规模的日语口语对话数据上进行预训练，然后在高质量的立体声口语对话数据上进行微调。此外，我们还通过多流文本转语音系统生成的合成对话数据进一步提升模型性能。评估实验表明，训练后的模型在自然度和语义准确性方面均优于现有的日语基准模型。

该论文试图解决日本语全双工对话系统研究稀缺的问题，特别是开发能够模拟人类对话中重叠语音和回声特征的模型。这是一个相对较新的问题，尤其是在日语领域。

论文的关键思路是基于现有的英文全双工对话模型Moshi，通过两阶段训练方法构建首个公开的日语全双工对话模型。第一阶段是在大规模日语口语对话数据上进行预训练，第二阶段则使用高质量的立体声对话数据进行微调。此外，还引入了由多流文本到语音系统生成的合成对话数据以进一步提升模型性能。这种跨语言迁移学习与合成数据增强的结合是其创新点。

1. 提出了首个公开可用的日语全双工对话模型；2. 使用了真实对话数据和合成数据相结合的方法来优化模型性能；3. 实验表明，该模型在自然性和意义性方面优于现有的日语基线模型；4. 数据集和代码未提及是否开源，但提供了详细的实验设计，包括对模型自然度和语义连贯性的评估；5. 值得深入研究的方向包括改进合成数据的质量以及探索更多实际应用场景。

相关研究包括：1. Moshi模型（英文全双工对话系统的基础）；2. 其他关于全双工对话的研究如“End-to-End Full-Duplex Conversational Modeling”；3. 日语语音合成领域的研究，例如“Neural Speech Synthesis for Japanese Language”；4. 对话系统中的数据增强技术，如“Data Augmentation Techniques for Spoken Dialogue Systems”。