Pronunciation Assessment with Multi-modal Large Language Models

本文提出了一种基于大型语言模型（LLMs）的评分系统，由于它们在文本相关的评分任务中产生了积极的影响，因此在语言学习的自动化智能教学系统中被广泛认可。具体而言，语音编码器首先将学习者的语音映射到上下文特征中。然后，适配器层将这些特征转换为与潜在空间中的文本嵌入对齐的形式。评估任务特定的前缀和提示文本被嵌入并与模态适配器层生成的特征连接，使得LLMs能够预测准确度和流畅度得分。我们的实验表明，所提出的评分系统在Speechocean762数据集上与基准线相比取得了竞争性的结果。此外，我们还进行了消融研究，以更好地了解提示文本和训练策略在所提出的评分系统中的贡献。

本论文旨在提出一种基于大型语言模型（LLMs）的评分系统，用于语言学习中的智能教学系统。该评分系统旨在通过将学习者的语音映射为上下文特征，并将其与文本嵌入对齐，从而预测准确性和流畅度得分。

该论文的关键思路是利用大型语言模型（LLMs）进行语音评分，通过将学习者的语音与文本进行对齐，从而预测准确性和流畅度得分。

该论文使用了Speechocean762数据集进行实验，并与基线模型进行比较，结果表明该评分系统具有竞争力。此外，论文还进行了消融实验，以更好地理解提示文本和训练策略对评分系统的贡献。

最近在这个领域中，还有一些相关的研究，如：1.《基于深度学习的语音评分系统》；2.《基于语音识别的语音评分系统》；3.《使用自然语言处理技术的语音评分系统》等。