Acoustic Feature Mixup for Balanced Multi-aspect Pronunciation Assessment

本文讨论了自动发音评估中的多方面评估，以提供丰富的反馈。然而，获取非母语学习者语音的多方面评分标签数据存在挑战，而且往往会导致评分不平衡的分布。因此，本文提出了两种声学特征混合策略，线性和非线性插值与批内平均特征相结合，以解决数据稀缺和评分标签不平衡的问题。本文主要使用发音好坏作为声学特征，设计了相应的混合策略以适应发音评估。此外，本文还通过将语音识别结果与原始答案音素进行比较，整合了细粒度的错误率特征，直接提供错误发音的提示。声学特征的有效混合显著提高了speechocean762数据集的总体评分表现，并且详细的分析突出了我们预测未见扭曲的潜力。

论文旨在解决语音评估中的数据稀缺和分数标签不平衡问题，提出了两种声学特征混合策略以及细粒度的错误率特征，并在speechocean762数据集上验证了其有效性。

论文提出了两种Acoustic Feature Mixup策略，即线性和非线性插值，以解决数据稀缺和分数标签不平衡问题，并结合细粒度的错误率特征来提高语音评分性能。

论文使用了speechocean762数据集进行实验，并且展示了Acoustic Feature Mixup的有效性。此外，论文还结合了细粒度的错误率特征来提高评分性能。该论文的创新点在于提出了针对发音评估的混合设计，并且在处理数据稀缺和分数标签不平衡方面有一定的优势。

最近的相关研究包括：《Multi-aspect Score Regression for Automated Pronunciation Assessment Using Articulatory Features》、《A comparative study of acoustic features for pronunciation assessment of non-native English speakers》等。