系统情况介绍

中/英文口语表达能力评测解决方案，由好未来AI自主研发，基于业内领先的少儿语音识别技术和多维度口语表达评测 算法，综合评测3-14岁孩子的中/英文口语表达能力。支持从流利度、情感、主题相关度、语意逻辑、语言运用等多维度输出评测报告，帮助孩子了解自身的口语表达能力水平，并有针对性地训练和提升。

一、产品背景 口语表达能力是少儿时期需要重点培养和训练的能力之一。无论是课后的口语练习（如主题演讲、看图说话），还是课堂上的发言互动，都存在评测的需求。但传统的人工评价，往往会存在评测维度单一、人工评价效率低且/成本高、评价体系不一等问题。

二、产品功能 通过口语表达的音频/视频，可提取音频特征、获取转录文字、抽取视频图像信息，再经过算法模型处理后，输出流利度、情感、主题相关度、词汇运用等打分结果，其中英文场景还包含发音与语法的评测维度，最后系统会给出一份详细的评测报告。

（中文口语表达能力评测打分示意）

（英文口语表达能力评测打分示意）

（评测报告示意）

三、算法简介

  1. 流利度 流利度的判断结合了1500+维语音特征和结构化的ASR识别文本两方面特征，能准确捕捉停顿、结巴、连续重复字、口头禅等不流利的现象，最终基于GBDT的流利度模型准确率高达97%以上。

  2. 主题相关度 使用基于多注意力判断机制的深度神经网络，使用大语料预训练的词向量作为输入，增加其语意理解能力，以适应学生回答的多样性以及所回答问题的开放性。我们采集了超过20万条学生的口语练习音频做训练和测试，相关性预测准确率达到95%。

  3. 语言运用（词汇运用） 通过词性标注和依存关系分析，提取回答文本中相对应的不同词性的词，在不同评价体系下，建立差异化的词性使用丰富度评价标准。

  4. 语音情感 通过音频来判断学生讲话是否感情饱满、情绪高昂。对音频中学生讲话是否情感饱满进行了11人标注，提取1500+维的语音特征作为训练特征，最终训练的模型在测试集上的准确率达到90%。

  5. 语意逻辑 语意逻辑旨在判断学生是否会出现前句和后句内容不一致的情况，该任务也被叫做discourse coherence，训练数据来自于网上爬取的小学生故事大全，通过随机打乱句间顺序形成负例样本，共224000行训练文本，56000行测试文本，使用基于句间注意力机制的层级深度神经网络进行训练，在测试集上可以达到85%的准确率。 此外，教育领域的标注任务主观性强，导致众包标签存在大量噪声。为此我们开创性地提出了RLL框架并运用到实际模型开发中。RLL框架结合了深度学习和贝叶斯推断理论，把众包标签信息集成到模型的学习中，可以从非常有限且一致性低的众包标签中学习数据的高质量特征表示。在多个真实数据集上，RLL模型性能超过了当前主流的少样本特征学习算法。该工作相关论文已收录于ICDE 2019。

四、产品应用效果

目前，该产品已经在幼小入学测、课堂互动发言、课后口语练习、比赛活动等场景实际应用，累计提供了超过2000万次的评测服务，覆盖5万+教师和500万+的学生用户，累计帮助教师节省50万+小时的批改和评测时间。 中/英文口语表达能力评测解决方案，除了在好未来集团内部7条业务线全面使用，还向教育同行输出赋能，包括趣口才（线上口才培训机构）、求上语言艺术（线下语言艺术培训）、晓黑板（K12教育信息化提供商）、慧沃（智慧幼儿教育平台）等企业，好未来AI均为其提供了线上评测服务。

五、产品体验

PC端：https://ai.100tal.com/dolphin/recorder

微信小程序

附录：与本产品相关的研究论文 1. Automatic short answer grading via multiway attention networks 作者：Tiaoqiao Liu, Wenbiao Ding, Zhiwei Wang, Jiliang Tang, Gale Yan Huang, Zitao Liu 发表日期：2019/6/25 会议：International Conference on Artificial Intelligence in Education

  1. Dolphin: A spoken language proficiency assessment system for elementary education 作者：Zitao Liu, Guowei Xu, Tianqiao Liu, Weiping Fu, Yubi Qi, Wenbiao Ding, Yujia Song, Chaoyou Guo, Cong Kong, Songfan Yang, Gale Yan Huang 发表日期：2020/4/20 会议：The Web Conference 2020 3.Learning Effective Embeddings From Crowdsourced Labels: An Educational Case Study 作者：Guowei Xu, Wenbiao Ding, Jiliang Tang, Songfan Yang, Gale Yan Huang, Zitao Liu 发表日期：2019/4/8 会议：2019 IEEE 35th International Conference on Data Engineering (ICDE)

4.Representation Learning from Limited Educational Data with Crowdsourced Labels 作者：Wentao Wang, Guowei Xu, Wenbiao Ding, Gale Yan Huang, Guoliang Li, Jiliang Tang and Zitao Liu 期刊：IEEE Transactions on Knowledge and Data Engineering（TKDE）