ACL 是计算语言学和自然语言处理领域的顶级国际会议，由国际计算语言学协会组织，每年举办一次。一直以来，ACL 在 NLP 领域的学术影响力都位列第一，它也是 CCF-A 类推荐会议。今年的 ACL 大会已是第 60 届，于 5 月 22-5 月 27 在爱尔兰都柏林举办。
来自META微软等最新ACL2022教程《非自回归序列生成》，168页ppt，值得关注！
非自回归序列生成(Non-autoregressive sequence generation, NAR)尝试并行生成全部或部分输出序列，以加速生成过程，避免自回归生成中潜在的问题(如标签偏差、暴露偏差)。虽然它受到了大量的研究关注，并已被应用于自然语言和语音中的许多序列生成任务，但由于缺乏建模能力，原始NAR模型在缩小与最先进的自回归模型之间的性能差距方面仍面临许多挑战。在本教程中，我们将全面介绍和回顾非自回归序列生成，分为四个部分:1)背景，包括NAR生成的动机，问题定义，评估协议，以及与标准自回归生成方法的比较。2)方法，包括不同的方面:模型架构、目标函数、训练数据、学习范式和额外的推理技巧。3)应用，涵盖了文本和语音生成中的不同任务，以及应用中的一些高级主题。4)结论，我们描述了几个研究挑战，并讨论了潜在的未来研究方向。我们希望本教程可以服务于从事非自回归序列生成的学术研究人员和行业从业人员。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢