作者Valentin Liévin，师从DTU（丹麦技术大学）Ole Winther教授。

论文链接：https://vlievin.github.io/deep-lvms-for-nlp.pdf

本文探索先进的优化方法和潜变量模型的设计，以完成自然语言处理任务。全文共分为三个部分。在第一部分中，我们提出了隐变量语言模型的三种结构。本文讨论了结构化的潜空间，可以结构化为大型知识库(如维基百科)或以潜文本生成过程为特征。在第二部分中，我们深入研究变分推理和优化的主题。本文提出一种新的离散潜变量梯度估计器OVIS。我们发现，即使使用OVIS，优化深度潜变量模型仍然具有挑战性。本文根据经验数据表明，Rényi散度变分推理可以应用于规避一些学习问题。在第三部分中，我们重点解决医疗问答和信息检索任务。实验提示预训练大型语言模型(GPT-3)生成逐步的问题解决方案。本文报告称，在许多情况下，GPT-3可以推理具有挑战性的医学问题。提出了一个新的框架VOD，用于用变分推理学习检索增强语言模型。本文应用VOD来优化由大量维基百科增强的问答系统，并报告了在医疗问答基准上的最先进性能。最后，将得到的模型应用于罕见病诊断领域的信息检索任务。

内容中包含的图片若涉及版权问题，请及时与我们联系删除