Conditional Language Learning with Context

语言模型可以从原始文本中学习复杂的语言理解技能。然而，它们也会不加筛选地学习无用的语料库统计和偏见，特别是在针对特定领域的语料库进行微调时。在本文中，我们提出了一种称为条件微调的因果语言建模简单修改，它执行基于上下文的语言建模。我们展示了上下文可以“解释”某些语料库统计数据并使模型避免学习它们。通过这种方式，条件微调实现了对语料库的选择性学习，学习对下游任务有用的知识，同时避免学习无用的语料库统计数据，如主题偏见。这种选择性学习效果导致在领域微调中有更少的遗忘和更好的稳定可塑性权衡，可能有益于使用语言模型的终身学习。

论文试图通过有条件的微调方法解决语言模型在微调特定领域的过程中学习无用语料统计和偏见的问题。

论文提出了一种称为有条件微调的方法，该方法通过在上下文条件下进行语言建模来实现有选择地学习语料库，从而避免学习无用的语料统计和偏见。

论文通过实验验证了有条件微调方法的有效性，并证明其可以在特定领域的微调中实现更好的稳定性和可塑性的权衡，从而有望在语言模型的终身学习中发挥作用。

最近的相关研究包括：BERT、GPT-2、XLNet等预训练语言模型的研究。