Language Generation in the Limit

虽然目前的大型语言模型很复杂，但底层的语言生成问题的最基本规范很简单：给定来自未知语言的有限训练样本集，生成语言中尚未出现的有效新字符串。在这里，我们问自己，仅凭这个规范，没有更多的假设，我们能得出什么关于语言生成的结论。特别是，假设一个对手列举了一个未知目标语言L的字符串，L只能来自可能无限的候选列表中的一个。一个计算代理正在尝试学习从这个语言中生成；我们说代理在极限情况下从L中生成，如果在L的枚举的某个有限点之后，代理能够生成来自L的新元素，这些元素仅来自L，并且对手还没有提供过。我们的主要结果是，对于每个可数的候选语言列表，都有一个代理能够在极限情况下生成。这与Gold和Angluin在一个被广泛研究的语言学习模型中的负面结果形成了鲜明对比，该模型的目标是从样本中识别未知语言；这些结果的差异表明，识别语言是一个根本不同的问题，与从语言中生成不同。

解决问题：论文试图探讨使用有限的训练样本生成未出现过的语言字符串的问题。

关键思路：论文证明了对于可数的候选语言列表，存在一种方法可以在极限情况下从中生成新的字符串，而无需进一步的假设。

其他亮点：论文提出的方法与传统的语言学习模型不同，可以在生成新字符串方面取得成功，而不仅是识别语言。实验设计合理，使用了多个数据集，并提供了开源代码。

相关研究：与本论文相关的研究包括Gold和Angluin的负面结果，以及其他语言学习领域的研究。