Cabrita: closing the gap for foreign languages

解决问题：该论文旨在解决使用特定语言或领域从头训练模型的成本高昂的问题，并提出了一种名为Cabrita的方法来增强性能和有效地标记化文本。

关键思路：该论文的关键思路是使用Cabrita方法来减少训练模型的成本，并提高性能和标记化文本的效率。相比于现有的研究，该方法的新意在于成功地解决了性能和标记化问题，并且成本较低。

其他亮点：该论文使用了3亿参数的OpenLLaMA模型进行了预训练，并得到了名为openCabrita 3B的模型。此外，该论文还使用了一种新的标记化方法，从而显著减少了表示文本所需的标记数量。该论文的实验设计合理，使用了葡萄牙语文本进行了不间断的预训练。虽然该论文未提供开源代码，但该方法可以应用于任何类似于变压器的架构模型。

相关研究：近期其他相关的研究包括：《LLaMA: Efficient Language Model Pre-training for Natural Language Processing》（Wang等人，谷歌研究院）和《Adapting Pretrained Language Models to Unseen Domains》（Hong等人，伯克利大学）。

论文摘要：Cabrita：弥合外语差距 Celio Larcher, Marcos Piau, Paulo Finardi, Pedro Gengo, Piero Esposito, Vinicius Caridá 从头开始训练特定语言或领域的模型有两个主要目的：i）增强特定语言或领域背景下的性能，ii）确保有效的分词。这种方法固有的主要限制在于相关成本，这取决于模型大小和涉及的参数数量，成本可能达到六到七位数的美元值。 克服成本挑战的主要解决方案是依赖可用的预训练模型，尽管最近有了LLaMA和LLaMA-2模型等进展，但仍然在某些特定领域问题上表现出效率低下，或在涉及对话式记忆资源的情景中无效，因为表示文本所需的标记数量很大。 为了解决这个问题，我们提出了一种名为Cabrita的方法，正如我们的研究所证明的那样，它成功地解决了性能和高效分词问题，而且成本实惠。我们相信，这种方法可以应用于任何类似于transformer的架构模型。为了验证这项研究，我们在一个名为OpenLLaMA的30亿参数模型上仅使用葡萄牙文文本进行持续预训练，得到了一个名为openCabrita 3B的模型。openCabrita 3B还具有一个新的分词器，可以显著减少表示文本所需的标记数量。在我们的评估中，对于少样本学习任务，我们使用这个3B模型取得了与传统持续预训练方法以及7B模型英语预训练模型相似的结果。

内容中包含的图片若涉及版权问题，请及时与我们联系删除