Komodo: A Linguistic Expedition into Indonesia's Regional Languages

最近大型语言模型（LLMs）的突破主要集中在有易于获取和充足资源的语言，例如英语。然而，对于缺乏足够公共领域语言资源的语言，仍存在重大差距。我们的工作引入了Komodo-7B，一个70亿参数的大型语言模型，旨在通过无缝运作于印尼语、英语和印尼的11种地方语言来解决这一差距。Komodo-7B是由Komodo-7B-Base和Komodo-7B-Instruct组成的LLMs系列。Komodo-7B-Instruct在各种任务和语言中实现了最先进的性能，超越了OpenAI的GPT-3.5、Cohere的Aya-101、Llama-2-Chat-13B、Mixtral-8x7B-Instruct-v0.1、Gemma-7B-it等基准。这个模型不仅在语言特定和总体评估中表现出优越的性能，而且突显了它在语言多样性方面的能力。我们致力于推进语言模型的发展，不仅针对资源充足的语言，还旨在弥合那些语言资源有限的差距。此外，Komodo-7B-Instruct更好的跨语言理解有助于解决印度尼西亚的教育差距，提供从英语到11种地方语言的直接翻译，这是与现有语言翻译服务相比的重大改进。Komodo-7B代表了语言模型包容性和有效性的重要一步，满足了不同社区的语言需求。

论文旨在解决缺乏语言资源的语种在大语言模型领域的问题，提出了一种跨印尼、英语和11种印尼地区语言无缝操作的Komodo-7B 7亿参数大语言模型。

Komodo-7B-Instruct是该模型家族中的一员，通过在各种任务和语言中实现最先进的性能，超过了OpenAI的GPT-3.5、Cohere的Aya-101、Llama-2-Chat-13B、Mixtral-8x7B-Instruct-v0.1、Gemma-7B-it等基准。该模型不仅在语言特定和整体评估方面表现出卓越的性能，而且突显了其在语言多样性方面的优越能力。

论文使用了Komodo-7B-Instruct模型，该模型不仅在语言特定和整体评估方面表现出卓越的性能，而且能够直接将英语翻译成11种区域语言，从而有助于解决印尼的教育差距。此外，该模型的开发还有助于推进语言模型的包容性和有效性，满足不同社区的语言需求。

最近的相关研究包括OpenAI的GPT-3、Cohere的Aya-101、Llama-2-Chat-13B、Mixtral-8x7B-Instruct-v0.1、Gemma-7B-it等。