Tiny Titans: Can Smaller Large Language Models Punch Above Their Weight in the Real World for Meeting Summarization?

大型语言模型（LLMs）已经展示出了惊人的能力，可以在没有明确针对特定任务的数据集进行微调的情况下解决各种任务。然而，在实际应用中部署LLMs并不容易，因为它需要大量的计算资源。本文研究了在实际工业环境中进行会议摘要任务，探讨了使用更小、更紧凑的LLMs是否是解决LLMs在实际应用中所面临的昂贵成本的良好替代方案。在这方面，我们通过比较经过微调的紧凑LLMs（例如FLAN-T5、TinyLLaMA、LiteLLaMA）与零-shot较大LLMs（例如LLaMA-2、GPT-3.5、PaLM-2）的表现，进行了广泛的实验研究。我们观察到，大多数较小的LLMs，即使经过微调，也无法在会议摘要数据集中胜过较大的零-shot LLMs。然而，一个值得注意的例外是FLAN-T5（780M参数），它的表现与许多零-shot较大的LLMs（从7B到70B以上参数）相当甚至更好，同时体积显著更小。这使得像FLAN-T5这样的紧凑LLMs成为实际工业部署的一种成本效益高的解决方案。

论文试图探讨是否使用更小的压缩语言模型（LLMs）是解决实际工业环境中使用LLMs所带来的成本问题的有效方法。作者通过研究会议摘要任务，比较fine-tuned的小型LLMs和零样本的大型LLMs的性能，来解决这个问题。

FLAN-T5是一个780M参数的压缩LLM，相比于其他小型LLMs和零样本大型LLMs，在会议摘要任务中表现出色，这使得像FLAN-T5这样的压缩LLMs成为实际工业部署的一种适用的成本效益解决方案。

论文使用会议摘要任务进行实验，比较了fine-tuned的小型LLMs和零样本的大型LLMs的性能。作者发现FLAN-T5在会议摘要任务中表现出色，而且比其他小型LLMs和零样本大型LLMs更加高效。论文还提供了数据集和代码。同时，论文的结论对于实际工业应用具有重要参考价值。

近期的相关研究包括使用小型LLMs进行自然语言处理任务的研究，以及使用零样本学习的技术来提高LLMs的性能的研究。