A Survey of Resource-efficient LLM and Multimodal Foundation Models

大型基础模型，包括大型语言模型（LLMs）、视觉变换器（ViTs）、扩散和基于LLM的多模态模型，正在彻底改变机器学习的整个生命周期，从训练到部署。然而，这些模型所提供的多样性和性能的显著进步，以硬件资源为代价。为了以可扩展和环境可持续的方式支持这些大型模型的增长，人们已经着眼于开发资源高效的策略。本调查深入探讨了这种研究的重要性，从算法和系统方面进行了全面分析和有价值的见解，涵盖了从尖端模型架构和训练/服务算法到实际系统设计和实现的广泛主题。本调查的目标是提供一个总体理解，了解当前方法如何解决大型基础模型所面临的资源挑战，并可能激发这一领域的未来突破。

如何以可持续和可扩展的方式支持大型基础模型的发展？

通过算法和系统方面的研究，提出了资源高效的策略，以支持大型基础模型的发展。

论文综合分析了现有文献中的各种主题，包括先进的模型架构、训练/服务算法以及实际系统设计和实现。实验使用了多个数据集，并开源了代码。

最近的相关研究包括：EfficientNet、MobileNet、ShuffleNet等。