A Review of Multi-Modal Large Language and Vision Models

大型语言模型（LLMs）最近成为研究和应用的焦点，其能够以人类般的质量理解和生成文本，推动了这一趋势。更近期，LLMs被扩展成为多模态大型语言模型（MM-LLMs），使其能够处理图像、视频和音频信息，而不仅仅是文本。这开启了诸如文本到视频生成、图像字幕、文本到语音等应用，可以通过将LLM与多模态能力进行后期调整或从头构建MM-LLM来实现。本文全面回顾了具有多模态能力的LLMs和最近的MM-LLMs的现状。它涵盖了LLMs的历史发展，特别是由transformer-based架构（如OpenAI的GPT系列和Google的BERT）带来的进步，以及注意力机制在提高模型性能方面的作用。本文包括了LLMs和MM-LLMs中最重要的模型和技术，以及模型调整的技术，包括微调和提示工程，这些技术可以将预训练模型定制到特定的任务或领域。同时，本文还分析了道德考虑和挑战，如数据偏见和模型误用，以强调负责任的AI开发和部署的重要性。最后，我们讨论了AI研究中开源和专有模型的影响。通过本次综述，我们提供了MM-LLMs在各种应用中的变革潜力的见解。

本论文旨在综述当前具有多模态能力的大型语言模型（LLM）和多模态大型语言模型（MM-LLM）的最新研究成果和应用，以及探讨这些模型在各种应用中的潜在影响。

本论文综述了LLM的历史发展和transformer-based架构的进展，以及注意力机制在提高模型性能方面的作用。论文介绍了主要的LLM和MM-LLM，并涵盖了fine-tuning和prompt engineering等模型调整技术，以及数据偏见和模型滥用等伦理考虑和挑战。

论文介绍了LLM和MM-LLM在图像、视频和音频信息处理方面的应用，包括文本到视频生成、图像字幕、文本到语音等。此外，论文还介绍了模型调整技术、伦理考虑和挑战等方面。

最近的相关研究包括对LLM和MM-LLM的改进、使用不同数据集的实验和应用等。例如，《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》、《ImageBERT: Cross-modal Pre-training with Large-scale Weak-supervised Image-Text Data》等。