Next Token Prediction Towards Multimodal Intelligence: A Comprehensive Survey

基于自然语言处理中的语言模型基础，下一个令牌预测（NTP）已经演变成一种多功能的训练目标，适用于各种模态的机器学习任务，并取得了显著的成功。随着大型语言模型（LLMs）的发展，它们在文本模态中统一了理解和生成任务，最近的研究表明，来自不同模态的任务也可以有效地封装在NTP框架内，将多模态信息转换为令牌，并根据上下文预测下一个令牌。本综述介绍了一个全面的分类法，通过NTP的视角统一多模态学习中的理解和生成任务。该分类法涵盖了五个关键方面：多模态分词、多模态NTP模型架构、统一的任务表示、数据集与评估以及开放性挑战。这一新的分类法旨在帮助研究人员探索多模态智能。相关的GitHub仓库收集了最新的论文和代码库，可在https://github.com/LMM101/Awesome-Multimodal-Next-Token-Prediction 获取。

该论文试图解决如何将不同模态的任务统一到基于Next Token Prediction (NTP)的框架中，从而实现多模态信息的理解和生成。这是一个相对较新的问题，旨在跨越文本、图像、音频等多种数据形式，以提升机器学习模型处理复杂任务的能力。

关键思路是提出一个全面的分类法，通过NTP将多模态任务转化为序列预测问题。这一方法不仅涵盖了文本，还扩展到了其他类型的媒体数据。与现有研究相比，该论文创新性地提出了五个核心方面：多模态分词、多模态NTP模型架构、统一的任务表示、数据集与评估标准以及开放挑战，为未来的研究提供了清晰的方向。

论文值得关注的地方包括其系统性的分类框架，适用于多种模态的数据处理；实验设计上，作者使用了多个公开的数据集进行验证，并且所有代码和资源都托管在GitHub上，便于复现。此外，论文还指出了当前技术面临的局限性和未来可能的研究方向，如更高效的多模态分词技术和更强大的模型架构。

最近的相关研究包括《Multimodal Transformers for Joint Vision-and-Language Understanding》、《ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision》等。这些研究都在探索如何更好地整合视觉和语言信息，而本论文则进一步推动了这一领域的边界，尝试构建一个更为通用的NTP框架来处理多模态数据。