行业大模型落地的一些有趣调研总结

最近最大的新闻，莫过于OpenAI发布GPT4o，掀起了国内的一片狂欢，正如OpenAI官网博客所言，GPT-4o（“o”代表“omni”）是迈向更自然的人机交互的一步，其接受文本、音频和图像的任意组合作为输入，并生成文本、音频和图像的任意组合输出，关于这块，可以进一步看看https://twitter.com/gdb/status/1790071008499544518，https://openai.com/index/hello-gpt-4o/，https://openai.com/index/gpt-4o-and-more-tools-to-chatgpt-free/

当然，狂欢之余，我们还是回到技术本身，谈谈2个问题。

一个是目前RAG都有哪些综述，四大综述？一个是关于行业大模型的一些有趣总结，关于一个技术报告，会是在产研上的一个总结性结论。

供大家一起参考。

问题1:目前RAG都有哪些综述，四大综述？

实际上，RAG当前的一些总结新性的论文越来越多，在同质化的同时，也有一些差一点。一路看过来，昨天已经达到了4个，几乎每个月一个，下面从时间先后顺序进行处理，大家可以看看。

1、2023年12月综述

《Retrieval-Augmented Generation for Large Language Models: A Survey》

这篇综合性综述论文对RAG范式的发展进行了详细的研究，包括Naive RAG、Advanced RAG和Modular RAG，仔细研究了RAG框架的三个基础概念，包括检索、生成和增强技术。该论文重点介绍了这些关键组件中蕴含的sota方案，以及最新的评估框架和基准。

最后，该工作阐述了当前面临的挑战，并指出了未来的研究和发展方向。

地址：https://arxiv.org/abs/2312.10997

2、2024年2月综述

《Retrieval-Augmented Generation for AI-Generated Content: A Survey》

该工作全面回顾了将RAG技术整合到AIGC场景中的现有工作。首先根据检索器如何增强生成器对RAG基础进行分类，提炼出各种检索器和生成器增强方法的基本原理。

此外，总结了RAG的其他增强方法，以促进RAG系统的有效工程设计和实施。最后，还介绍了RAG的基准，讨论了当前RAG系统的局限性，并提出了未来研究的潜在方向。

地址：https://arxiv.org/abs/2402.19473，https://github.com/hymie122/RAG-Survey

3、2024年4月综述

《A Survey on Retrieval-Augmented Text Generation for Large Language Models》

随着RAG的复杂性不断增加，并纳入了可能影响其性能的多个概念，该工作将RAG范式分为四个类别：检索前、检索、检索后和生成，从检索的角度提供了详细的视角。

该工作首先概述了RAG的演变过程，并通过对重要研究的分析讨论了该领域的进展。此外，还介绍了RAG的评估方法，解决了面临的挑战，并提出了未来的研究方向。通过提供一个有条理的框架和分类，本研究旨在整合现有的RAG研究，澄清其技术基础，并强调其扩大LLM适应性和应用的潜力。

地址：https://arxiv.org/pdf/2404.10981

4、2024年5月份综述

《A Survey on RAG Meets LLMs: Towards Retrieval-Augmented Large Language Models》

该工作全面回顾了检索增强大型语言模型（RA-LLMs）方面的现有研究，涵盖了三个主要技术视角：架构、训练策略和应用。先简要介绍了LLM的基础和最新进展。然后，为了说明RAG对LLMs的实际意义，按应用领域对主流相关工作进行了分类，具体详述了每个领域所面临的挑战以及RA-LLMs(Retrieval-Augmented Large Language Models)的相应能力。