OPPO发布AndesGPT，率先卷到了大模型竞争下半场

新智元报道

编辑：编辑部

【新智元导读】大模型下半场，绿厂正式入局！首发个性专属大模型与智能体AndesGPT，全面革新终端生态。

前些年国内盛传一句话：「互联网竞争进入了下半场」。

历史正在重演：「大模型竞争已经进入了下半场」。

现在大模型赛道的竞争，已经远不止训个模型、刷个榜单那么简单了，而是考验一家公司在商业层面全方位的战略竞争，具体体现在以下几方面：

技术形态上，从单纯的底座大模型的竞争衍生到了到智能体（Agent）的竞争；
商业成熟度上，从技术demo衍生到了应用生态的竞争；
交互入口上，从网页端衍生到了交互最频繁最自然的手机端；
价值深度上，从千人一面衍生到了千人千面。

一句话来总结，大模型竞争下半场的核心就是：大模型应用生态（智能体开源（AgentStore）+交互入口（手机端）。

如今，大部分公司还在做上半场的竞争，但笔者众里寻她千百度，蓦然回首，惊喜发现，有一家公司已经全面拥抱大模型竞争下半场了——那就是国内头部的手机厂商OPPO。

就在昨天，2023 OPPO开发者大会上，OPPO官宣发布了自主训练的个性专属大模型与智能体——安第斯大模型（AndesGPT）。

另外，为了更好地促进大模型及智能体生态发展，AndesGPT后续将开源智能体框架，便于开发者打造自己的智能体。

一是面向开发者建立智能体开发平台，二是打造Agent Store，支持Agent的高效孵化、托管与应用。通过智能体开发平台，OPPO希望在未来，能让所有人，就算不懂代码的普通用户，也能轻松定义和分享AI大模型的应用。

你可能会好奇，作为一家手机厂商，OPPO为啥会做大模型和智能体呢？

背后的答案关乎着OPPO长期坚持的价值理念——始终坚持以用户需求为中心，以用户体验为先。

比如，为何今年上半年，OPPO能以2400多万台出货量稳居国内智能手机市场销量第一？

在这销量引领市场的背后，其实正是OPPO近二十年间不断从用户需求和用户体验出发的价值理念下，持续地深耕底层技术，以技术创新作为驱动力，通过持续打造极致的体验赢得用户的信赖和认可。

遵循着同样的理念，在大模型范式作为技术驱动的新时代，对于拥有6亿C端用户的OPPO来说，积极拥抱大模型AI智能体新时代，为手机端用户带来全面革新的智能终端交互体验就成了一个很顺其自然的决定。

OPPO的大模型如何思路革新？

目前行业内已经存在非常多的开源与闭源大模型，能否直接拿来应用解决产品体验升级问题呢？

OPPO的答案是NO，并选择了自主训练的路线。

为什么呢？

以信息获取需求为例，用户最核心的诉求是获得专业、可信、安全的内容，而目前的大模型普遍存在“幻觉”，也容易产生不符合内容安全规定的输出，这让用户带来很大的信任和安全困扰：到底什么时候可以采信大模型的结果？

作为国内Top的智能终端厂商，OPPO在端和云的协作配合上具有天然的系统级优势，因此，OPPO公司以「对话增强、个性专属、端云协同」为核心技术特点，自主训练更能符合产品体验升级诉求的大模型是一个非常水到渠成的事情。

而我们知道，训练出来一个厉害的大模型，除了必须的算力之外，关键要素还包括：

1. 大规模高质量的语料数据

2. 领先的AI算法能力

近5年来，OPPO已经完成了这些关键成功要素的积累：

在数据方面，在构建月活过亿的C端产品小布助手的过程，OPPO已经完成了大规模高质量语料数据的积累；

在AI算法能力方面，在2021年OPPO的预训练算法模型就处于行业第一梯队，并在大规模知识图谱问答方面获得行业Top-1的成绩；

依托以上积累与沉淀，OPPO在今年3月启动了持续创新的大模型技术探索，并成为公司安第斯智能云战略的新一代技术核心。

AndesGPT的技术特点？

作为驱动OPPO公司AI战略的核心引擎，安第斯大模型全面赋能OPPO智慧终端，持续构建「知识、记忆、工具、创作」的核心能力，并通过与终端结合的AI智能体和多模态对话范式，给用户带来全新的个性专属智能体验。

上面是AndesGPT的整体架构。在云计算基础设施和高质量数据支撑下，OPPO主要训练三种规格的模型：AndesGPT-Tiny、AndesGPT-Turbo和AndesGPT-Titan；因此可以灵活适配不同的业务场景。

令人惊喜的是，尽管OPPO是一家手机厂商，但其在大模型方面的技术研发实力不容小觑。

首先，AndesGPT在行业主流的网络架构基础上，在位置编码问题上探索了RoPE的base的最优值，并结合log-scale和attention加bias，极大的提升了上下文扩展能力，使得8k窗口可以扩展到512k，大幅提升外推能力。

此外，AndesGPT还通过GQA技术结合膨胀注意力（Dilated Attention）加速了训练和推理，实现了O(Nd)的线性计算复杂度。

AndesGPT不仅仅大幅提升了context窗口和计算效率，其还通过长时记忆机制，支持了无限长度的上下文！

这里的长时记忆主要包括用户交互过程中产生的交互历史、个人数据，以及从中提取的结构化信息等。

对大模型技术研究的比较深入的小伙伴都知道，长时记忆的引入会导致多轮对话的首字推理延迟大大增加，这其实是一个很伤用户体验的现象。

而OPPO针对这个难题，成功地自研了一套解决方案——SwappedAttention，其可以在多种复杂场景中有效减少计算延迟问题。

SwappedAttention技术原理是什么？

从机制上来说，SwappedAttention是通过内存空间与计算交换的思想来大幅减少首字生成场景中的计算量，尤其在需要对长历史序列进行编码计算时显著提升效率。

当遇到历史序列较长的情况时，普通技术可能遭遇计算瓶颈，导致计算耗时长、并发度低；而SwappedAttention则可以通过缓存历史的键值对（KV值）显著缩短首字计算时间。

此外，SwappedAttention的多层级缓存机制包括GPU显存、主机内存和通过GDS（GPUDirect Storage）连接外部存储设备，按照不同的缓存时长和对话频率采用分级存储和管理策略，以最优化资源利用。这一技术是对前代PagedAttention的进一步的演进和扩展，是一种更加高效的解决方案。

在应用场景上，SwappedAttention对处理多轮对话和FileChat文档对话有很大的帮助。例如，在多轮对话中，随着对话轮数累积，Prompt变得越来越长，每一次查询的首字生成时间显著增长。使用SwappedAttention，系统能够将历史KV值存储在多级缓存中，有效降低每次对话时的首字推理时间，从而加速用户获得响应的速度。

而在FileChat文档对话场景中，它则能够存储并读取文档的Attention KV值信息，避免对长文本的KV值进行重复计算。举例来说，对于一个100,000字的文档对话，SwappedAttention能显著减少计算需求，缩短首字推理的时间，并同时提升首字计算的并发能力。此外，在非首字推理过程中，它还能够动态压缩KV值，以进一步减少显存占用和提高整体的处理能力。

除了以上技术改进外，数据层面的工作也可圈可点。

例如，AndesGPT还引入了千亿条知识与对话数据，大幅强化了大模型知识问答的精准性。并且融合海量中文对话数据、精品知识图谱、高质量QA问答数据，结合对预训练、指令微调、人类反馈强化学习等技术的定制优化，大语言模型知识与百科能力的覆盖面和准确性有显著提升。

这直接带来的效果改善便是——大幅减少幻觉。

此外，AndesGPT在对话交互时，还深度融合了用户的画像和个人数据，从而给出了千人千面、个性专属的大模型产品体验。

以上，AndesGPT解决了「记忆」这个当前大模型领域最大的痛点之一，除了「记忆」这个核心能力之外，AndesGPT在知识、工具与创作三大核心能力也都覆盖了不少深入的优化：

在知识能力方面，AndesGPT融合了知识图谱及通用搜索能力，为用户提供更专业的问答。通过知识增强技术，将外部知识与模型融合生成结果，降低幻觉。
在工具使用方面，AndesGPT可以更好的理解设备控制与服务API，端到端生成可执行指令，且目前已支持使用系统设置、一方应用、三方服务、代码解释器等各类工具。
在创作方面，AndesGPT已全面支持文生图与图生图场景。这点可以通过新版小布助手来体验；另外预告一下12月份即将推出的小布照相馆，通过使用安第斯大模型生成不同风格的肖像照，可以达到“在家拍写真”的效果。

端云协同——服务终端用户的技术保障

什么是端云协同呢？

端云协同是指在信息技术中，设备端（客户端、移动端等）与云端服务器之间的密切协作。这种协作关系旨在将计算任务、数据处理和服务能力在本地设备和远程云端之间有效分配和调度，以利用两端的优势，并提高整体系统的性能、效率和用户体验。

举个例子，这次开发者大会上，OPPO还发布了每个用户的“专属AI伙伴”——全新小布。

全新小布进一步强化了端云协同能力，在终端和云端分别部署Tiny和Turbo模型，根据使用场景和网络状态做智能分流。特别是离线可运行，大大提升了可用性。

在AndesGPT的赋能下，全新小布内置了丰富的智能体，不同的智能体为用户提供不同的场景体验。

以内容摘要为例，AndesGPT-Tiny模型在手机端支持单次最大2048tokens输入长度。在图片生成时间上，文生图单张图片生成耗时5.5秒，图生图单张图生成6.6秒，具备可落地应用条件。

在这个AI生成摘要或图片的过程中，「端」的智能设备提供即时的响应和执行，保证了操作的便捷性和实时性，而「云」则提供了智能计算和大规模的设备管理能力。所有的指令和数据通过端与云的紧密协作被有效处理，并且还可以根据数据分析调优你的设定。此外，如果你的设备从云端下载了最近的更新，它们甚至可以在本地做出更智能的决策，而无需每次都与云端通信。

AndesGPT便是通过这样的原理，充分发挥端和云各自优势，通过「端云分工、端云互补、端云协作」方式，实现全场景智能调度。

为什么是OPPO和AndesGPT？

笔者一直在思考：