随着生成模型的不断涌现，加上在网络规模数据上的预训练，一个及时的问题浮现：当这些模型用自己生成的输出进行训练时会发生什么？最近的研究发现，模型和数据之间的反馈循环可能导致模型崩溃，即性能随着每次模型拟合迭代而逐渐降低，直到最新的模型变得无用。然而，最近几篇研究模型崩溃的论文假设新数据随时间取代旧数据，而不是假设数据随时间积累。在本文中，我们比较这两种情况，并表明积累数据可以防止模型崩溃。我们首先研究一个分析可追踪的设置，其中一系列线性模型适合于之前模型的预测。以前的工作表明，如果数据被替换，测试误差随着模型拟合迭代次数的增加呈线性增长；我们通过证明，如果数据积累，测试误差具有独立于迭代次数的有限上界来扩展这个结果。接下来，我们通过在文本语料库上预训练语言模型序列来实验性地测试积累数据是否同样可以防止模型崩溃。我们证实，替换数据确实会导致模型崩溃，然后证明积累数据可以防止模型崩溃；这些结果适用于各种模型大小、架构和超参数。我们进一步展示，在真实数据上，类似的结果也适用于其他深度生成模型：用于分子生成的扩散模型和用于图像生成的变分自编码器。我们的工作提供了一致的理论和实证证据，证明了数据积累可以缓解模型崩溃。

我们展示了当攻击者可以获得模型权重时，广泛使用的LLM安全微调很容易被破坏。我们评估了三种最先进的微调方法——QLoRA、ReFT和Ortho，并展示了算法进步如何使得在FLOPs和优化能力减少的情况下，仍能够保持不变的越狱性能。我们在单个GPU上仅用一分钟就可以剥离Llama 3 8B的安全微调，而对于Llama 3 70B则只需要30分钟，并概述了进一步降低这一时间的方法。

Retrieval Augmented Generation（RAG）是大型语言模型（LLMs）高效处理过长语境的强大工具。然而，最近的LLMs（如Gemini-1.5和GPT-4）展现了直接理解长语境的异常能力。我们进行了全面比较RAG和长语境（LC）LLMs，旨在利用两者的优势。我们使用三个最新的LLMs在各种公共数据集上对RAG和LC进行基准测试。结果表明，当资源充足时，LC在平均性能方面始终优于RAG。然而，RAG的成本显著较低，仍然是一个独特的优势。基于这一观察，我们提出了Self-Route，这是一种简单而有效的方法，可以根据模型自我反思将查询路由到RAG或LC。Self-Route显著降低了计算成本，同时保持了与LC相当的性能。我们的发现为使用RAG和LC的LLMs的长语境应用提供了指导。

这篇论文通过基准测试分析，介绍了ARC旗舰大语言模型Reactor Mk.1的性能结果。该模型采用了荔枝AI引擎，参数少于1000亿，具有高效和强大的组合特点。Reactor Mk.1在MMLU数据集上获得了92％的分数，在HumanEval数据集上获得了91％的分数，在BBH数据集上获得了88％的分数，超越了GPT-4o、Claude Opus和Llama 3等模型。它在处理困难任务和推理方面表现出色，成为当今尖端人工智能技术中杰出的解决方案。

本文提出了一种更简单但更有效的优化算法SimPO，它是一种广泛使用的离线偏好优化算法DPO的改进。SimPO的有效性归功于其关键设计：使用序列的平均对数概率作为隐式奖励。这种奖励公式更符合模型生成，消除了参考模型的需求，使其更加计算和内存高效。此外，我们在Bradley-Terry目标函数中引入了目标奖励边界，以鼓励获胜和失败响应之间的更大边界，进一步提高了算法的性能。我们在包括AlpacaEval 2、MT-Bench和Arena-Hard等广泛的指令跟随基准测试中比较了SimPO和DPO及其最新变体。结果表明，SimPO在不显著增加响应长度的情况下，始终显著优于现有方法。具体而言，在AlpacaEval 2上，SimPO比DPO高出6.4分，在Arena-Hard上高出7.5分。我们基于Llama3-8B-Instruct构建的最佳模型在AlpacaEval 2上获得了惊人的44.7长度控制胜率，在排行榜上超过了Claude 3 Opus，在Arena-Hard上获得了33.8胜率，成为最强的8B开源模型。

深度学习提供了从大规模的非结构化文本和图像数据集中填补结构化信息的强大方法。例如，经济学家可能希望在卫星图像中检测经济活动的存在，或者测量社交媒体、国会记录或公司文件中提到的主题或实体。本文介绍了深度神经网络，涵盖了分类器、回归模型、生成AI和嵌入模型等方法。应用包括分类、文件数字化、记录链接以及用于在大规模文本和图像语料库中进行数据探索的方法。当使用适当的方法时，深度学习模型可以便宜地调整，并且可以扩展到涉及数百万或数十亿数据点的问题。该综述附带了一个伴随网站EconDL，其中包括用户友好的演示笔记本、软件资源和知识库，提供技术细节和额外的应用。

最近，大型语言模型在协助正式数学推理方面表现出了很好的结果。然而，由于正式定理证明数据的稀缺性，它们的性能受到了限制，需要从原始的正式语言语料库中提取出来，需要额外的努力。与此同时，大量人工编写的正式语言语料库仍未得到充分利用。为了解决这个问题，我们提出了LEAN-GitHub数据集，它由从GitHub上的几乎所有Lean 4存储库中提取的大规模正式数据组成。在这个数据集上对InternLM-math-plus进行微调后，我们的模型在单次测试中达到了48.8%的准确率，在64次测试中达到了54.5%的准确率，在Lean 4 miniF2F测试中超过了52%的现有最先进方法。它还在另外两个Lean 4基准测试（ProofNet和Putnam）上取得了最先进的成果，这些测试针对不同领域/数学水平。这些结果表明，我们提出的数据集对于广泛的数学主题的正式推理是有益的。我们在https://GitHub.com/InternLM/InternLM-Math上开源了我们的模型，也在https://huggingface.co/datasets/InternLM/Lean-GitHub上开源了我们的数据。

本文介绍了使用大型语言模型（LLM）创建安全和弹性应用程序所需的预测、调整和应对未预见威胁的技术。红队测试已成为识别LLM实现中漏洞的关键技术。本文提出了详细的威胁模型，并对LLM的红队测试攻击进行了知识系统化（SoK）。我们根据LLM开发和部署过程的阶段，提出了攻击分类，并从以前的研究中提取了各种见解。此外，我们编制了防御方法和实用的红队测试策略，供从业人员参考。通过描绘突出的攻击主题并阐明各种入口点，本文提供了一个框架，以提高基于LLM的系统的安全性和鲁棒性。

大型语言模型（LLMs）令人印象深刻的地方也是评估它们难度的所在：它们使用的多样性。为了评估这些模型，我们必须理解它们将被用于什么目的。我们考虑一种情况，即这些部署决策由人类做出，特别是人们对LLM表现良好的信念。我们将这种信念建模为人类概括函数的结果：人们根据LLM正确或错误的情况推断出它可能在哪些其他方面成功。我们收集了一组19K个例子，展示了人类如何在MMLU和BIG-Bench基准测试的79个任务中进行概括。我们展示了人类概括函数可以使用NLP方法预测：人们有一致的结构化概括方式。然后我们评估LLM与人类概括函数的一致性。我们的结果表明，特别是在错误成本高的情况下，更有能力的模型（例如GPT-4）可能在人们选择使用它们的实例上表现更差，因为它们与人类概括函数不一致。

本文介绍了一项系统性研究，评估和提高大型语言模型（LLM）执行“修正”任务的能力，即模型可以自主地避免生成有害内容。为此，我们首先引入了C2-Eval基准来进行定量评估，并分析了10个流行的LLM，揭示了当前安全调整的LLM在修正方面的不同熟练程度。为了改进，我们提出了用偏好学习微调LLM，强调及时修正的偏好。使用自动化流水线，我们创建了一个合成数据集C2-Syn，其中包含75万个成对偏好，通过数据驱动的偏好学习来教授模型及时修正的概念。对两个LLM，Llama2-Chat 7B和Qwen2 7B的实验表明，我们的方法有效地增强了修正技能，而不影响总体性能。此外，它有效地提高了LLM的安全性，特别是在抵抗越狱攻击方面。