本文探讨了一种简单的扩展扩散基于整流流变压缩器的文本到音乐生成方法，称为FluxMusic。一般来说，我们通过在先进的Flux模型中进行设计，并将其转换为mel频谱的潜在VAE空间。它首先对双重文本-音乐流应用一系列独立的注意力，然后通过堆叠的单音乐流进行去噪补丁预测。我们使用多个预训练的文本编码器来充分捕捉标题语义信息以及推理灵活性。在此过程中，粗略的文本信息与时间步骤嵌入相结合，用于调制机制，而细粒度的文本细节则与音乐补丁序列连接作为输入。通过深入研究，我们证明了具有优化架构的整流流训练明显优于已建立的扩散方法，这一点可以从各种自动指标和人类偏好评估中得到证明。我们的实验数据、代码和模型权重可在以下网址中公开获取：\url{https://github.com/feizc/FluxMusic}。

人工智能领域的一个关键挑战是创建能够自主推进科学理解的系统，通过探索新领域、识别复杂模式和揭示庞大科学数据中以前未见过的联系。在本文中，我们提出了SciAgents，一种利用三个核心概念的方法：（1）使用大规模本体知识图谱来组织和互联不同的科学概念，（2）一套大型语言模型（LLMs）和数据检索工具，以及（3）具有现场学习能力的多智能体系统。应用于生物启发材料，SciAgents揭示了以前被认为无关的隐藏的跨学科关系，实现了超越传统人类驱动研究方法的规模、精度和探索能力。该框架自主生成和完善研究假设，阐明底层机制、设计原则和意外的材料特性。通过模块化集成这些能力，智能系统产生材料发现，批判和改进现有假设，检索关于现有研究的最新数据，并突出其优点和局限性。我们的案例研究展示了可扩展的能力，结合生成AI、本体表示和多智能体建模，利用类似生物系统的“智能群体”，为材料发现提供了新的途径，并加速了先进材料的开发，解锁自然的设计原则。

随着大型语言模型在各个领域中变得越来越普遍，批判性地检查它们固有的限制变得越来越重要。本文认为，语言模型中的幻觉不仅仅是偶然出现的错误，而是这些系统不可避免的特征。我们证明了幻觉源于LLM的基本数学和逻辑结构。因此，通过架构改进、数据集增强或事实核查机制无法消除它们。我们的分析基于计算理论和哥德尔的第一不完备定理，该定理涉及类似于停机、空性和接受问题的问题的不可判定性。我们证明了LLM过程的每个阶段——从训练数据编译到事实检索、意图分类和文本生成——都有产生幻觉的非零概率。本文引入了结构幻觉的概念，作为这些系统的固有特性。通过确定幻觉的数学确定性，我们挑战了普遍存在的观念，即它们可以完全被减轻。

大型语言模型（LLMs）以2022年底发布的ChatGPT为代表，凭借其先进的语言理解能力，已经彻底改变了各个行业。然而，它们的效率受到了Transformer架构处理长文本的困难的挑战。KV-Cache已经成为解决这个问题的关键方案，将标记生成的时间复杂度从二次转换为线性，但随着对话长度的增加，会增加与GPU内存开销成比例的开销。随着LLM社区和学术界的发展，已经提出了各种KV-Cache压缩方法。在本文中，我们分析了KV-Cache的各种属性，并详细阐述了目前用于优化LLMs的KV-Cache空间使用的各种方法。这些方法涵盖了预训练阶段、部署阶段和推理阶段，并总结了这些方法之间的共同点和差异。此外，我们列出了一些评估大型语言模型长文本能力的指标，从效率和能力的角度。因此，我们的综述揭示了LLM优化不断发展的景观，为这个充满活力的领域未来的进展提供了深入的见解。

生成人工智能（GenAI）系统正在越来越多地部署在各行各业和研究领域。开发人员和最终用户通过提示或提示工程与这些系统进行交互。虽然提示是一个广泛研究的概念，但由于该领域的新生性质，存在术语冲突和对构成提示的本体论理解不足的问题。本文通过组装提示技术分类法并分析其使用，建立了对提示的结构化理解。我们提出了一个包含33个词汇术语的全面词汇表，一个包含58个仅文本提示技术的分类法，以及其他模态的40种技术。我们进一步对自然语言前缀提示的整个文献进行了元分析。

我们介绍了jina-embeddings-v3，这是一个具有5.7亿参数的新型文本嵌入模型，它在多语言数据和长上下文检索任务上实现了最先进的性能，支持长达8192个标记的上下文长度。该模型包括一组特定任务的低秩适应器（LoRA），用于生成用于查询-文档检索、聚类、分类和文本匹配的高质量嵌入。此外，Matryoshka表示学习被集成到训练过程中，允许灵活截断嵌入维度而不影响性能。在MTEB基准测试中的评估显示，jina-embeddings-v3在英语任务上优于OpenAI和Cohere的最新专有嵌入，同时在所有多语言任务中相对于multilingual-e5-large-instruct实现了更优异的性能。

我们的研究探讨了使用先进的机器学习方法来解决Google reCAPTCHAv2系统中的验证码的有效性。我们利用先进的YOLO模型进行图像分割和分类，评估自动化系统解决验证码的效果。我们的主要结果是，我们可以解决100%的验证码，而先前的研究仅解决了68-71%。此外，我们的发现表明，在reCAPTCHAv2中，人类和机器人必须解决的挑战数量没有显著差异。这意味着当前的人工智能技术可以利用先进的基于图像的验证码。我们还深入研究了reCAPTCHAv2的内部机制，并发现证据表明，reCAPTCHAv2在评估用户是否为人类时严重依赖于cookie和浏览器历史数据。本文提供了代码。

本文的最后一段介绍了一种名为“数据混合推断”的任务，旨在揭示语言模型训练数据的分布构成，以解决当前最强语言模型的预训练数据不透明的问题，特别是对于各种领域或语言的比例了解甚少。作者提出了一种新颖的攻击方法，基于一种先前被忽视的信息源——字节对编码(BPE)分词器，该分词器被现代大多数语言模型使用。作者的关键洞察力是，BPE分词器学习到的有序合并规则列表自然地揭示了其训练数据中的词频信息：第一个合并是最常见的字节对，第二个是在合并第一个令牌后最常见的对，依此类推。作者通过给定一个分词器的合并列表以及每个感兴趣类别的数据样本，制定了一个线性规划，解决了分词器训练集中每个类别的比例。在受控实验中，作者展示了他们的攻击方法可以高精度地恢复出在自然语言、编程语言和数据源混合的已知分词器中的混合比例。然后，作者应用他们的方法于最近发布的语言模型中的预训练分词器，确认了公开披露的信息，并作出了一些新的推断：GPT-4o的分词器比其前身更多地支持多语言，训练了39%的非英文数据；Llama3主要用于多语言(48%)的扩展GPT-3.5的分词器；GPT-3.5和Claude的分词器主要训练于代码(~60%)。作者希望他们的工作能够揭示当前预训练数据设计实践的一些问题，并激发对于语言模型数据混合推断的进一步研究。

通过在大规模的、非结构化的互联网文本上进行预训练，语言模型可以获得大量的世界知识。然而，这种知识获取是数据效率低下的——为了学习一个给定的事实，模型必须在数百到数千个不同的表示中进行训练。当将预训练模型适应于一个小的特定领域的语料库时，这就带来了挑战，因为每个事实可能只出现一次或很少出现。我们提出使用合成持续预训练来弥合这一差距：使用小的特定领域的语料库来合成一个更易于学习的大语料库，然后在合成的语料库上进行持续预训练。我们用EntiGraph实例化了这个提议，EntiGraph是一种合成数据增强算法，可以从源文件中提取显著的实体，然后通过在选定的实体之间建立联系来生成多样化的文本。使用EntiGraph进行合成的持续预训练，可以使语言模型回答与源文件相关的问题和遵循通用指令，而无需访问源文件。如果在推理时可以访问源文件，我们证明了通过我们的方法获得的知识可以与检索增强生成相结合。为了更好地理解这些结果，我们建立了EntiGraph的简单数学模型，并展示了合成数据增强如何“重新排列”知识以实现更高效的学习。

标准的基于UV的网格纹理处理存在着接缝、畸变、UV空间浪费、顶点重复以及表面分辨率变化等问题，这些问题在使用自动UV展开技术时尤为严重。因此，我们提出了一种新方法，将纹理表示为彩色点云，其颜色是由限制在3D物体表面操作的去噪扩散概率模型生成的。我们的采样和分辨率无关的生成模型主要依赖于网格表面上的热扩散，以实现点之间的空间通信，而不是像大多数最先进的方法那样在自动生成的UV平面上生成纹理。为了能够处理任意采样的点云纹理并确保远距离纹理一致性，我们引入了一种快速重新采样网格谱属性的方法，并引入了一种新的基于热扩散的自注意机制。我们的代码和预训练模型可在github.com/simofoti/UV3-TeD上获得。