BasedAI是一个分布式机器网络，引入了分散的基础设施，能够将完全同态加密（FHE）与连接到其网络的任何大型语言模型（LLM）集成。所提出的框架将一个名为“Cerberus Squeezing”的默认机制嵌入到挖掘过程中，使标准LLM转化为加密的零知识LLM或“ZK-LLM”，利用生成对抗网络的数据隐私洞察力。这种新型的量化机制赋予BasedAI矿工处理和响应由用户与LLM交互产生的提示的能力，而无需解密查询或相应的响应。引入Cerberus Squeezing显著改善了当前FHE兼容计算环境中由量化函数引起的性能降级，通过主动优化用户、矿工和验证器之间的调用。

PLAID是ColBERT后交互双编码器的高效实现，利用预训练语言模型进行排名，一直以来在单语、跨语言和多语言检索中保持着最先进的性能。与ColBERT不同，PLAID通过将术语分配到集群中，并将这些术语表示为集群中心加上压缩的残差向量来进行表示。虽然PLAID在批处理实验中很有效，但在流式设置中，由于新标记的表示可能由于早期用于选择集群中心的标记而被错误地建模，因此其性能会降低。PLAID SHIRTTT是一种基于分层分片的多阶段增量索引的流式索引方法，解决了这个问题。在ClueWeb09和多语言NeuCLIR集合上的实验表明，这种方法在ColBERT架构索引的迄今最大集合和多语言设置中都非常有效。

这篇文章讨论了多语言信息检索（MLIR）中的一个问题，即针对一个使用与任何一种语言不同的语言表达的查询，如何对多种语言的文档进行排名。最近的研究发现，将每种语言的单个文档排名列表相结合或使用多语言预训练语言模型等方法会偏好一种语言而不是其他语言，从而导致对不同语言的文档存在系统性不公平对待。因此，本文提出了一种语言公平度量标准，通过使用Kruskal-Wallis检验进行统计等价性测试来评估不同语言的文档是否被公平地排名。与大多数先前的群体公平度量标准不同，我们不认为任何语言是一个未受保护的群体。因此，我们提出的度量标准，即PEER（等价排名概率），是专门设计用于捕捉MLIR系统的语言公平度量标准。我们在人工排名列表上展示了PEER的行为。我们还在两个公开的基准测试上评估了真实的MLIR系统，并展示了PEER分数如何与MLIR公平性的先前分析结果相一致。我们的实现与ir-measures兼容，并可在http://github.com/hltcoe/peer_measure上获得。

大规模推荐系统的特点是依赖于高基数、异构特征，并需要每天处理数十亿个用户操作。尽管在数千个特征上使用了大量的数据进行训练，但工业界中大多数深度学习推荐模型（DLRMs）在计算方面都无法扩展。 受到语言和视觉领域中Transformer的成功启发，我们重新审视了推荐系统的基本设计选择。我们在生成建模框架中将推荐问题重新定义为序列传导任务（“生成式推荐”），并提出了一种新的架构HSTU，专为高基数、非平稳流式推荐数据设计。 HSTU在合成和公共数据集上的NDCG性能比基准提高了高达65.8％，而在8192长度序列上比基于FlashAttention2的Transformer快5.3倍至15.2倍。基于HSTU的生成式推荐器，具有1.5万亿个参数，在在线A / B测试中提高了12.4％的指标，并已部署在拥有数十亿用户的大型互联网平台的多个表面上。更重要的是，生成式推荐器的模型质量在三个数量级的训练计算中经验性地呈现出幂律规模，达到了GPT-3/LLaMa-2规模，这减少了未来模型开发所需的碳足迹，进一步为推荐领域的第一批基础模型铺平了道路。

推荐器在每个在线请求中选择和呈现给用户前K个物品，一个推荐会话由多个连续的请求组成。将推荐会话作为马尔可夫决策过程进行建模，并通过强化学习（RL）框架求解，已经引起学术界和工业界的越来越多的关注。在本文中，我们提出了一个基于RL的工业短视频推荐排名框架，通过协作多智能体公式化，在用户多方面偏好的环境中建模和最大化用户观看时间。此外，我们提出的框架采用基于模型的学习方法来减轻样本选择偏差，这是工业推荐系统中一个关键但难以解决的问题。广泛的离线评估和实时实验证实了我们提出的方法比其他方法更有效。我们提出的方法已经部署在我们的真实大规模短视频分享平台上，成功地为数亿用户提供服务。

我们研究基于用户编辑的语言代理互动学习。在像写作助手这样的典型设置中，用户与语言代理交互以生成给定上下文的响应，并可以选择编辑代理响应以根据其潜在偏好进行个性化，同时提高正确性。编辑反馈自然生成，因此是改善代理与用户偏好一致性以及降低用户编辑成本的合适候选方法。我们提出了一个学习框架PRELUDE，它基于历史编辑数据推断用户潜在偏好的描述，并使用它来定义驱动未来响应生成的提示策略。这避免了对代理进行微调，这是昂贵的，难以随着用户数量的增加而扩展，并且甚至可能降低其在其他任务上的性能。此外，学习描述性偏好可以提高可解释性，使用户能够查看和修改学习到的偏好。然而，用户偏好可能很复杂，并且可能因上下文而异，这使得学习变得具有挑战性。为了解决这个问题，我们提出了一个名为CIPHER的简单而有效的算法，它利用大型语言模型（LLM）根据用户编辑推断给定上下文的用户偏好。在未来，CIPHER从历史记录中检索推断的偏好，并形成用于响应生成的聚合偏好。我们引入了两个交互环境——摘要和电子邮件写作，使用GPT-4模拟用户进行评估。我们与直接检索用户编辑但不学习描述性偏好的算法以及学习上下文不可知偏好的算法进行比较。在两个任务上，CIPHER实现了最低的编辑距离成本，并学习到显示与真实偏好显著相似的偏好。

主题页面将有关实体或概念的有用信息聚合到一个简明易懂的文章中。自动创建主题页面将使它们成为信息资源的快速整理方式，为传统的网络搜索提供了一种替代方案。虽然大多数之前的工作都集中在生成有关传记实体的主题页面上，但在这项工作中，我们开发了一个完全自动化的过程，以生成高质量的科学实体主题页面，重点关注生物医学概念。我们发布了TOPICAL，一个Web应用程序和相关的开源代码，其中包括一个模型管道，结合检索、聚类和提示，使任何人都可以轻松地按需生成各种生物医学实体的主题页面。在对使用TOPICAL生成的150个不同主题页面进行人类评估时，我们发现绝大多数被认为是相关、准确、连贯的，并且有正确的支持引用。我们公开发布所有代码，并在https://s2-topical.apps.allenai.org上提供免费使用的Web应用程序。

大型语言模型（LLMs）已经开创了满足信息需求的新方式。虽然在文档排名和短文本生成等领域已经取得了很大进展，但它们仍然难以组合出完整、准确和可验证的长篇报告。这些具备这些特征的报告对于满足用户复杂、微妙或多方面的信息需求是必要的。在这篇观点论文中，我们汇集了来自行业和学术界以及相关研究领域的意见，提出了我们自动报告生成的愿景，以及关键的灵活框架来评估这些报告。与其他摘要任务不同，自动报告生成从详细描述信息需求开始，陈述报告所需的背景、要求和范围。此外，生成的报告应该是完整、准确和可验证的。这些特点在许多分析报告撰写的情境中是必要的，需要重新思考如何构建和评估具备这些特点的系统。为了促进构建这些系统的新努力，我们提出了一个评估框架，借鉴了各种评估中发现的思想。为了测试完整性和准确性，该框架使用信息片段，表达为问题和答案，这些信息片段需要成为任何高质量生成报告的一部分。此外，对于将报告中的声明映射到其源文件的引用的评估，可以确保可验证性。

回答现实世界用户查询，例如产品搜索，通常需要从半结构化知识库或涉及非结构化（例如产品的文本描述）和结构化（例如产品实体关系）信息混合的数据库中准确检索信息。然而，以往的研究大多将文本和关系检索任务作为独立的主题进行研究。为了填补这一空白，我们开发了STARK，一个大规模的半结构化检索基准，用于文本和关系知识库。我们设计了一个新颖的流程，用于合成自然而真实的用户查询，这些查询集成了各种关系信息和复杂的文本属性，以及它们的真实答案。此外，我们还进行了严格的人类评估，以验证我们基准的质量，该基准涵盖了各种实际应用，包括产品推荐、学术论文搜索和精准医学查询。我们的基准作为一个全面的测试平台，用于评估检索系统的性能，重点是由大型语言模型（LLM）驱动的检索方法。我们的实验表明，STARK数据集对当前的检索和LLM系统提出了重大挑战，表明需要构建更能够处理文本和关系方面的检索系统。

虽然拥有数十亿参数的神经排序器是最先进的信息检索流程的常见组件，但由于推理所需的巨大计算量，它们很少在生产中使用。在这项工作中，我们提出了一种新的方法，用于将大型排序器蒸馏成其更小的版本，重点关注域外效果。我们介绍了InRanker，这是从monoT5-3B中蒸馏出来的monoT5版本，其在域外场景中的有效性增加了。我们的关键见解是使用语言模型和重新排序器生成尽可能多的合成“域内”训练数据，即紧密类似于检索时将看到的数据。该流程由两个蒸馏阶段组成，不需要额外的用户查询或手动注释：（1）在现有的监督软教师标签上进行训练，（2）使用大型语言模型生成的教师软标签训练合成查询。因此，尽管它们分别缩小了50倍和13倍，像monoT5-60M和monoT5-220M这样的模型通过使用教师的知识来提高其有效性。模型和代码可在https://github.com/unicamp-dl/InRanker上获得。