虽然现有的神经检索模型在训练数据丰富的情况下表现出有希望的结果，并且随着训练数据的增加性能不断提高，但收集高质量的注释数据的成本是极高的。为此，我们引入了一种新颖的噪声自我训练框架，结合了合成查询，表明神经检索器可以在不依赖于任何外部模型的情况下以自我进化的方式得到改进。实验结果表明，我们的方法在通用领域（例如 MS-MARCO）和域外（即 BEIR）检索基准上持续改进，低资源设置的额外分析表明，我们的方法具有数据效率，并且在只有30％标记训练数据的情况下优于竞争基线。进一步扩展该框架进行重新排序训练表明，所提出的方法是通用的，并且在各种领域的任务上产生额外的收益。

现有的信息检索（IR）模型通常假定格式是同质的，限制了它们对于不同用户需求的适用性，例如搜索带有文本描述的图像，搜索带有标题图像的新闻文章，或者使用查询图像查找类似的照片。为了应对这些不同的信息需求，我们引入了UniIR，这是一个统一的指导多模式检索器，能够处理跨模态的八个不同的检索任务。UniIR是一个单一的检索系统，联合训练了十个不同的多模态IR数据集，通过解释用户指令来执行各种检索任务，展示了对现有数据集的强大性能和对新任务的零-shot泛化能力。我们的实验表明，多任务训练和指令调整是UniIR泛化能力的关键。此外，我们构建了M-BEIR，一个多模式检索基准，具有全面的结果，以标准化通用多模态信息检索的评估。

我们研究了长文档问答中的证据检索任务，其涉及在文档中定位相关段落以回答问题。我们旨在评估大型语言模型在零样本长文档证据检索任务中的适用性，这是由于它们在各种自然语言处理任务中的卓越性能。然而，目前大型语言模型只能处理有限的上下文长度作为输入，因此提供文档块作为输入可能会忽略全局上下文，同时错过捕捉分段之间的依赖关系。此外，直接提供大量输入可能会产生显着的计算成本，特别是在处理整个文档时（并可能在企业API（如OpenAI的GPT变体）中产生货币性开销）。为了解决这些挑战，我们提出了一套技术，利用文档中常见的话语结构。通过利用这种结构，我们创建了文档的简化表示，使得更全面地理解和分析不同部分之间的关系成为可能。我们保留了最佳零样本方法的$99.6\%$的性能，同时仅处理最佳方法在信息检索证据检索设置中使用的总标记数量的$26\%$。我们还展示了如何将我们的方法与“自问”推理代理相结合，以实现复杂的多跳问题回答中的最佳零样本性能，仅比使用金标准证据的零样本性能短约$4\%$。

双编码器架构提供了一个框架，用于理解基于稠密和稀疏向量表示的机器学习检索模型。虽然这些表示捕捉了相同概念框架的参数化实现，但它们各自的前k相似性搜索实现需要协调不同的软件组件（例如倒排索引、HNSW索引和神经推理工具包），通常编织在复杂的架构中。在这项工作中，我们提出了以下问题：在需要对现有基础设施进行最少更改的情况下，支持现代稠密和稀疏表示的端到端检索的最简设计是什么？答案似乎是Lucene足够了，正如我们在可重复信息检索研究的工具包Anserini中所演示的那样。也就是说，使用现代单向量神经模型进行有效的检索可以直接在CPU上使用Java高效地进行。我们研究了这种设计对推动技术前沿的信息检索研究人员以及构建生产搜索系统的软件工程师的影响。

当讨论一条推特时，人们通常不仅参考其内容，还会关注推特背后的人。换句话说，将推特的解释放在其创作者的背景下起着重要作用，有助于解读推特的真实意图和重要性。本文试图回答一个问题，即如何利用创作者背景来提高推特的理解。具体而言，我们研究了不同类型的创作者背景的有用性，并检查了不同的模型结构，以将创作者背景纳入推特建模中。我们在一个实际的用例中评估了我们的推特理解模型——向新闻文章推荐相关推特。这个用例已经存在于流行的新闻应用中，并且也可以成为记者的有用辅助工具。我们发现，创作者背景对于推特的理解至关重要，并且可以大幅提高应用指标。然而，我们也观察到并非所有的创作者背景都是相等的。创作者背景可能是时间敏感和嘈杂的。仔细选择创作者背景和刻意设计模型结构在创作者背景的有效性方面起着重要作用。

研究大型语言模型（LLMs）通过微调、检索增强生成（RAG）和软提示等方法提高性能的方法，往往集中于使用高度技术化或高成本的技术，使许多新发现的方法相对于非技术用户来说相对不可行。在本文中，我们测试了未经修改的GPT 3.5版本、微调版本以及在矢量化的RAG数据库中访问相同未修改模型的情况，这些情况下都加入了基本的、非算法的软提示。在每种情况下，我们测试了模型回答一组100个问题的能力，这些问题主要涉及2021年9月之后发生的事件（即GPT 3.5的训练数据集结束的时间点）。我们发现，如果使用商业平台并应用默认设置以建立一组基准输出，微调模型的性能优于GPT 3.5 Turbo，而RAG方法的表现优于两者。应用软提示显著提高了每种方法的性能。

我们探索了一种自动化方法来识别用户人设，利用用户在网页上的高维轨迹信息，为信息密集型网页提供个性化用户体验，帮助用户更快地达成目标。虽然神经协同过滤（NCF）方法很少关注令牌语义，但我们的方法引入了SessionBERT，这是一个基于Transformer的语言模型，从头开始训练，针对用户轨迹（页面、元数据、会话中的计费）的掩码语言建模（mlm）目标进行训练，旨在捕捉其中的语义。我们的结果表明，通过SessionBERT学习的表示能够始终优于BERT-base模型，为预测页面链接和下一个服务提供了3%和1%的相对改进的F1分数。我们利用SessionBERT并将其扩展以提供推荐（前5个）用户可能会使用的最相关服务。我们的推荐模型从HIT@5中实现了58%的命中率。

大型语言模型（LLMs）的显著进展为构建各种实际应用的类人系统提供了有希望的机会。然而，当应用于特定任务领域时，预先在通用语料库上训练的LLM可能存在两种类型的特定领域知识的不足或不足。一种是通常是大规模且不断发展的领域数据的全面集合。另一种是反映在数据中的该领域的特定工作模式。这种知识的缺失或不足会影响LLM的性能。在本文中，我们提出了一种通用范式，即DOKE，将特定领域知识与LLMs相结合，以增强它们在实际应用中的性能。这种范式依赖于一个领域知识提取器，分为三个步骤：1）为任务准备有效的知识；2）为每个特定样本选择知识；3）以LLM可理解的方式表达知识。然后，提取的知识通过提示被纳入，而不需要进行模型微调的计算成本。我们在广泛应用的推荐系统上实例化了这个通用范式，即将关键项目属性和协同过滤信号纳入其中。实验结果表明，DOKE可以显著提高LLMs在特定领域的性能。

人工智能（AI）用于反应条件优化已成为制药行业中的重要话题，因为基于数据的AI模型可以协助药物发现和加速反应设计。然而，现有的AI模型缺乏有经验的人类化学家的化学洞察力和实时知识获取能力。本文提出了一种大型语言模型（LLM）赋能的AI代理，以弥合这一差距。我们提出了一种新颖的三阶段范式，并应用了高级智能增强方法，如上下文学习和多LLM辩论，使AI代理可以借鉴人类的洞察力并通过搜索最新的化学文献来更新其知识。此外，我们引入了一种基于粗标签对比学习（CCL）的化学指纹，大大提高了代理在优化反应条件方面的性能。通过以上努力，所提出的AI代理可以在没有任何人类交互的情况下自主生成最佳的反应条件建议。此外，该代理在化学反应方面非常专业。在干实验和湿实验中，它表现出接近人类的性能和强大的泛化能力。作为化学AI代理的首次尝试，本研究在“化学AI”领域中迈出了一步，并为计算机辅助合成规划开辟了新的可能性。

推荐系统中训练的基于用户反馈的推荐模型通常存在偏差。用户反馈受到暴露机制的显著影响，因为用户只对暴露给他们的物品提供反馈，而被动地忽略未暴露的物品，从而产生大量的假阴性样本。这样的用户反馈不可避免地导致新模型继承偏差，并通过反馈循环放大偏差。此外，假阴性样本的存在使得负采样变得困难，并在模型的用户偏好建模过程中引入虚假信息。最近的研究调查了反馈循环和未知暴露机制对推荐质量和用户体验的负面影响，本质上将它们视为独立因素，并忽略了它们的交叉影响。为了解决这些问题，我们从数据迭代和反馈循环的角度深入分析了数据暴露机制，采用缺失非随机（MNAR）假设，在反馈循环下理论上证明了存在一种可用的稳定因子来转化暴露机制。我们进一步提出了动态个性化排名（DPR）算法，它使用动态重新加权来减轻暴露机制和反馈循环的交叉影响，无需额外信息。此外，我们设计了一个名为通用反假阴性（UFN）的插件，以减轻假阴性问题的负面影响。我们理论上证明了我们的方法减轻了反馈循环和未知暴露机制的负面影响。实验结果表明，使用DPR的模型可以更好地处理偏差积累和UFN在主流损失方法中的通用性。