ClimRetrieve: A Benchmarking Dataset for Information Retrieval from Corporate Climate Disclosures

为了处理企业气候沟通中产生的大量定性数据，利益相关者越来越依赖Retrieval Augmented Generation (RAG)系统。然而，评估特定领域信息检索（回答生成的基础）仍存在显著差距。为了解决这个挑战，本研究通过检查30份可持续性报告中的16个详细的气候相关问题来模拟可持续性分析师的典型任务。因此，我们获得了一个数据集，其中包含超过8.5K个唯一的问题-来源-答案对，由不同级别的相关性进行标记。此外，我们使用数据集开发了一个用例，以调查专家知识如何与嵌入式信息检索集成。虽然我们表明，整合专家知识是有效的，但我们也概述了嵌入式在像气候变化沟通这样的知识密集型下游领域中的关键限制。

论文试图通过模拟可持续性分析师的典型任务，研究可持续性报告中的信息检索和答案生成，以探索如何将专家知识整合到信息检索中，解决领域特定信息检索的问题。

论文提出了一种使用嵌入式专家知识的方法，以提高领域特定信息检索的准确性。研究结果表明，这种方法有效，但嵌入式方法在知识密集型领域（如气候变化通信）中存在重要限制。

论文使用30个可持续性报告和16个详细的气候相关问题模拟了可持续性分析师的任务，并获得了超过8.5K个唯一的问题-源-答案对数据集。研究还开发了一个使用数据集的用例，以调查专家知识在信息检索中的整合。论文的实验结果和数据集已经公开。

最近的相关研究主要集中在Retrieval Augmented Generation (RAG)系统的应用和改进上，如何提高答案生成的准确性。相关论文包括：《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》、《Answering Complex Open-domain Questions Using Multi-paragraph Wikipedia Documents》等。