Customized Retrieval Augmented Generation and Benchmarking for EDA Tool Documentation QA

这篇论文提出了一种定制的RAG框架以及三种面向电子设计自动化工具文档QA的领域特定技术，包括用于文本嵌入模型微调的对比学习方案、从专有LLM中提取的重新排序器以及用高质量领域语料库微调的生成LLM。此外，作者还开发并发布了一个文档QA评估基准，ORD-QA，用于OpenROAD，一个先进的RTL到GDSII设计平台。实验结果表明，与现有技术相比，我们提出的RAG流程和技术在ORD-QA以及商业工具上都取得了更优异的性能。我们的ORD-QA基准和定制RAG流程的训练数据集是开源的，可以在https://github.com/lesliepy99/RAG-EDA找到。

本论文旨在解决电子设计自动化（EDA）领域QA任务中的文档相关问题，提出了一种基于RAG的定制框架和三种领域特定技术。

论文提出了一种基于RAG的定制框架，包括对文本嵌入模型微调的对比学习方案、从专有的LLM中提取的重新排名器，以及使用高质量领域语料库微调的生成LLM。这些技术相比当前领域的研究具有创新性。

论文提出了一个文档QA评估基准ORD-QA，用于评估OpenROAD平台的文档QA。实验结果表明，论文提出的RAG框架和技术在ORD-QA和商业工具上均取得了优异的性能，比其他现有技术更好。论文还公开了ORD-QA基准和定制RAG流程的训练数据集。

最近在该领域的相关研究包括使用RAG的文档QA任务和领域特定技术的研究。其中一些论文包括：“Dense Passage Retrieval for Open-Domain Question Answering”和“Domain-Specific Document Retrieval for Conversational Open-Domain Question Answering”。