Search Engines, LLMs or Both? Evaluating Information Seeking Strategies for Answering Health Questions

搜索引擎一直是信息检索的主要工具。然而，最近新的大型语言模型（LLMs）在多个任务中展示了出色的能力，特别是它们作为问答系统的应用越来越普遍。预计LLM基于的对话系统和传统的网络引擎将继续共存，以各种方式支持最终用户。但是需要对两种类型的系统在促进准确信息检索方面的有效性进行更多的科学研究。在本研究中，我们专注于它们在回答健康问题方面的优点。我们进行了广泛的研究，比较了不同的网络搜索引擎、LLMs和检索增强（RAG）方法。我们的研究揭示了有趣的结论。例如，我们观察到，可能回答健康问题的网页的质量在我们向下导航排名列表时并不会下降。然而，根据我们的评估，网络引擎在找到正确的健康问题答案方面不如LLMs准确。另一方面，LLMs对输入提示非常敏感，我们还发现RAG可以导致高效的信息检索方法。

比较搜索引擎和大型语言模型在回答健康问题方面的有效性

本文通过比较不同类型的搜索引擎、大型语言模型和检索增强方法的表现，发现大型语言模型在回答健康问题方面比搜索引擎更准确，而检索增强方法可以提高信息检索的效率

实验结果表明，随着排名列表的下降，搜索引擎检索到的可能回答健康问题的网页质量并不会下降；大型语言模型对输入提示非常敏感；检索增强方法可以提高信息检索的效率

最近的相关研究包括：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》、《Attention Is All You Need》、《A Review of Recent Advances in Question Answering》等