From Prompt Engineering to Prompt Science With Human in the Loop

随着LLMs进入我们生活的许多方面，需要更加关注LLMs在科学研究中的使用。使用LLMs生成或分析研究数据正变得越来越流行。但是，当这种应用受到临时决策和工程解决方案的影响时，我们需要关注它如何影响研究、研究结果或基于该研究的任何未来作品。我们需要一种更加科学的方法来使用LLMs进行研究。虽然有几个积极的努力支持更系统化的提示构建，但它们通常更注重实现理想的结果，而不是产生具有足够透明度、客观性或严谨性的可复制和可推广的知识。本文提出了一种受质性方法启发的新方法，以解决这个问题。使用人类参与和多阶段验证过程，这种方法为应用LLMs分析数据打下了更系统化、客观和可信赖的基础。具体来说，我们展示了一组研究人员如何通过一个严格的标记、讨论和文档化过程来消除主观性，为提示生成过程带来透明度和可复制性。我们还展示了一组实验，以展示如何将这种方法应用到实践中。

如何更科学地使用LLMs进行科学研究？

通过构建代码书的方法，使用人类参与和多阶段验证过程，实现更系统化、客观和可信的LLMs应用方式，提高数据分析的透明度和可复制性。

论文提出了一种新的方法，通过研究人员的标记、讨论和文档记录等过程，消除主观性，提高透明度和可复制性。同时，论文还进行了一系列实验以验证该方法的有效性。

最近的相关研究主要集中在如何更系统地构建提示，但往往更注重实现期望结果，而非提供足够透明度、客观性或严谨性的可复制和推广的知识。