Large Language Models: An Applied Econometric Framework

大型语言模型（LLMs）正在经济学研究中用于形成预测、标注文本、模拟人类反应、生成假设，甚至为那些不存在此类数据的时间和地点生成数据。尽管这些用途具有创新性，但它们是否有效？我们何时可以忽略LLM的内部机制，直接依赖其输出结果？我们开发了一个计量经济学框架来回答这个问题。我们的框架区分了两种类型的实证任务。使用LLM输出进行预测问题（包括假设生成）的有效性有一个条件：LLM的训练数据集与研究人员的样本之间没有“泄露”。使用LLM输出进行估计问题，以自动化测量某些经济概念（通过某些文本或从人类受试者那里表达）需要一个额外的假设：LLM输出必须与它们替代的黄金标准测量一样好。否则，即使LLM输出高度准确但并非完美无缺，估计结果也可能存在偏差。我们记录了这些条件被违反的程度，并在金融和政治经济学的示例应用中探讨了其对研究结果的影响。我们还为实证研究人员提供了指导。确保没有训练数据泄露的唯一方法是使用开源LLM，这些模型有文档记录的训练数据和已发布的权重。处理LLM测量误差的唯一方法是收集验证数据并建模误差结构。一个推论是，如果某个候选LLM应用无法满足这些条件，我们的强烈建议是：不要使用。

该论文探讨了大型语言模型（LLMs）在经济学研究中的有效性和适用性，特别是如何在预测和估计任务中正确使用LLM的输出。它提出了一种经济计量框架来评估这些使用方法的有效性，并指出了可能存在的问题，如训练数据泄露和测量误差。

论文的关键思路是区分两种类型的实证任务：预测问题和估计问题。对于预测问题，只要没有训练数据的泄露，使用LLM的输出就是有效的。而对于估计问题，除了没有数据泄露外，还需要LLM的输出至少与黄金标准测量一样准确，否则可能导致偏差。这一框架为评估LLM在经济学研究中的应用提供了一个清晰的标准。

1. 论文通过具体的金融和政治经济应用案例，展示了当上述条件不满足时对研究结果的影响。 2. 提供了实用的指导建议，如使用开源LLM以确保没有训练数据泄露，以及收集验证数据来建模测量误差。 3. 强调如果无法满足这些条件，则不应使用LLM进行相关研究。 4. 论文还提供了实验设计和数据集的详细信息，但未提及是否有开源代码。

1. "Evaluating the Economic Impact of Large Language Models" - 探讨了LLM在经济预测中的应用及其潜在影响。 2. "The Role of Machine Learning in Economic Policy Making" - 研究了机器学习技术在政策制定中的作用。 3. "Machine Learning for Economic Forecasting: A Survey" - 综述了机器学习在经济预测中的各种应用。 4. "Bias and Fairness in Machine Learning for Economics" - 讨论了机器学习在经济学应用中的偏见和公平性问题。