DACO: Towards Application-Driven and Comprehensive Data Analysis via Code Generation

数据分析是一项关键的分析过程，可以生成深入的研究和结论性见解，全面回答给定用户查询的表格数据。在这项工作中，我们旨在提出新的资源和基准，以激励未来对这一关键但具有挑战性和未充分探索的任务进行研究。然而，由专家策划的数据分析注释的收集可能会非常昂贵。我们建议利用LLMs的代码生成能力和多轮提示技术自动生成高质量的答案注释。我们构建了DACO数据集，其中包含（1）从现实场景中收集的440个数据库（表格数据），（2）约2k个查询-答案对，可用作模型训练的弱监督，并且（3）一个集中但高质量的测试集，其中包含人工精细注释，作为我们的主要评估基准。我们在DACO数据集上训练了一个6B监督微调（SFT）模型，并发现SFT模型学习了合理的数据分析能力。为了进一步使模型与人类偏好相一致，我们使用强化学习来鼓励生成被人类认为有帮助的分析，并设计了一组密集奖励，以将稀疏的人类偏好奖励传播到中间的代码生成步骤。我们的DACO-RL算法由人类注释员评估，发现在57.72％的情况下比SFT模型产生更有帮助的答案，验证了我们提出的算法的有效性。数据和代码已发布在https://github.com/shirley-wu/daco上。

通过自动化生成高质量的答案注释来解决数据分析的昂贵问题，并提出新的资源和基准，以鼓励未来研究。

使用LLMs的代码生成能力和多轮提示技术自动生成高质量的答案注释，构建DACO数据集，包含440个来自真实场景的数据库，约2k个查询-答案对，以及一个高质量的测试集，通过监督学习和强化学习训练模型，提高模型生成答案的人类感知度。

通过DACO-RL算法，将稀疏的人类偏好奖励传播到中间代码生成步骤，提高生成答案的人类感知度。实验结果表明，DACO-RL算法在57.72%的情况下比SFT模型生成更有帮助的答案。数据和代码在https://github.com/shirley-wu/daco上开源。

最近的相关研究包括：1.《Neural Data-to-Text Generation: A Review》；2.《A Survey on Data-to-Text Generation Systems》；3.《Data-to-Text Generation with Content Selection and Planning》等。