CleanAgent: Automating Data Standardization with LLM-based Agents

数据标准化是数据科学生命周期中至关重要的一部分。虽然像Pandas这样的工具提供了强大的功能，但是它们的复杂性和需要针对不同列类型进行定制代码的手动工作带来了重大挑战。尽管大型语言模型（LLMs）如ChatGPT已经展示了通过自然语言理解和代码生成自动化这一过程的潜力，但仍需要专业级的编程知识和持续的交互以进行及时的改进。为了解决这些挑战，我们的关键想法是提出一个Python库，具有声明性、统一的API，用于标准化列类型，通过简洁的API调用简化LLM的代码生成。我们首先提出了Dataprep.Clean，它是Dataprep库的一个组件，通过一行代码实现特定列类型的标准化，大大降低了复杂性。然后，我们介绍了CleanAgent框架，将Dataprep.Clean和基于LLM的代理集成在一起，自动化数据标准化过程。使用CleanAgent，数据科学家只需提供一次要求，即可进行无需干预的自动标准化过程。

论文旨在解决数据标准化过程中Pandas工具复杂度高、需要专业编程知识等问题，提出了一种Python库和框架的解决方案。

通过Dataprep.Clean和CleanAgent框架，提供声明式、统一的API，简化了LLM代码生成过程，实现了自动数据标准化，减少了人工干预。

Dataprep.Clean提供简单易用的API，CleanAgent框架实现了自动化标准化流程。实验使用了不同数据集，开源了代码。论文提出的解决方案为数据科学家节省了大量时间和精力，值得进一步研究。

近期相关研究包括：AutoPandas, Dabl, Featuretools等。