InstructPipe: Building Visual Programming Pipelines with Human Instructions

视觉编程为初学者提供了一个无需编写代码的体验来构建他们定制的管道。现有系统要求用户完全从头开始构建管道，这意味着初学者需要自己设置和链接适当的节点，从空白的工作区开始。我们提出了InstructPipe，这是一个人工智能助手，可以让用户通过文本指令开始原型设计机器学习（ML）管道。我们设计了两个LLM模块和一个代码解释器来执行我们的解决方案。LLM模块生成目标管道的伪代码，解释器在节点图编辑器中呈现管道，以进一步进行人工智能协作。技术评估表明，与传统方法相比，InstructPipe将用户交互减少了81.1％。我们的用户研究（N = 16）表明，InstructPipe使初学者能够简化其工作流程，创建所需的ML管道，减少他们的学习曲线，并通过开放式命令激发创新思路。

InstructPipe试图解决初学者在构建机器学习管道时需要从零开始构建整个管道的问题，提供一种使用文本指令来快速生成机器学习管道的解决方案。

InstructPipe使用两个LLM模块和一个代码解释器来执行解决方案。LLM模块生成目标管道的伪代码，解释器在节点图编辑器中呈现管道以进行人工智能协作。

InstructPipe可以将用户交互减少81.1％。用户研究表明，InstructPipe可以帮助初学者在创建所需的机器学习管道方面提高工作效率，减少学习曲线，并通过开放式指令激发创新思路。

近期的相关研究包括VisualML、NIFTI和DataPrep等。