TextGrad: Automatic "Differentiation" via Text

人工智能正在经历一次范式转变，通过协调多个大型语言模型（LLMs）和其他复杂组件实现了突破。因此，开发原则性和自动化的优化方法来处理复合AI系统是最重要的新挑战之一。神经网络在早期也面临了类似的挑战，直到反向传播和自动微分通过使优化成为一种轻松操作而改变了这个领域。受此启发，我们介绍了TextGrad，这是一个强大的框架，通过文本执行自动“微分”。TextGrad将LLMs提供的文本反馈向后传递，以改进复合AI系统的各个组件。在我们的框架中，LLMs提供了丰富、通用、自然的语言建议，以优化计算图中的变量，从代码片段到分子结构都可以。TextGrad遵循PyTorch的语法和抽象，灵活易用。它适用于各种任务，用户只需提供目标函数，无需调整框架的组件或提示即可使用。我们展示了TextGrad在各种应用中的有效性和普适性，从问题回答和分子优化到放射治疗计划。在不修改框架的情况下，TextGrad将Google-Proof问题回答中GPT-4o的零-shot准确率从51%提高到55%，在优化LeetCode-Hard编码问题的解决方案方面获得20%的相对性能提升，改进了推理提示，设计了具有理想体外结合性的新型药物小分子，并设计了具有高特异性的放射肿瘤学治疗计划。TextGrad为加速下一代AI系统的开发奠定了基础。

论文试图解决如何开发复合人工智能系统的优化方法的问题，即如何通过文本反馈来优化复合AI系统的各个组件？这是一个新问题。

论文提出了一种基于文本的自动微分框架TextGrad，可以通过大型语言模型提供的自然语言建议来优化计算图中的变量，包括代码片段和分子结构等。TextGrad遵循PyTorch的语法和抽象，易于使用。通过多个应用实例，证明了TextGrad的有效性和通用性。

论文展示了TextGrad在多个任务中的有效性，包括提高GPT-4o在Google-Proof Question Answering中的零样本准确性，优化LeetCode-Hard编码问题解决方案的性能，设计新的具有理想的体外结合性的药物分子以及设计具有高特异性的放射治疗计划等。论文还提供了开源代码和使用的数据集。

最近的相关研究包括使用自然语言生成代码的方法和使用自然语言处理进行优化的方法。其中一些论文包括：《CodeBERT: A Pre-Trained Model for Programming and Natural Language Processing》和《Neural Code Comprehension: A Learnable Representation of Code Semantics》。