Dolphin: Closed-loop Open-ended Auto-research through Thinking, Practice, and Feedback

科学研究范式正因人工智能（AI）的发展而经历深刻变革。最近的研究表明，各种借助AI的研究方法可以通过改进数据分析、加速计算以及促进新想法的产生来大幅提高研究效率。为了进一步向最终目标（即自动化的科学研究）迈进，本文提出了Dolphin——首个闭环开放式自动研究框架，旨在进一步构建人类科学研究的整个过程。Dolphin能够生成研究想法、进行实验，并从实验结果中获取反馈以生成更高质量的想法。具体而言，Dolphin首先根据按主题和任务属性排序的相关论文生成新颖的想法。然后，通过异常跟踪引导的局部代码结构自动编写并调试代码。最后，Dolphin自动分析每个想法的结果，并将这些结果反馈到下一轮想法生成中。实验在不同主题的基准数据集上进行，结果显示Dolphin可以持续生成新颖的想法，并完成循环实验。我们特别指出，在某些任务（如2D图像分类和3D点分类）中，Dolphin可以自动提出与现有最先进方法相媲美的方法。

该论文试图通过开发名为Dolphin的自动化研究框架，解决科学研发过程中效率低下、创新不足的问题。这并非一个全新的问题，但将AI全面应用于科学研究自动化是一个新颖的方向。

关键思路在于构建一个闭环、开放式的人工智能辅助自动研究框架Dolphin，它能够自动生成研究想法、执行实验并根据实验结果反馈优化后续的研究方向。相比现有研究，Dolphin不仅涵盖了从想法生成到实验分析的完整流程，还强调了通过机器学习算法迭代改进研究质量的能力。

亮点包括：1) Dolphin可以持续产生新的研究想法，并在多个基准数据集上证明了其有效性；2) 自动化代码生成与调试功能，提高了实验实施的速度和准确性；3) 在某些特定任务如2D图像分类和3D点分类中，Dolphin提出的方案已达到或接近现有最佳水平。此外，该研究提供了开源代码，促进了未来进一步的研究和发展。

最近的相关研究包括《A Survey on Automated Machine Learning》, 《Automated Deep Learning: Methods and Challenges》等，这些工作主要集中在利用AI技术简化模型选择、超参数调优等机器学习任务。而Dolphin则更进一步，尝试覆盖整个科学研究周期，包括假设形成和验证。