DeTikZify: Synthesizing Graphics Programs for Scientific Figures and Sketches with TikZ

创建高质量的科学图表可能耗时且具有挑战性，即使在纸上草拟想法相对容易。此外，重新创建那些未存储语义信息的现有图表同样复杂。为了解决这个问题，我们介绍了DeTikZify，这是一个新颖的多模态语言模型，可以根据草图和现有图表自动合成保留语义信息的TikZ图形程序，以解决这个问题。为了实现这一目标，我们创建了三个新的数据集：迄今为止最大的TikZ数据集DaTikZv2，其中包含超过36万个人类创建的TikZ图形；SketchFig，一个将手绘草图与其对应的科学图表配对的数据集；以及SciCap++，一个包含各种科学图表和相关元数据的集合。我们在SciCap++和DaTikZv2上训练DeTikZify，以及从SketchFig中学习到的合成草图。我们还引入了一种基于MCTS的推理算法，使得DeTikZify能够在不需要额外训练的情况下迭代地改进其输出。通过自动和人工评估，我们证明DeTikZify在合成TikZ程序方面表现优于商业软件Claude 3和GPT-4V，而MCTS算法有效地提高了其性能。我们公开了我们的代码、模型和数据集。

DeTikZify论文旨在解决科学图形的自动生成问题，包括从手绘草图和现有图形中自动生成语义保留的TikZ图形程序。这是一个新的问题。

DeTikZify使用多模态语言模型，结合三个新数据集进行训练，包括人类创建的TikZ图形、手绘草图和科学图形及其元数据。论文提出了一种基于MCTS的推理算法，使得DeTikZify能够在不需要额外训练的情况下迭代地优化其输出。

论文通过自动和人工评估证明，DeTikZify在合成TikZ程序方面优于商业软件Claude 3和GPT-4V。此外，论文提出的MCTS算法有效地提高了DeTikZify的性能。论文还公开了代码、模型和数据集。

最近在这个领域中的相关研究包括：1. Sketch2TikZ: 从手绘草图中生成TikZ图形程序；2. NeuralTikZ: 使用神经网络合成TikZ图形；3. SketchyScene: 将手绘草图转换为真实场景图像。