Patched MOA: optimizing inference for diverse software development tasks

本文介绍了Patched MOA（混合代理）这一推理优化技术，它显著提高了大型语言模型（LLMs）在各种软件开发任务中的性能。我们评估了三种推理优化算法——Best of N、Mixture of Agents和Monte Carlo Tree Search，并展示了Patched MOA可以将较小的模型的性能提高到超过更大、更昂贵的模型。值得注意的是，我们的方法将gpt-4o-mini模型在Arena-Hard-Auto基准测试中的性能提高了15.52%，超过了gpt-4-turbo，成本只是后者的一小部分。我们还将Patched MOA应用于各种软件开发工作流程，展示了任务完成率的持续提高。我们的方法与模型无关，对最终用户透明，可以轻松集成到现有的LLM流水线中。本研究为LLM优化领域做出了贡献，提供了一种成本效益高的解决方案，可以提高模型性能，而无需进行微调或使用更大的模型。

论文旨在提出一种推理优化技术——Patched MOA，以显著提高大型语言模型在多样化软件开发任务中的性能。

Patched MOA是一种模型无关的方法，可以透明地集成到现有的LLM流水线中，提高模型性能而无需微调或使用更大的模型。

论文评估了三种推理优化算法，并展示了Patched MOA可以将较小模型的性能提高到超过更大、更昂贵的模型。实验结果显示，Patched MOA可以将gpt-4o-mini模型在Arena-Hard-Auto基准测试中的性能提高15.52％，超过gpt-4-turbo，而成本只是后者的一小部分。论文还应用Patched MOA于各种软件开发工作流程，展示任务完成率的持续提高。

最近的相关研究包括《Large Scale Language Model Compression》、《Optimizing Transformer-based Language Models》等。