AI Agents That Matter

AI代理是一个令人兴奋的新研究方向，代理开发是由基准驱动的。我们对当前代理基准和评估实践的分析揭示了几个缺点，这些缺点阻碍了它们在实际应用中的有用性。首先，它们过于狭窄，只关注准确性，而忽略了其他指标。因此，SOTA代理人是不必要的复杂和昂贵的，社区已经对准确性提高的来源做出了错误的结论。我们除了关注准确性外，还关注成本，从而激发了共同优化这两个指标的新目标。我们设计和实现了这样的优化，展示了它在保持准确性的同时极大地降低了成本的潜力。其次，模型和下游开发人员的基准需求已经混淆，很难确定哪个代理最适合特定的应用。第三，许多代理基准测试集不足，有时甚至没有。这导致代理人很脆弱，因为它们采取捷径并以各种方式过度拟合基准测试。我们提出了一个有原则的框架来避免过度拟合。最后，评估实践缺乏标准化，导致普遍缺乏可重复性。我们希望我们介绍的解决这些缺点的步骤将推动开发出在实际应用中有用而不仅仅是在基准测试中准确的代理。

评估人工智能代理的基准测试存在哪些问题，如何解决这些问题？

通过联合优化准确度和成本来设计和实现优化方案，以避免过度拟合，并提高代理的实用性。

论文提出了一种联合优化代理的准确度和成本的方案，并展示了其潜力。同时，论文还强调了基准测试中其他指标的重要性，提供了避免过度拟合的框架，并呼吁标准化评估实践以提高可重复性。

相关研究包括但不限于：《Towards Benchmarking of Deep Reinforcement Learning for Continuous Control》、《A systematic study of the class imbalance problem in convolutional neural networks》、《Deep Reinforcement Learning that Matters》等。