Control when confidence is costly

我们开发了一种随机控制的版本，考虑到推理的计算成本。过去的研究确定了无控制的高效编码，或者忽略合成信息成本的高效控制。在这里，我们将这些概念结合到一个框架中，使代理人可以合理地近似推理以实现高效控制。具体来说，我们研究了在后验概率相对精度上增加内部成本的线性二次高斯（LQG）控制。这创造了一种权衡：如果代理人在推理过程中节省了足够的位数，它可以通过牺牲一些任务性能来获得更多的效用。我们发现，在任务需求不同的情况下，解决联合推理和控制问题的合理策略会经历相位转变，从昂贵但最优的推理转变为一系列由旋转变换相关的次优推理，每个推理都错误地估计了世界的稳定性。在所有情况下，代理人都更愿意思考以减少推理成本。这项工作为一种新类型的合理计算提供了基础，这种计算可以被大脑和机器用于高效但受计算限制的控制。

论文试图解决如何在控制过程中考虑推断计算成本的问题，以及如何在任务性能和计算成本之间达到平衡。

通过在线性二次高斯（LQG）控制中引入相对精度的内部成本来平衡任务性能和计算成本，并发现代理人的理性策略会随着任务需求的不同而发生相位转变，从而实现高效但计算受限的控制。

论文提供了一种新的理性计算框架，可以为大脑和机器提供高效但计算受限的控制。实验结果表明，代理人在任务性能和计算成本之间取得了平衡，并且会通过相位转变来平衡这两个因素。论文还提供了一些未来工作的方向，例如如何在更复杂的控制问题中应用该框架。

在过去的研究中，已经有一些关于高效编码和高效控制的研究，但是本文将二者结合起来，提出了一种新的框架。另外，近期还有一些研究关注控制和推断计算成本的平衡问题，例如“Balancing Task and Inference Processing in Active Perception with Efficient Deep Generative Models”和“Approximate Inference Control with Temporal Logic Constraints”。