AdaGlimpse: Active Visual Exploration with Arbitrary Glimpse Position and Scale

Active Visual Exploration（AVE）是一个任务，它涉及动态选择观察（glipses），这对于促进在环境中的理解和导航至关重要。尽管现代AVE方法已经展示了令人印象深刻的性能，但它们受到来自刚性网格的固定比例观察的限制。相比之下，现有的配备光学变焦功能的移动平台可以捕捉任意位置和比例的观察。为了解决软件和硬件能力之间的差距，我们引入了AdaGlimpse。它使用Soft Actor-Critic，一种专门针对探索任务的强化学习算法，来选择任意位置和比例的观察。这种方法使我们的模型能够在缩小进行详细分析之前，快速建立对环境的一般认识。实验结果表明，AdaGlimpse在各种视觉任务中超越了先前的方法，同时在现实AVE场景中具有更大的适用性。

论文旨在解决主动视觉探索（AVE）任务中的一个问题，即现有的方法只能从刚性网格中选择固定尺度的观察，而无法选择任意位置和尺度的观察，而现有的移动平台具备光学变焦能力，可以捕捉任意位置和尺度的观察，因此需要一种新的方法来解决这个问题。

AdaGlimpse使用适用于探索任务的强化学习算法Soft Actor-Critic来选择任意位置和尺度的观察，从而解决了现有方法的局限性。该方法能够快速建立环境的一般意识，并在详细分析之前进行缩放。

论文通过实验证明，AdaGlimpse在各种视觉任务中都优于以前的方法，并在现实AVE场景中具有更大的适用性。实验设计了多个数据集，并开源了代码。该方法还能够适用于其他探索任务，具有广泛的应用前景。

在这个领域中，最近还有一些相关的研究，如《Reinforcement Learning for Active Visual Search》、《Active Object Recognition Using Incremental Receptive Field Growing》等。