HYDRA: A Hyper Agent for Dynamic Compositional Visual Reasoning

最近在视觉推理方面取得了进展，特别是在大型视觉-语言模型（VLM）的帮助下，显示出了潜力，但需要访问大规模的数据集，并面临高计算成本和有限的泛化能力等挑战。组合式视觉推理方法已经成为有效的策略；然而，它们严重依赖于大型语言模型（LLM）中编码的常识知识来执行规划、推理或两者，而不考虑其决策对视觉推理过程的影响，这可能导致错误或失败的程序。为了解决这些挑战，我们介绍了HYDRA，这是一个多阶段动态组合视觉推理框架，旨在实现可靠和逐步增强的通用推理。HYDRA集成了三个基本模块：一个规划器、一个作为认知控制器的强化学习（RL）代理和一个推理器。规划器和推理器模块利用LLM从所选指令生成指令样本和可执行代码，而RL代理动态地与这些模块交互，根据通过反馈循环存储的历史状态信息，做出高级决策，选择最佳的指令样本。这种适应性设计使HYDRA能够根据推理过程中接收到的先前反馈调整其行动，从而产生更可靠的推理输出，最终增强其整体效果。我们的框架在四个不同的广泛使用的数据集上展示了最先进的视觉推理任务表现。

论文旨在解决利用大规模数据集进行视觉推理时所面临的高计算成本和泛化能力有限的挑战。同时，通过引入HYDRA框架，解决了当前视觉推理方法在规划、推理和决策等方面存在的问题。

HYDRA是一个多阶段动态组合的视觉推理框架，由三个模块组成：规划器、强化学习代理和推理器。其中，强化学习代理作为认知控制器，动态地与规划器和推理器模块交互，根据历史状态调整其行动，从而提高推理结果的可靠性。

论文在四个不同的数据集上展示了HYDRA框架在各种视觉推理任务中的卓越表现。此外，论文还提出了一种可适应的设计方法，使得HYDRA能够根据推理过程中的反馈进行调整，从而提高其整体效果。

最近的相关研究包括使用大规模语言模型进行视觉推理的方法和组合视觉推理方法。其中，一些论文包括《Large-scale Pretraining for Visual Dialog: A Simple State-of-the-Art Baseline》和《Compositional Visual Reasoning with Dynamic Chunking》等。