Optimizing Visual Question Answering Models for Driving: Bridging the Gap Between Human and Machine Attention Patterns

本研究探讨了自动驾驶系统中，视觉问答（VQA）模型在通过允许车辆分析视觉输入和文本查询来增强感知能力方面的关键作用，促进车辆与其乘客或其他路上用户之间的自然互动和信任。该研究通过研究回答与驾驶相关的问题时人类和VQA模型的注意力模式，揭示了观察到的物体存在差异。我们提出了一种整合过滤器以优化模型注意力机制、优先考虑相关对象并提高准确性的方法。利用LXMERT模型作为案例研究，我们比较了预训练模型和整合过滤器模型的注意力模式，以及使用NuImages数据集中的图像进行的人类答案，从而深入了解特征优先级。我们使用主观评分框架评估了模型，结果显示特征编码器过滤器的整合提高了VQA模型的性能，优化了其注意力机制。

本论文旨在研究自动驾驶系统中的视觉问答模型，比较人类和模型在回答驾驶相关问题时的注意力模式，提出一种整合过滤器的方法来优化模型的注意力机制，从而提高准确性。

本论文提出了一种整合过滤器的方法来优化VQA模型的注意力机制，从而提高模型的准确性，这种方法可以优先考虑相关对象。

论文使用NuImages数据集进行了实验，比较了预训练模型和整合过滤器的模型的注意力模式，以及人类的回答。实验结果表明，整合过滤器的模型可以提高VQA模型的准确性。

最近在这个领域的相关研究包括：《Show, Ask, Attend, and Answer: A Strong Baseline For Visual Question Answering》、《Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering》等。