AQuA: Automated Question-Answering in Software Tutorial Videos with Visual Anchors

教学视频是学习功能丰富软件的流行帮助来源。然而，快速获得有关教学视频的问题的答案很困难。我们提出了一种自动化方法来回答教学问题。通过分析5944个视频评论中的633个问题，我们确定了不同的问题类型，并观察到用户经常在问题中描述视频的某些部分。然后，我们要求参与者（N=24）在注释相关可视锚点的视频时观看教学视频并提出问题。大多数可视锚点都涉及UI元素和应用程序工作区。基于这些见解，我们构建了AQuA，这是一个生成具有可视锚点的有用答案的管道。我们展示了这一点，对Fusion 360进行了演示，表明我们可以识别可视锚点中的UI元素，并使用增强了该可视信息和软件文档的GPT-4生成答案。评估研究（N=16）表明，我们的方法提供了比基线方法更好的答案。

论文旨在解决学习功能丰富软件时，用户在观看教程视频时提问难以得到快速回答的问题。作者提出了一种自动化方法来回答这些问题。

通过分析5,944个视频评论中的633个问题，作者识别了不同的问题类型，并观察到用户经常在问题中描述视频的某些部分。作者要求参与者在注释与相关视觉锚点的视频的同时观看教程视频并提问。大多数视觉锚点都与用户界面元素和应用程序工作区相关。基于这些洞察，作者构建了AQuA，这是一个生成有用答案的流水线，其中包含视觉锚点。作者使用GPT-4和软件文档增强了视觉信息，演示了Fusion 360的这种方法。评估研究（N=16）表明，相对于基线方法，我们的方法提供了更好的答案。

论文通过自动化方法回答教程视频中的问题，该方法使用了视觉锚点和GPT-4。作者通过分析视频评论和参与者注释的视频，发现视觉锚点通常涉及用户界面元素和应用程序工作区。作者还进行了评估研究，证明了该方法的有效性。

在这个领域中，最近的相关研究包括使用深度学习方法来回答自然语言问题和基于视觉锚点来生成电影剪辑。相关论文包括：《基于深度学习的自然语言问题回答综述》和《使用视觉锚点生成电影剪辑的方法》。