Zero-Shot Character Identification and Speaker Prediction in Comics via Iterative Multimodal Fusion

识别漫画人物和预测对话者对于漫画处理任务（如语音生成或翻译）至关重要。然而，由于不同漫画标题的人物角色各不相同，因此像训练人物分类器这样的监督式学习方法需要为每个漫画标题提供特定的注释，这是不可行的。这促使我们提出了一种新颖的零样本方法，使机器能够仅基于未注释的漫画图像识别人物并预测说话者名称。尽管这些任务在现实应用中非常重要，但由于故事理解和多模态集成的挑战，它们在很大程度上仍未被探索。最近的大型语言模型（LLMs）已经展示了很强的文本理解和推理能力，但它们在多模态内容分析方面的应用仍是一个未解决的问题。为了解决这个问题，我们提出了一个迭代的多模态框架，这是第一个同时用于人物识别和说话者预测任务的多模态信息的框架。我们的实验展示了所提出框架的有效性，为这些任务建立了一个强大的基准。此外，由于我们的方法不需要训练数据或注释，因此可以直接用于任何漫画系列。

如何在没有特定注释的情况下，让机器能够识别漫画中的角色并预测发言者名称？这是一个新问题吗？

提出了一种零样本学习的方法，使用迭代的多模态框架，利用多模态信息来识别角色和预测发言者名称。这种方法不需要训练数据或注释，可以直接应用于任何漫画系列。

论文使用大型语言模型（LLMs）来进行文本理解和推理，同时使用多模态信息进行角色识别和发言者预测。实验结果表明，该方法具有很好的效果，并为这些任务建立了一个强大的基准。此外，该方法不需要任何训练数据或注释，具有很强的通用性。

最近的相关研究包括使用深度学习方法进行漫画分析、使用图像处理技术进行漫画中的角色识别等。