ORacle: Large Vision-Language Models for Knowledge-Guided Holistic OR Domain Modeling

每天在全球范围内进行着无数次手术，每次手术都在不同的手术室环境下进行，这些手术室不仅在设置上有所不同，而且使用的人员、工具和设备也不同。这种固有的多样性对于实现对手术室的整体理解构成了重大挑战，因为它要求模型能够推广到超出其初始训练数据集的情况。为了缩小这种差距，我们引入了ORacle，这是一个先进的视觉语言模型，专为全面的手术室领域建模而设计，它具有多视角和时间能力，并可以在推理过程中利用外部知识，使其适应以前未见过的手术场景。我们的新型数据增强框架进一步增强了这种能力，显著丰富了训练数据集，确保ORacle能够有效地应用所提供的知识。在严格的测试中，ORacle在场景图生成和4D-OR数据集的下游任务中不仅表现出了最先进的性能，而且所需数据比现有模型更少。此外，它的适应性表现在它能够解释看不见的视角、工具和设备的动作和外观。这展示了ORacle显著提高手术室领域建模的可扩展性和可负担性的潜力，并为外科数据科学的未来发展开辟了道路。我们将在接受后发布我们的代码和数据。

论文旨在解决手术室领域建模的综合性问题，即如何让模型在面对不同手术室场景时具有泛化能力，以及如何在推理过程中利用外部知识适应之前未见过的情况。

论文提出了一种名为ORacle的先进视觉语言模型，具备多视角和时间能力，并能在推理过程中利用外部知识进行适应。此外，论文还提出了一种新的数据增强框架，显著增加了训练数据集的多样性，从而提高了ORacle的效果。

论文在4D-OR数据集上进行了严格的测试，证明了ORacle在场景图生成和下游任务方面的表现，不仅表现出了最先进的性能，而且所需的数据比现有模型更少。此外，ORacle的适应性也得到了验证，可以解释未见过的视图、操作和工具设备的外观。论文将开源其代码和数据。

最近的相关研究包括：1. EndoVL: Fully Convolutional Neural Networks for Endoscopic Vision-Language Tasks; 2. Scene Graph Generation with External Knowledge and Image Reconstruction; 3. Learning to Compose Domain-Specific Transformations for Data Augmentation.