A Framework for Multimodal Medical Image Interaction

医生们依靠人体解剖的影像，例如磁共振成像（MRI），在诊断和治疗过程中定位病人的感兴趣区域。尽管医学影像技术有所进步，但信息传递仍然是单模态的。这种视觉呈现方式无法捕捉与人体组织的真实、多感官交互的复杂性。然而，实时感知病人解剖和疾病的多模态信息对于医疗程序的成功和病人的结果至关重要。我们引入了一种多模态医学图像交互（MMII）框架，允许医学专家在三维空间中动态地进行视听交互。在虚拟现实环境中，用户接收到基于物理的视听反馈，以改善解剖结构的空间感知。MMII使用基于模型的声音化方法生成从组织的几何和物理特性中得出的声音，从而消除了手工设计声音的需要。我们进行了两项用户研究，涉及34名一般专家和9名临床专家，以评估所提出的交互框架的可学习性、可用性和准确性。我们的结果显示，随着研究的进行，音视频对应关系的正确关联率显著提高（p < 0.001），表明音视频对应关系的学习性极佳。与传统的医学图像交互相比，MMII在脑肿瘤定位准确性方面表现出优越性（p < 0.05）。我们的研究结果证实了这种新型框架增强医学图像交互的潜力，例如在需要即时和精确反馈的手术过程中。

论文提出了一个多模态医学图像交互（MMII）框架，旨在解决医学专家在诊断和治疗过程中需要感知多模态信息的问题。该框架使用虚拟现实技术，提供物理信息的视听反馈，以提高解剖结构的空间感知。

该框架使用基于模型的声音生成方法，从组织的几何和物理特性中生成声音，消除了手工设计声音的需要。论文通过两项用户研究证明了该框架的可学习性、可用性和准确性，并表明该框架在脑肿瘤定位方面表现出优异的准确性。

该框架为医学图像交互提供了新的思路和方法，具有很高的实用价值。研究使用了虚拟现实技术和基于模型的声音生成方法，并通过用户研究验证了该框架的有效性。论文还提供了可以用于进一步研究的数据集和开源代码。

最近的相关研究包括使用虚拟现实技术进行医学图像交互的研究，以及使用声音增强医学图像信息的研究。例如：'Virtual Reality and Augmented Reality as a Training Tool for Microsurgery'和'Image Sonification: A Novel Technique to Image the Brain'。