HoneyBee: A Scalable Modular Framework for Creating Multimodal Oncology Datasets with Foundational Embedding Models

为了开发准确的肿瘤机器学习模型，需要大规模、高质量的多模态数据集。然而，由于医学数据的复杂性和异质性，创建这样的数据集仍然具有挑战性。为了解决这一挑战，我们介绍了HoneyBee，这是一个可扩展的模块化框架，用于构建多模态肿瘤数据集，利用基础模型生成代表性嵌入。HoneyBee集成了各种数据模式，包括临床诊断和病理成像数据、医疗笔记、报告、记录和分子数据。它采用数据预处理技术和基础模型生成嵌入，捕捉原始医学数据中的基本特征和关系。生成的嵌入以结构化格式存储，使用Hugging Face数据集和PyTorch数据加载器进行访问。向量数据库实现了高效的查询和检索，以用于机器学习应用。我们通过实验评估这些嵌入的质量和代表性，证明了HoneyBee的有效性。该框架旨在扩展到其他医学领域，并旨在通过提供高质量、机器学习就绪的数据集来加速肿瘤学研究。HoneyBee是一个正在进行的开源项目，代码、数据集和模型可在项目存储库中获得。

HoneyBee试图解决创建高质量的多模态癌症数据集的挑战，以加速机器学习在肿瘤学领域的研究应用。

HoneyBee利用基础模型生成代表性的嵌入向量，将多种数据模态集成到一个可扩展的框架中，以捕获原始医学数据中的关键特征和关系。

HoneyBee框架使用数据预处理技术和基础模型生成嵌入向量，并使用Hugging Face数据集和PyTorch数据加载器将其存储在结构化格式中，以便于机器学习应用程序的访问和检索。实验结果表明，HoneyBee生成的嵌入向量具有高质量和代表性。该框架是一个开源项目，提供了代码、数据集和模型。

最近的相关研究包括利用深度学习技术进行医学图像分析和癌症预测的研究，如“Deep Learning for Medical Image Analysis”和“Deep Learning for Cancer Diagnosis: A Survey”。