Distributed Record Linkage in Healthcare Data with Apache Spark

医疗保健数据是医学领域研究、分析和决策的宝贵资源。然而，医疗保健数据通常是分散在各种来源中的碎片化数据，这使得有效地组合和分析数据变得具有挑战性。记录链接，也称为数据匹配，是整合和清理医疗保健数据以确保数据质量和准确性的关键步骤。Apache Spark是一个强大的开源分布式大数据处理框架，提供了一个强大的平台来利用其机器学习库执行记录链接任务。在本研究中，我们开发了一个基于Apache Spark机器学习库的新的分布式数据匹配模型。为了确保我们的模型正确运行，验证阶段已在训练数据上进行。主要挑战是数据不平衡，因为大量数据被标记为假，而少量记录被标记为真。通过利用支持向量机和回归算法，我们的结果表明研究数据既没有过度拟合也没有欠拟合，这表明我们的分布式模型在数据上运行良好。

解决医疗领域中数据不连续、分散的问题，提高数据质量和准确性。

使用Apache Spark分布式大数据处理框架的机器学习库，开发一个新的分布式数据匹配模型，利用SVM和回归算法解决数据不平衡的问题。

实验结果表明，该分布式模型在数据上表现良好，没有过拟合或欠拟合的情况。该论文的亮点包括使用Apache Spark等开源工具，使用SVM和回归算法解决数据不平衡问题等。

最近的相关研究包括《基于深度学习的医疗图像自动分析方法》、《医疗大数据的隐私保护研究》等。