HiRA-Pro: High resolution alignment of multimodal spatio-temporal data: a process physics driven approach

我们提出了一种新颖的HiRA-Pro过程，可以在高时空分辨率下对来自展现多样的瞬态、非线性随机动力学的现实过程和系统的多模态信号进行对齐，例如制造机器。它基于识别和同步这些不同信号中显著的运动学和动力学事件的过程标记。HiRA-Pro解决了将数据与亚毫秒现象对齐的挑战，传统的时间戳、外部触发器或基于时钟的对齐方法无法满足此需求。HiRA-Pro的有效性在智能制造环境中得到了证明，它对来自Optomec-LENS MTS 500混合机器的3D打印和铣削操作期间获取的13个以上信道的数据进行对齐。然后，对齐的数据被像素化为生成与生产零件上的物理像素相对应的0.25秒对齐数据块。 HiRA-Pro的优越性通过添加制造的案例研究进一步展示，证明了由于精确的多模态数据对齐而实现的基于机器学习的预测性能的提高。具体而言，应用HiRA-Pro后，测试分类准确率提高了近35％，即使数据有限，也可以实现对瑕疵的精确定位。该论文还对所提出的方法、其应用以及与其他几种对齐方法的比较进行了全面的讨论。 HiRA-Pro实现了10-1000微秒和100微米的时空分辨率，以生成与3D打印和铣削零件上的物理像素相对应的数据集。这些分辨率至少比采用单个时间戳、统计相关性或公共时钟的现有对齐方法高一个数量级，后者的精度为数百毫秒。

论文旨在解决实际过程和系统中多模态信号的高时空分辨率对齐问题，以便进行精确的机器学习预测和定位。这是一个新的问题。

HiRA-Pro是一种基于识别和同步不同信号中显著的运动学和动力学事件的过程特征的方法，以实现亚毫秒级别的数据对齐。该方法通过生成与3D打印和铣削零件上的物理体素对应的0.25秒对齐数据块，实现10-1000微秒和100微米的时间空间分辨率。

论文在智能制造领域展示了HiRA-Pro的有效性，通过3D打印和铣削操作期间获取的13个信道的数据进行了实验验证。使用HiRA-Pro对数据进行对齐后，进行了体素化处理，生成了与零件上的物理体素对应的0.25秒对齐数据块。实验结果表明，相对于其他对齐方法，HiRA-Pro可以提高机器学习预测的准确性，分类准确度提高了近35％。

目前在这个领域中，其他相关研究包括使用时间戳、统计相关性或公共时钟等传统对齐方法，这些方法的精度只能达到数百毫秒级别。