Classification of assembly tasks combining multiple primitive actions using Transformers and xLSTMs

对人类执行的装配任务进行分类在协作机器人领域中至关重要，它能够确保安全、预测机器人动作并促进机器人学习。然而，当将任务分割为更小的基本动作不可行时，实现可靠的分类变得颇具挑战性，这要求我们必须对包含多个基本动作的长装配任务进行分类。在本研究中，我们提出了一种基于手部地标坐标来分类长装配顺序任务的方法，并比较了两种成熟分类器（LSTM 和 Transformer）以及一种最近提出的模型（xLSTM）的性能。我们使用了 CT 基准测试中提出的 HRC 场景，该场景包括结合插入、螺钉紧固和卡扣配合等动作的长装配任务。测试使用了从执行训练序列的人类操作员以及三名新操作员收集的序列数据。对于真实填充的序列，LSTM、Transformer 和 xLSTM 模型在训练操作员上的测试结果分别为 72.9%、95.0% 和 93.2%，而在新操作员上的测试结果分别为 43.5%、54.3% 和 60.8%。LSTM 模型的表现明显逊色于其他两种方法。如预期所示，Transformer 和 xLSTM 对其训练的操作员均取得了令人满意的结果，但 xLSTM 模型表现出更好的泛化能力以适应新操作员。结果清楚地表明，在这种类型的分类任务中，xLSTM 模型相较于 Transformer 略具优势。

该论文试图解决在协作机器人中对人类执行的长序列装配任务进行分类的问题。由于将任务分解为更小的基本动作不可行，因此需要直接对包含多个基本动作的长序列任务进行分类。这是一个具有挑战性的问题，特别是在面对不同操作者时模型的泛化能力。

论文提出基于手部地标坐标对长序列装配任务进行分类，并比较了LSTM、Transformer和xLSTM三种模型的性能。其中，xLSTM模型展示了更好的泛化能力，尤其是在处理新操作者的数据时。相比传统的LSTM，Transformer和xLSTM更适合处理长序列数据，而xLSTM通过改进架构进一步提升了模型的表现。

实验设计包括使用CT基准中的HRC场景，涵盖插入、螺钉固定和卡扣装配等多种动作。数据集来源于训练操作者及三位新操作者的序列数据。此外，研究发现xLSTM在新操作者上的表现优于其他模型，表明其在跨个体任务分类中的潜力。虽然未提及代码开源，但论文强调了模型在实际协作机器人应用中的价值，值得进一步探索如何优化模型以适应更多样化的操作环境。

相关研究包括：1) 使用深度学习方法进行人类行为识别的研究，如《Human Activity Recognition Using Skeleton Data with Attention-Based LSTM》；2) 针对协作机器人中的人类意图预测工作，例如《Intent Prediction for Human-Robot Collaboration via Temporal Convolutional Networks》；3) Transformer在时间序列分类中的应用，如《Time-Series Classification with Transformers》。这些研究共同推动了协作机器人中人类动作理解的技术进步。