Terrain-Aware Stride-Level Trajectory Forecasting for a Powered Hip Exoskeleton via Vision and Kinematics Fusion

动力髋关节外骨骼已经表现出在跑步机行走中提供运动辅助的能力。然而，在涉及到改变地形的现实世界行走场景中提供适当的辅助仍然具有挑战性。最近的研究表明，预测下肢关节角度可以为外骨骼和假肢提供目标轨迹，并且通过视觉信息可以提高性能。在本文中，我们分享了一个由10名健康受试者在五种常见地形中行走的真实世界数据集，并进行了步幅级别的标记。我们设计了一个名为“三明治融合变压器”的网络（SFTIK），它可以根据前一步和后一步的地形图像以及前一步的IMU时间序列来预测接下来一步的大腿角度。我们引入了适用于自我中心地形图像的宽度级别拼接方法，以减少计算需求。我们展示了所提出的三明治输入和融合机制可以显著提高预测性能。总体而言，SFTIK优于基线方法，实现了3.31 G Flops的计算效率，均方根误差（RMSE）为3.445±0.804°，Pearson相关系数（PCC）为0.971±0.025。结果表明，SFTIK可以准确预测大腿角度，计算成本低，可以作为适应地形的髋关节外骨骼轨迹规划方法。代码和数据可在https://github.com/RuoqiZhao116/SFTIK获得。

本文试图解决如何在真实世界的不同地形上提供适当的助力，使得下肢关节能够提供合适的运动辅助的问题。

本文提出了一种名为SFTIK的神经网络，利用前一步和后一步的地形图像以及前一步的IMU时间序列来预测下一步的大腿角度，以提供适应性的轨迹规划方法，以便为髋部外骨骼提供助力。

本文提供了一个包含10个健康被试在5种常见地形下行走的现实世界数据集，提出了一种名为Sandwich Fusion Transformer for Image and Kinematics（SFTIK）的网络，采用宽度级补丁化技术来减少计算需求，展示了SFTIK相比基线方法具有更好的预测性能，而且计算效率高。

最近在这个领域中，还有一些相关的研究，如《A Study of the Effects of Exoskeleton Assistance on Muscle Activity During Walking》、《Estimation of Human Lower Limb Joint Angles With Wearable Sensors: A Systematic Review》等。