Fourier Controller Networks for Real-Time Decision-Making in Embodied Learning

本文提出了一种新的方法来探究强化学习中机器人的任务，即从频域的角度进行研究。研究发现，机器人轨迹在频域中的能量主要集中在低频部分。因此，本文提出了傅里叶控制器网络（FCNet），该网络利用短时傅里叶变换（STFT）通过频域插值来提取和编码时间变化的特征。通过在模型架构中使用FFT和Sliding DFT方法实现并行训练和高效的循环推理，从而实现实时决策。在模拟（例如D4RL）和真实环境（例如机器人运动）中的全面分析表明，FCNet相对于现有方法（如Transformer）具有显著的效率和有效性，例如，在所有类型和大小的多环境机器人数据集上，FCNet的表现优于Transformer。本文的项目页面和代码可以在https://thkkk.github.io/fcnet找到。

论文旨在解决机器人学习中低数据效率和高推断延迟的问题，提出了一种基于傅里叶变换的控制器网络来提取和编码机器人轨迹的时变特征。

论文的关键思路是利用短时傅里叶变换（STFT）提取和编码机器人轨迹的时变特征，并通过FFT和Sliding DFT方法实现并行训练和高效的循环推断。

论文在模拟环境和真实世界中进行了全面的分析，证明了FCNet相对于Transformer等现有方法的高效性和有效性。论文提供了项目页面和代码，并使用多种机器人数据集进行了实验，包括D4RL和机器人运动等。

在这个领域中，最近的相关研究包括利用深度强化学习进行机器人控制的研究，如《End-to-End Training of Deep Visuomotor Policies》和《Guided Cost Learning: Deep Inverse Optimal Control via Policy Optimization》。