DeepRacer on Physical Track: Parameters Exploration and Performance Evaluation

本文关注AWS DeepRacer的物理赛道能力。进行了两个独立的实验。第一个实验（实验I）旨在评估超参数对物理环境的影响。超参数如梯度下降批量大小和损失类型被系统地改变，同时改变训练时间设置。第二个实验（实验II）旨在探索AWS DeepRacer在物理环境中的避障能力。发现在模拟环境中，梯度下降批量大小较大的模型比梯度下降批量大小较小的模型表现更好。而在物理环境中，128的梯度下降批量大小似乎更可取。发现在模拟和物理环境中，使用Huber损失类型的模型优于使用MSE损失类型的模型。最后，模拟环境中的避障似乎是有效的，但是将这些模型带到物理环境中时，避障面临着明显的挑战。因此，物理环境中的避障仍然是一个未解决的挑战。

论文旨在研究AWS DeepRacer在物理赛道方面的性能，探索超参数对物理环境的影响以及AWS DeepRacer在物理环境中避障的能力。

通过系统地改变超参数并设置不同的训练时间，研究了Gradient Descent Batch Size和Loss Type等超参数对物理环境的影响，并发现在模拟环境中，使用更高的Gradient Descent Batch Size可以提高模型性能，但在物理环境中，使用128的Gradient Descent Batch Size更好。使用Huber Loss Type的模型在模拟和物理环境中表现都优于使用MSE Loss Type的模型。此外，论文还发现在模拟环境中避障是有效的，但在物理环境中避障仍然是一个挑战。

实验设计了两个实验来探索AWS DeepRacer在物理环境中的性能。论文还提供了有关超参数对模型性能的影响的有用信息，并发现使用Huber Loss Type的模型在模拟和物理环境中表现都优于使用MSE Loss Type的模型。此外，论文还强调了在物理环境中避障仍然是一个挑战。

最近的相关研究包括：1. Deep Reinforcement Learning for Autonomous Driving: A Survey (2020); 2. Autonomous Racing: A Benchmark for Learning to Race in Simulation (2019); 3. Reinforcement Learning-Based Autonomous Racing Using Hybrid State Space (2020)。