VC Theory for Inventory Policies

计算能力和人工智能的进步增加了对强化学习库存管理方法的兴趣。本文为这些方法提供了理论基础，并研究了限制为几十年来库存理论已经建立的策略结构的好处。特别地，我们利用著名的Vapnik-Chervonenkis（VC）理论，证明了学习几种著名的库存策略，包括基准库存和（s，S）策略的泛化保证。我们应用VC理论中的伪维数和Fat-shattering维数的概念来确定库存策略的泛化性，即库存策略在训练数据上的表现与其在未知数据上的预期表现之间的差异。我们专注于经典的无上下文环境，但允许任意需求序列分布，并且不做任何时间独立等假设。我们通过数值模拟验证了我们的监督学习结果。 从管理角度来看，我们的理论和模拟转化为以下见解。首先，在库存管理中有“学习越少越好”的原则：根据可用的数据量，限制自己使用更简单但次优的库存策略可能是有益的，以最小化过度拟合误差。其次，策略类中的参数数量可能不是过度拟合误差的正确度量方式：事实上，由T个时变基准库存水平定义的策略类表现出与两个参数（s，S）策略类相当的泛化误差。最后，我们的研究表明，在黑盒学习机中将基准库存和库存位置的概念纳入其中，而不是直接学习订货量行动，可能是有益的。

研究如何应用强化学习方法来解决库存管理问题，并探究限制策略结构对于学习的好处。

利用Vapnik-Chervonenkis (VC)理论证明了一些经典的库存策略类别，如基准库存和(s，S)策略，可以学习并具有泛化保证。同时，研究发现在库存管理中“学习得越少，越好”的原则。

论文使用VC理论中的Pseudo-dimension和Fat-shattering dimension来确定库存策略的泛化性能，并进行了数值模拟验证。研究还发现，策略类别中的参数数量可能不是衡量过拟合误差的正确指标。最后，研究表明在黑盒学习机中将基准库存和库存位置的概念纳入其中可能是有益的。

与本研究相关的研究包括：1. Reinforcement Learning for Inventory Management: An Overview of Recent Advances and Future Directions；2. Multi-echelon inventory optimization with deep reinforcement learning；3. A deep reinforcement learning approach for the inventory replenishment problem.