STATE: A Robust ATE Estimator of Heavy-Tailed Metrics for Variance Reduction in Online Controlled Experiments

在线控制实验在许多公司中发挥着至关重要的作用，使数据驱动的决策成为可能。方差缩减是一种有效的技术，可以提高实验的灵敏度，同时使用更少的样本和更短的实验期间，实现更高的统计功效。然而，典型的方差缩减方法（例如，回归调整估计器）建立在高斯分布的直觉假设之上，不能正确地表征具有重尾分布的实际业务指标。此外，异常值会降低实验前协变量和结果指标之间的相关性，极大地限制了方差缩减的有效性。 在本文中，我们开发了一个新的框架，将学生t分布与机器学习工具相结合，以拟合重尾度量并构建一个强大的平均处理效应估计器，称为STATE。通过采用变分EM方法来优化对数似然函数，我们可以推断出一个强健的解决方案，大大消除了异常值的负面影响，并实现了显著的方差缩减。此外，我们通过利用保持无偏估计的线性变换，将STATE方法从计数度量扩展到比率度量，其方差缩减更加复杂，但在现有的研究中得到了较少的探究。最后，对合成数据的模拟和美团实验平台的长期实证结果都证明了我们方法的有效性。与最先进的估计器（CUPAC/MLRATE）相比，STATE实现了超过50%的方差缩减，表明它可以在只有一半的观察结果或实验时间的情况下达到相同的统计功效。

本论文旨在解决在线控制实验中方差降低方法在重尾分布下的不适用性和异常值对结果的负面影响。

论文提出了一种新的框架，将学生t分布与机器学习工具相结合，以适应重尾分布的度量，构建了一个稳健的平均处理效应估计器，称为STATE。

论文采用变分EM方法优化对数似然函数，得出稳健解决方案，显著消除了异常值的负面影响，并实现了显著的方差降低。同时，论文还将STATE方法从计数度量扩展到比率度量，并利用线性变换保持无偏估计。在合成数据和美团实验平台上的实验结果表明，相比于现有的估计器（CUPAC/MLRATE），STATE实现了超过50%的方差降低，即可以在只有一半的观察值或实验时间内达到相同的统计功率。

在这个领域中，最近的相关研究包括使用回归调整的估计器等典型方差降低方法。