【论文标题】Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator 【作者团队】Max B Paulus, Chris J. Maddison, Andreas Krause 【发表时间】ICLR 2021 【论文链接】https://openreview.net/pdf?id=Mk6PZtgAgfq 【推荐理由】本文提出利用Rao-Blackwellization来降低Gumble-Softmax估计的直接变量的方差，而不需要增加函数的求值次数。这可以使得模型收敛更快，并普遍改善无监督潜变量模型性能。 具有离散潜变量模型的梯度估计是一个具有挑战性的问题，因为最简单的无偏估计往往具有较大的方差。为了解决这个问题，现代估计器要么引入偏差，依赖于多重函数评估，要么使用学习的、依赖于输入的基线。因此，我们需要的估计器需要最小的调整，计算成本低，且均方误差低。本文证明了常用的Gumbel-Softmax估计的直接变量的方差可以通过Rao-Blackwellization来降低，而不需要增加函数的求值次数。这可证明降低了均方误差。作者的经验证明，这导致方差减少，更快的收敛，并普遍无监督潜变量模型的性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除