【流模型】Latent Transformations for Discrete-Data Normalising Flows 【论文链接】https://arxiv.org/pdf/2006.06346v1.pdf 【代码链接】https://github.com/robdhess/Latent-DNFs 【作者团队】Rob Hesselink，Wilker Aziz 【机构】荷兰阿姆斯特丹大学 【发表时间】2020/05/30 【推荐理由】来自阿姆斯特丹大学的学者提出了一种用于离散数据的标准化流模型(NF)方法，通过预测隐变量空间的分布建模其变换。 标准化离散数据流（NFs）具有挑战性，因为参数化离散变量的双射变换需要预测离散的参数值。使神经网络结构预测离散参数的过程中使用了不可微分的激活函数（阶跃函数等），对基于梯度的学习形成阻碍。为了避免这种不可微性，以前的工作采用了带偏置的梯度，而本文提出了一种无偏的替代方案，预测隐向量的分布，而不是确定性地参数化一个转换。利用随机变换，数据的边际可能性是可微的，并且可以通过得分函数估计来进行基于梯度的学习。本文在二进制MNIST数据集上测试了离散数据规范化流的可行性，解决了确定性梯度和无偏评分函数方面的挑战。

内容中包含的图片若涉及版权问题，请及时与我们联系删除