Classifying Overlapping Gaussian Mixtures in High Dimensions: From Optimal Classifiers to Neural Nets

我们推导出高维重叠高斯混合模型（GMM）数据二元分类的贝叶斯最优决策边界的闭式表达式，并展示了它们如何依赖于类协方差的特征结构，特别是对于有趣的结构化数据。通过在受现实世界数据启发的合成GMM上进行实验，我们经验性地证明，用于分类的深度神经网络学习预测器，可以近似于推导出的最优分类器。我们进一步将研究扩展到在真实数据上训练的网络，观察到决策阈值与协方差特征向量相关，而不是特征值，这反映了我们GMM分析的结果。这提供了关于神经网络执行概率推理和从复杂分布中提取统计模式的理论洞见。

本论文旨在解决高维重叠高斯混合模型数据的二元分类中贝叶斯最优决策边界的推导问题，并展示了它们如何取决于类协方差的特征值结构。同时，论文还试图通过实验验证深度神经网络是否能够学习到这些最优分类器。

本论文的关键思路是通过推导贝叶斯最优决策边界的闭合形式表达式，研究高维重叠高斯混合模型数据的分类问题，并探究深度神经网络是否能够学习到这些最优分类器。

论文通过实验验证了深度神经网络能够学习到贝叶斯最优分类器，并且发现决策阈值与协方差的特征向量相关，而不是特征值。此外，论文的实验基于真实数据集进行，展示了深度神经网络在复杂分布中进行概率推断和提取统计模式的能力。

在这个领域中，最近的相关研究包括《Deep Learning with Differential Privacy》、《Learning Deep Features for Discriminative Localization》等。