On the Limitation of Kernel Dependence Maximization for Feature Selection

一种简单直观的特征选择方法是选择能够最大化响应变量和特征之间的非参数依赖度量的特征子集。文献中流行的建议是使用希尔伯特-施密特独立准则（HSIC）作为非参数依赖度量。这种特征选择方法背后的原理是，重要特征将与响应变量表现出高度依赖性，将它们包含在所选特征集合中将增加HSIC。通过反例，我们证明了这种原理是有缺陷的，通过HSIC最大化的特征选择可能会错过关键特征。

论文试图通过最大化Hilbert-Schmidt独立性准则（HSIC）来进行特征选择，但证明了这种方法可能会错过关键特征。

通过HSIC最大化来进行特征选择的方法可能会忽略一些关键特征，因此需要探索其他方法来进行特征选择。

论文通过反例证明了HSIC最大化可能会错过关键特征，提出了需要探索其他方法的观点。实验使用了多个数据集，并提供了开源代码。

在特征选择领域，有很多其他方法被提出，如基于L1范数的方法、互信息和相关系数等。