Tree-based Ensemble Learning for Out-of-distribution Detection

在我们能够安全地将大多数机器学习模型投入实践之前，能够成功地确定测试样本是否具有与训练样本相似的分布是需要解决的一个基本问题。本文提出了TOOD检测，一种简单而有效的基于树的超出分布（TOOD）检测机制，用于确定一组未见过的样本是否具有与训练样本相似的分布。TOOD检测机制基于计算测试样本的树嵌入的成对汉明距离，这些嵌入是通过在分布内的训练样本上拟合树形集成模型获得的。我们的方法具有可解释性和树形本质的鲁棒性。此外，我们的方法高效，适用于各种机器学习任务，并且可以轻松推广到无监督设置。进行了大量实验，以展示所提出的方法在各种表格、图像和文本数据上区分分布内和分布外方面优于其他最先进的分布外检测方法。

本文旨在解决如何判断测试样本与训练样本是否具有相似的分布，以便在实践中安全地部署大多数机器学习模型的基本问题。

本文提出了一种基于树的外部分布检测（TOOD）机制，通过计算测试样本的树嵌入的成对汉明距离来确定未见样本集是否具有与训练样本相似的分布。该方法是可解释的、鲁棒的和高效的，适用于各种机器学习任务，可以轻松推广到无监督设置。

本文的亮点包括：1.使用树嵌入来计算测试样本的汉明距离，从而实现外部分布检测；2.实验结果表明，该方法在各种表格、图像和文本数据上优于其他最先进的外部分布检测方法；3.该方法是可解释的、鲁棒的和高效的，适用于各种机器学习任务，可以轻松推广到无监督设置。

最近的相关研究包括：1. ODIN: Out-of-Distribution Detector for Neural Networks；2. Mahalanobis Distance-based Out-of-Distribution Detection；3. Deep One-Class Classification；4. Generative Models for Effective ML on Private, Decentralized Datasets。