Multi-Label Adaptive Batch Selection by Highlighting Hard and Imbalanced Samples

深度神经网络模型已经证明了它们在分类来自不同领域的多标签数据方面的有效性。通常，它们采用将小批量与优化器相结合的训练模式，在构建小批量时每个样本都是随机选择且概率相等的。然而，多标签数据中的固有类别不平衡可能会使模型偏向于多数标签，因为与少数标签相关的样本可能在每个小批量中被低估。同时，在训练过程中，我们观察到与少数标签相关的实例往往会引起更大的损失。现有的启发式批量选择方法，例如优先选择对目标函数贡献较高的样本，即具有较高损失的样本，已被证明可以加速收敛，同时减少单标签数据中的损失和测试误差。然而，批量选择方法尚未在多标签数据中应用和验证。在本研究中，我们介绍了一种简单而有效的自适应批量选择算法，专门针对多标签深度学习模型。它通过优先选择与少数标签相关的难样本来自适应地选择每个批次。我们方法的一种变体还考虑了信息量较大的标签相关性。在十三个基准数据集上结合五种多标签深度学习模型的全面实验表明，我们的方法比随机批量选择更快地收敛并表现更好。

本文旨在解决多标签数据中类别不平衡问题对深度神经网络模型训练的影响，提出了一种自适应批量选择算法，以优先选择与少数类标签相关的难样本。同时，本文还考虑了信息量较大的标签相关性，以提高模型性能。

本文提出了一种自适应批量选择算法，以解决多标签数据中的类别不平衡问题，该算法优先选择与少数类标签相关的难样本，并考虑信息量较大的标签相关性。

本文在13个基准数据集上使用了五种多标签深度学习模型进行了全面实验，结果表明，相较于随机批量选择，本文提出的算法可以更快地收敛并取得更好的性能。值得关注的是，本文提出的算法简单易实现，同时考虑了多标签数据中的类别不平衡问题和标签相关性。

近期的相关研究包括：1.《Deep Residual Learning for Image Recognition》；2.《Multi-Label Learning with Millions of Labels: Recommending Advertiser Bid Phrases for Web Pages》；3.《A survey on multi-label learning》等。