Towards evolution of Deep Neural Networks through contrastive Self-Supervised learning

深度神经网络（DNNs）已成功应用于广泛的问题。然而，人们通常指出两个主要限制。第一个是它们需要长时间设计。另一个是它们严重依赖标记数据，有时这可能是昂贵和难以获取的。为了解决第一个问题，神经进化已被证明是自动设计DNNs的可行选择。至于第二个问题，自监督学习已被用来利用未标记的数据来学习表示。我们的目标是研究神经进化如何帮助自监督学习在性能方面弥合到监督学习的差距。在这项工作中，我们提出了一个框架，能够使用自监督学习来演化深度神经网络。我们在CIFAR-10数据集上的结果表明，可以演化出足够的神经网络，同时减少对标记数据的依赖。此外，对演化网络结构的分析表明，与依赖于监督学习的个体相比，通过自监督学习学习的网络的结构受到输入标记数据数量的影响较小。

结合神经进化和自监督学习，探索如何在减少标记数据依赖的同时，提高深度神经网络的性能

使用神经进化算法自动设计使用自监督学习的深度神经网络，以减少对标记数据的依赖，并探索其结构特点

论文提出了一种结合神经进化和自监督学习的框架，实现了使用自监督学习训练的深度神经网络的自动设计；在CIFAR-10数据集上进行了实验，结果表明该框架能够在减少标记数据的情况下，获得与使用标记数据训练的网络相当的性能；通过对网络结构的分析，发现使用自监督学习训练的网络对标记数据的依赖更小

近期相关研究包括：1.《Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles》；2.《Deep Learning without Poor Local Minima》；3.《Population Based Training of Neural Networks》