Deep Learning System Boundary Testing through Latent Space Style Mixing

评估深度学习系统的行为边界对于理解它们的泛化能力和鲁棒性至关重要。然而，由于高维输入空间，边界测试具有挑战性。生成人工智能通过对紧凑的潜在空间表示中的数据分布建模，提供了一种有前途的解决方案，从而促进了更精细的探索。在这项工作中，我们介绍了MIMICRY，一种新的黑盒系统不可知测试生成器，利用这些潜在表示来为测试中的深度学习系统生成边界输入。具体而言，MIMICRY使用基于样式的生成对抗网络来学习具有分离特征的输入表示。这种表示使得在源输入和目标输入之间嵌入样式混合操作成为可能，从而结合它们的特征来探索它们之间的边界。我们评估了不同MIMICRY配置在为四个流行的深度学习图像分类系统生成边界输入方面的有效性。我们的结果表明，操纵潜在空间可以有效和高效地探索行为边界。与基于模型的基线相比，MIMICRY生成了更高质量的行为边界，其中包括更多和更接近的输入。此外，我们评估了这些输入的有效性，根据人类评估者的评估，发现其有效性高。

如何评估深度学习系统的泛化能力和鲁棒性，尤其是在边界测试方面的挑战？

利用生成对抗网络中的潜在空间来生成边界测试数据，从而更好地探索深度学习系统的行为边界。

论文提出了一种名为MIMICRY的黑盒系统无关测试数据生成器，利用经过训练的基于风格的生成对抗网络来学习输入的表示，以生成边界测试数据。该方法相较于基于模型的基线方法，生成的测试数据更贴近行为边界，有效性也经过了人类评估的验证。

相关工作包括利用生成对抗网络生成测试数据的研究，以及探索深度学习系统边界的方法研究。