Beyond Inference: Performance Analysis of DNN Server Overheads for Computer Vision

深度神经网络（DNN）推理已成为许多数据中心工作负载的重要组成部分。这促使人们专注于设计越来越快的深度学习加速器，例如GPU和TPU。然而，端到端的基于DNN的视觉应用程序不仅包括DNN推理，还包括输入解压缩、调整大小、采样、归一化和数据传输等。在本文中，我们对一个吞吐量优化的服务系统上执行的计算机视觉推理请求进行了彻底评估。我们量化了服务器开销（例如数据移动、预处理和消息代理）对性能的影响，这些服务器开销存在于两个以不同速率产生输出的DNN之间。我们的实证分析涵盖了许多计算机视觉任务，包括图像分类、分割、检测、深度估计以及具有多个DNN的更复杂的处理流水线。我们的结果一致表明，尽管这些功能在深度学习系统设计中通常被忽视，但端到端应用程序性能很容易被数据处理和数据移动功能（在中等大小的图像中占到端到端延迟的56%，在大型图像中影响系统吞吐量的约80%）所主导。我们的工作确定了不同应用场景中的重要性能瓶颈，相比之前的工作，实现了2.25倍的更好吞吐量，并为更全面的深度学习系统设计铺平了道路。

论文旨在评估计算机视觉推理请求在吞吐量优化的服务系统上的性能影响，特别是数据处理和数据移动功能的影响。这些功能通常在深度学习系统设计中被忽略，但实际上可能会占据整个应用程序性能的大部分。

论文通过对多个计算机视觉任务进行实证分析，发现数据处理和数据移动功能对于整个应用程序性能的影响非常大，可能占据整个应用程序性能的大部分。此外，论文提出了一种新的深度学习系统设计方法，可以显著提高吞吐量。

论文的实验设计涵盖了多个计算机视觉任务，包括图像分类、分割、检测和深度估计，以及多个DNN处理管道。实验结果表明，数据处理和数据移动功能可能占据整个应用程序性能的大部分。论文提出了一种新的深度学习系统设计方法，可以显著提高吞吐量。此外，论文还提供了开源代码和数据集。

与该领域相关的其他研究包括《Deep Learning for Computer Vision: A Brief Review》、《A Survey on Deep Learning in Medical Image Analysis》、《Efficient Processing of Deep Neural Networks: A Tutorial and Survey》等。