尽管绝大多数深度网络都是基于一个核心的概念---神经“层”的叠加，研究人员提出一种只有一层、但是却可以代表无限层叠加的隐性深度模型（implicit-depth model)：深度平衡模型（DEQ）。基于这一设计，我们进一步提出了多尺度的深度平衡模型（multiscale DEQ，或MDEQ），并讨论MDEQ是如何同步驱动多个特征流来达到并行的特征平衡点（synchronized feature equilibria）。

与先前的隐式模型（例如DEQ和Neural ODEs）不同，MDEQ通过以不同分辨率对多个特征表示进行同步平衡来求解和反向传播。本文证明了单个MDEQ可以用于不同的任务，例如图像分类和语义分割。本文的实验首次证明“浅层”隐式模型适用于实际的计算机视觉任务，并获得与显式架构相匹配的竞争性能，这些显式架构的特征是通过深度堆叠的层进行顺序处理。

隐式模型在这项工作中的出色表现提出了机器学习中的核心问题。迄今为止在深度学习中占主导地位的复杂的阶段式分层架构是否必要？MDEQ举例说明了一种不同的建模方法。这种方法在实践中可能比以前出现的方法更具实用性。这将有助于隐式深度学习的发展，并将进一步扩大可微分建模的议程。

白绍杰：本科毕业于美国卡内基梅隆大学（CMU）计算机系和应用数学系（双学士），目前是CMU机器学习系四年级博士生，导师为J.Zico Kolter教授。研究方向主要集中在深度时间序列模型，以及融合数学优化模型和深度学习结构，并从而构建稳定、低内存、易于分析的隐性深度学习（implicit deep learning）方法。

感兴趣的可以戳链接。

内容中包含的图片若涉及版权问题，请及时与我们联系删除