Untangling Lariats: Subgradient Following of Variationally Penalized Objectives

我们描述了一种新颖的子梯度跟踪装置，用于计算具有变分惩罚的凸问题的最优解。在这个设置中，我们接收到一个序列 $y_i,\ldots,y_n$，并寻找一个平滑序列 $x_1,\ldots,x_n$。平滑序列在一般形式为 $\sum_i g_i(x_{i+1}-x_i)$ 的加性变分惩罚的输入序列中达到最小的 Bregman 散度。我们推导出，作为我们装置的特殊情况，已知的融合拉索和保序回归算法。我们的方法还促进了新的变分惩罚，如非平滑障碍函数。接下来，我们推导并分析多元问题，其中 $\mathbf{x}_i,\mathbf{y}_i\in\mathbb{R}^d$，并且变分惩罚依赖于 $\|\mathbf{x}_{i+1}-\mathbf{x}_i\|$。我们考虑的范数是 $\ell_2$ 和 $\ell_\infty$，它们促进了群稀疏性。最后但并非最不重要的，我们推导了一种基于格的子梯度跟踪，用于特征通过任意卷积滤波器的变分惩罚。这种范例为稀疏高阶离散导数（如加速度和抖动）是理想的问题提供了高效的求解器。

该论文旨在解决凸问题的变分惩罚最优化问题，其中惩罚项是可加的，并且需要通过平滑序列来实现最小Bregman距离。此外，该论文还探讨了多元问题和基于格点的子梯度跟踪。

该论文提出了一种新的子梯度跟踪装置，用于计算带有变分惩罚的凸问题的最优解。该方法可以推广到非光滑障碍函数等新的惩罚形式，同时也包括了现有的算法，如融合拉索和保序回归。

该论文的亮点包括多元问题和基于格点的子梯度跟踪，可以有效地解决高阶离散导数的问题，例如加速度和抖动等。此外，该论文还提出了新的变分惩罚形式，如非光滑障碍函数，有望在未来的研究中得到更广泛的应用。

在这个领域的相关研究包括：'Convex optimization with sparsity-inducing norms'，'Smoothness and sparsity: convex optimization meets compressed sensing'等。