Proximal Oracles for Optimization and Sampling

我们考虑具有非光滑目标函数和对数凹采样的非光滑势能（负对数密度）的凸优化。特别地，我们研究了两种特定的情况，其中凸目标/势能函数要么是半光滑的，要么是由半光滑分量的有限和组成的复合形式。为了克服非光滑性带来的挑战，我们的算法在优化和采样中采用了两个强大的近端框架：优化中的近端点框架和采样中使用基于Gibbs采样的交替采样框架（ASF）来扩展分布。优化和采样算法的一个关键组成部分是通过正则化的切平面方法实现近端映射的高效实现。我们在半光滑和复合设置中建立了近端映射的迭代复杂度。我们进一步提出了一种自适应近端捆绑方法用于非光滑优化。该方法是通用的，因为它不需要任何问题参数作为输入。此外，我们开发了一个类似于优化中的近端映射的近端采样预测器，并使用一种新颖的技术（修改的高斯积分）建立了它的复杂性。最后，我们将这个近端采样预测器和ASF结合起来，得到了一个在半光滑和复合设置中具有非渐进复杂度界限的马尔可夫链蒙特卡罗方法。

本论文旨在解决具有非光滑目标函数和log-concave采样的凸优化问题，其中采用非光滑潜在函数（负对数密度）。

通过使用优化中的近端点框架和采样中的交替采样框架（ASF），以及通过正则化割平面方法实现近端映射，提出了一种有效的方法来克服非光滑性。

论文提出了自适应近端束方法来解决非光滑优化问题，提出了类似于优化中近端映射的近端采样预言机，并使用ASF结合该预言机，提出了一种具有非渐进复杂度界限的马尔可夫链蒙特卡罗方法。

在该领域的相关研究包括：Convex Optimization with Non-Smooth Constraints, Proximal Algorithms, and Applications in Machine Learning等。