Universal Majorization-Minimization Algorithms

M Streeter
[Google]

通用Majorization-Minimization算法

  • 动机：改进现有优化方法中的Majorization-minimization(MM)算法，通过自动推导出全新的majorizer使其适用于更复杂的问题，从而提供广泛适用性的优化器。
  • 方法：使用一种新算法，结合Taylor mode自动微分的区间算术变体，自动推导majorizer，并通过SafeRate和SafeCombination两种算法将其应用于全批次优化问题。
  • 优势：提出的Universal MM算法通过自动推导majorizer，具有广泛的适用性，不需要超参数调整，在多种问题上表现优异，并展示了一种对损失进行多项式上下界估计的新方法。

提出Universal MM算法，通过自动推导majorizer并解决复杂优化问题，实现全新的损失函数多项式上下界估计，拓展了优化模板的适用范围。

https://arxiv.org/abs/2308.00190 


图片
图片
图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除