A Primal-Dual-Assisted Penalty Approach to Bilevel Optimization with Coupled Constraints

近年来，由于其在解决具有挑战性的机器学习问题方面的应用，人们对双层优化的兴趣日益增长。一些令人兴奋的最近的工作集中在开发能够解决具有可证明保证的双层优化问题的高效基于梯度的算法上。然而，现有文献主要集中在没有约束条件或仅具有简单约束条件的双层问题上，这些约束条件不会将上下层的变量耦合在一起，排除了一系列复杂的应用。我们的论文研究了这种具有挑战性但不太被探索的情况，并开发了一种（完全）一阶算法，称为BLOCC，以解决具有耦合约束的双层优化问题。我们为所提出的算法建立了严格的收敛理论，并在两个众所周知的实际应用中展示了其有效性——支持向量机（SVM）中的超参数选择和使用Seville市的真实数据进行的交通网络基础设施规划。

本论文旨在解决具有耦合约束的双层优化问题，这是一个挑战性但鲜有研究的问题，而现有文献主要集中在没有约束或仅包含不跨越上下层变量的简单约束的双层问题上。

本文提出了一种全一阶算法BLOCC来解决具有耦合约束的双层优化问题，并建立了严格的收敛性理论。

本文的亮点在于提出了一种新的算法来解决具有耦合约束的双层优化问题，并在支持向量机超参数选择和交通网络基础设施规划等实际应用中展示了其有效性。实验使用了Seville城市的真实数据。

近年来，针对双层优化问题的研究逐渐增多，尤其是开发高效的基于梯度的算法来解决具有可证明保证的双层优化问题。然而，现有文献主要集中在没有约束或仅包含不跨越上下层变量的简单约束的双层问题上，较少研究具有耦合约束的双层优化问题。