From Conformal Predictions to Confidence Regions

“Conformal prediction methodologies have significantly advanced the quantification of uncertainties in predictive models. Yet, the construction of confidence regions for model parameters presents a notable challenge, often necessitating stringent assumptions regarding data distribution or merely providing asymptotic guarantees.”——“符合预测方法学已经显著推进了预测模型中不确定性的量化。然而，模型参数的置信区间的构建仍然是一个显著的挑战，通常需要对数据分布进行严格的假设或仅提供渐近保证。” “We introduce a novel approach termed CCR, which employs a combination of conformal prediction intervals for the model outputs to establish confidence regions for model parameters. We present coverage guarantees under minimal assumptions on noise and that is valid in finite sample regime. Our approach is applicable to both split conformal predictions and black-box methodologies including full or cross-conformal approaches.”——“我们提出了一种新的方法，称为CCR，它采用符合预测输出的组合间隔来建立模型参数的置信区间。我们在噪声最小的假设下提供覆盖保证，该保证在有限样本范围内有效。我们的方法适用于分裂符合预测和黑盒方法，包括完整或交叉符合预测方法。” “In the specific case of linear models, the derived confidence region manifests as the feasible set of a Mixed-Integer Linear Program (MILP), facilitating the deduction of confidence intervals for individual parameters and enabling robust optimization. We empirically compare CCR to recent advancements in challenging settings such as with heteroskedastic and non-Gaussian noise.”——“在线性模型的特定情况下，得出的置信区间表现为混合整数线性规划（MILP）的可行集，有助于推断单个参数的置信区间并实现鲁棒优化。我们在具有异方差和非高斯噪声等挑战性设置中实证比较CCR和最近的进展。”

本论文旨在解决模型参数置信区间构建的问题，提出了一种新方法CCR，旨在通过组合模型输出的符合预测区间来建立模型参数的置信区间。同时，该方法适用于分裂型和黑盒型方法，并且在噪声最小的情况下提供覆盖保证。

CCR方法将符合预测区间应用于模型参数置信区间的构建，具有较少的假设前提，适用于有限样本，特别是在线性模型中，可以通过MILP来推导出置信区间。

本论文提出的CCR方法在实验中表现出色，特别是在噪声较大或非高斯分布的情况下。此外，在线性模型中，该方法可以推导出每个参数的置信区间，从而实现鲁棒优化。

最近的相关研究包括基于置信区间的方法和基于蒙特卡洛方法的方法，如Bayesian方法和MC Dropout方法。