DistPred: A Distribution-Free Probabilistic Inference Method for Regression and Forecasting

传统的回归和预测任务通常只提供确定性的点估计。为了估计响应变量的不确定性或分布信息，通常使用贝叶斯推断、模型集成或MC Dropout等方法。这些方法要么假设样本的后验分布遵循高斯过程，要么需要生成数千个前向传递以进行样本生成。我们提出了一种名为DistPred的新方法，用于回归和预测任务，它克服了现有方法的局限性，同时保持简单和强大。具体而言，我们将衡量预测分布与目标分布之间差异的适当评分规则转化为可微分的离散形式，并将其用作损失函数进行端到端的模型训练。这使得模型可以在单个前向传递中采样众多样本来估计响应变量的潜在分布。我们已经在多个数据集上将我们的方法与几种现有方法进行了比较，并取得了最先进的性能。此外，我们的方法显著提高了计算效率。例如，与最先进的模型相比，DistPred的推断速度快了90倍。实验结果可以通过https://github.com/Anoise/DistPred进行复现。

DistPred论文试图提出一种新方法，解决回归和预测任务中只提供确定性点估计的问题，即如何估计响应变量的不确定性或分布信息。

DistPred的关键思路是将衡量预测分布与目标分布之间差异的适当评分规则转换为可微分的离散形式，并将其用作损失函数进行端到端的模型训练。这使得模型能够在单次前向传递中采样大量样本以估计响应变量的潜在分布。

DistPred相比现有的方法具有更高的计算效率，例如比现有的最先进模型具有90倍的推理速度。DistPred在多个数据集上进行了实验，取得了最先进的性能，并且开源了代码。

在这个领域中，最近的相关研究包括使用贝叶斯推断、模型集成或MC Dropout等方法来估计响应变量的不确定性或分布信息。