Flexible Heteroscedastic Count Regression with Deep Double Poisson Networks

能够生成准确的、与输入条件相关的不确定性表示的神经网络对于实际应用至关重要。最近在异方差连续回归方面取得的进展显示出在复杂任务（如图像回归）上进行校准的不确定性量化具有巨大的潜力。然而，当这些方法应用于离散回归任务时，如人群计数、评级预测或库存估计，它们往往会产生具有许多病态的预测分布。我们提出通过训练神经网络输出双泊松分布的参数来解决这些问题，我们称之为深度双泊松网络（DDPN）。与现有的训练最小化高斯负对数似然的方法不同，DDPN可以产生离散输出的适当概率质量函数。此外，DDPN自然地模拟了欠、过、等离散度，而不像使用更严格的泊松和负二项式参数化训练的网络。我们展示了DDPN 1）大大优于现有的离散模型；2）达到或超过使用高斯负对数似然训练的网络的准确性和灵活性；3）产生适当的预测分布；4）表现出更好的超出分布检测。DDPN可以轻松应用于各种计数回归数据集，包括表格、图像、点云和文本数据。

该论文旨在解决离散回归任务中现有方法产生的预测分布异常问题，提出了一种基于双泊松分布的深度神经网络模型。

该论文的关键思路是训练神经网络输出双泊松分布的参数，以产生离散输出的正确概率质量函数，相比于现有的高斯负对数似然方法，该方法能够更自然地建模离散输出的欠、过、等离散度。

该论文通过实验表明，提出的深度双泊松网络模型在各类离散回归数据集上的表现均优于现有方法，能够产生正确的预测分布，且具有优秀的越界检测性能。该方法的应用范围广泛，包括表格、图像、点云和文本数据。论文提供了开源代码。

最近相关研究包括基于高斯过程的回归方法和基于深度学习的离散回归方法，如Poisson回归和负二项式回归。