Regularized DeepIV with Model Selection

本文研究了工具变量回归（IV）的非参数估计。虽然机器学习的最新进展引入了灵活的IV估计方法，但它们经常遇到以下一个或多个限制：（1）将IV回归限制为唯一识别；（2）需要高度不稳定的极小化计算神谕；（3）缺乏模型选择过程。本文提出了第一种方法和分析，可以避免所有三个限制，同时仍然实现一般函数逼近。具体而言，我们提出了一种称为正则化DeepIV（RDIV）回归的极小化神谕自由方法，可以收敛到最小范IV解。我们的方法由两个阶段组成：首先，我们学习协变量的条件分布，并利用所学习的分布，通过最小化Tikhonov正则化损失函数来学习估计器。我们进一步表明，我们的方法允许模型选择过程，可以在错误指定的范围内实现神谕速率。当扩展到迭代估计器时，我们的方法匹配当前最先进的收敛速率。我们的方法是流行的DeepIV方法的Tikhonov正则化变体，具有非参数MLE一阶估计器，我们的结果为这种经验使用的方法提供了第一个严格的保证，展示了缺失原始工作中缺乏的正则化的重要性。

本文研究非参数工具变量（IV）回归的估计问题。在机器学习的最新进展中，虽然引入了灵活的IV估计方法，但它们经常遇到以下一个或多个限制：(1)将IV回归限制为唯一标识；(2)需要极小化计算的预言机，这在实践中非常不稳定；(3)缺乏模型选择过程。本文提出了一种新的方法，称为正则化DeepIV（RDIV）回归，它可以避免所有三个限制，同时仍能实现一般函数逼近。

本文提出了一种正则化的DeepIV方法，通过学习协变量的条件分布，然后利用所学习的分布来最小化Tikhonov正则化损失函数，从而实现非参数工具变量回归的估计。

本文提出的方法可以实现模型选择过程，并在错误指定的情况下实现预言机速率。本文的方法是DeepIV方法的Tikhonov正则化变体，具有非参数MLE第一阶段估计器，是目前已知的第一种可以收敛到最小范数IV解的方法，可以匹配当前最先进的收敛速率。

最近在这个领域中，还有一些相关的研究，如："DeepIV: A Flexible Approach for Counterfactual Prediction"。