Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering

生成模型缺乏严格的统计保证，因此在安全关键应用中不可靠。在本文中，我们提出了一种生成模型的顺序符合预测方法（SCOPE-Gen），该方法生成满足严格的统计保证（称为符合可接受性控制）的预测集。这个保证表明，高概率下，预测集包含至少一个可接受的（或有效的）示例。为此，我们的方法首先从黑盒生成模型中抽取一个独立同分布的初始示例集。然后，通过所谓的贪婪过滤器，迭代地对该集进行修剪。由于迭代生成过程的结果，最终预测集的可接受性因子分解为马尔可夫链。这个分解是至关重要的，因为它允许单独控制每个因子，使用符合预测。与之前的工作相比，我们的方法在校准期间减少了可接受性评估的数量。这种减少在安全关键应用中很重要，因为这些评估必须由领域专家手动进行，因此成本高且耗时。我们通过自然语言生成和分子图扩展任务的实验，强调了我们的方法在可接受性评估和预测集基数方面的优势。

SCOPE-Gen论文试图解决的问题是生成模型在安全关键应用中的不可靠性问题，提出了一种基于顺序一致性预测的方法，生成预测集合并保证其中至少有一个可接受的样本。

SCOPE-Gen的关键思路是通过迭代的方式对生成模型生成的初始样本集进行修剪，使得最终的预测集合的可接受性可以分解为马尔科夫链，从而可以使用一致性预测对每个因子进行控制。

论文通过实验验证了SCOPE-Gen方法在自然语言生成和分子图扩展任务中相比之前的工作可以大大减少可接受性评估的数量，并且在预测集合的基数方面也有所提高。此外，论文还提供了开源代码和数据集。

与SCOPE-Gen相关的研究包括一致性预测、生成模型和安全关键应用中的可靠性问题。