Computing Low-Entropy Couplings for Large-Support Distributions

最小熵耦合（MEC）——寻找给定边缘分布的最小熵联合分布——在因果关系和隐写术等领域有应用。然而，现有算法要么在大支持度分布情况下难以计算，要么仅限于特定分布类型并对超参数选择敏感。本研究通过将一组迭代MEC（IMEC）方法统一为基于分区的通用形式，解决了这些限制。从这个框架中，我们推导出一种新的IMEC算法，称为ARIMEC，能够处理任意离散分布，并介绍一种使IMEC对次优超参数设置具有鲁棒性的方法。这些创新有助于将IMEC应用于高通量隐写术和语言模型等其他设置。我们的代码库可在https://github.com/ssokota/mec上获得。

论文旨在解决最小熵耦合（MEC）问题，即如何找到给定边际分布的最小熵联合分布。该问题在因果关系和隐写术等领域具有应用价值，但现有算法要么难以处理大规模分布，要么仅适用于特定类型的分布并对超参数选择敏感。

论文提出了一种基于分区的通用迭代MEC算法框架，将现有的迭代MEC方法统一起来，并从中推导出一种新的MEC算法ARIMEC。该算法可以处理任意离散分布，并引入了一种方法，使其对次优超参数设置具有鲁棒性。

论文的亮点包括提出了一种通用的MEC算法框架，能够处理任意离散分布，并且提出了一种使算法对次优超参数设置具有鲁棒性的方法。实验设计了高通量的隐写术实验，并使用了语言模型进行实验。代码公开在GitHub上。

最近的相关研究主要集中在基于MEC的应用领域，例如因果推断和隐写术。其中一些研究包括：《Causal Discovery from Nonstationary/Heterogeneous Data: Skeleton Estimation and Orientation Determination》、《Steganography in Language Models: GPT-2》等。