表示学习已经发展成一种多功能工具，能够在提供足够数据的情况下解决各种问题。本论文聚焦于两个主要方向：(1) 利用深度学习的力量应用于基础物理学；(2) 使用物理启发的工具来改进并为那些大规模、难以捉摸的黑箱算法提供一些启示。我们探索了一系列应用，这些应用改进了核物理和粒子物理研究的不同方面，涵盖从在线数据选择到离线数据分析的各个阶段。我们还探讨了深度学习如何通过机制可解释性的视角开启全新的研究方向，以(重新)推导基础理论以及重新诠释物理测量的全新方法。最后，我们研究了物理工具如何有助于更好地理解深度学习的动态，并为扩展机器学习前沿的算法和训练范式提供坚实的基础。

论文题目：Exploring the Intersection of Physics Modeling and Representation Learning

作者：Kitouni, Ouail

类型：2022年博士论文

学校：Massachusetts Institute of Technology（美国麻省理工学院）

下载链接：

链接: https://pan.baidu.com/s/1Dams_5o-Ju7E-wTH5lCASw?pwd=pmez

硕博论文汇总：

链接: https://pan.baidu.com/s/1Gv3R58pgUfHPu4PYFhCSJw?pwd=svp5


什么是表征学习？表征学习是指我们可以训练、拟合或以其他方式优化模型，以从某些数据中提取有用的特征来解决任意问题。这种特征提取本质上是训练范式的副产品，也是一个令人高兴的小巧合，通过它我们能够训练出具有泛化能力的模型。表征学习是引领人工智能所有最新进展的主要思想，就本文而言，它将被广泛地指代使用在大规模数据上训练的现代神经网络从数据中提取结构以实现特定目标的过程。
神经网络享有所谓的通用近似定理，即它们可以很好地拟合任何数据。尽管神经网络能够拟合任何数据（我不太确定这是否归功于它），但它们往往以遵循奥卡姆剃刀原理的方式进行拟合：它们找到的解决方案可以推广到未知数据。
这与物理学有什么关系？实际上，关系很大。神经网络是复杂的系统，因此，对于物理学家来说，它们是令人着迷的测试对象，他们不得不解决他们能接触到的每一个难题。同时，神经网络非常强大，至少可以使宇宙的研究变得稍微简单一些。在这篇论文中，我将重点介绍表示学习可以使物理学家的工作更轻松的三种方式：
1. 算法进步以改进专业研究。
2. 探索物理数据的新方法。
3. 自动理解。

随着模型大小、数据集大小和用于训练的计算量的增加，语言建模性能会平稳提升。为了获得最佳性能，必须同时扩大这三个因素。当不受其他两个因素的瓶颈影响时，经验性能与每个单独因素具有幂律关系。

使用 NEEMo 拟合三个合成簇（绿色）和三个圆圈（红色）（参见第 4.3 节）。热图是 Kantorovic 势，参数化为 Lipschitz 有界网络，它在圆圈上产生力（如箭头所示），使它们与目标分布完美对齐（仅显示拟合演变中的几个步骤）。

训练程序将参数化形状 Pθ 拟合到分布 Q。NEEMo 将标准 SHAPER 程序中的 ϵ-Sinkhorn 估计替换为 Lipschitz 网络，该网络评估 Kantorovic 势以获得 EMD。

将螺旋线拟合到 PC 投影嵌入中。

（左）在“法国”之前使用“巴黎”的句子训练模型时产生的逆转诅咒。（右）从左到右的目标不会学习如何从后面的标记预测前面的标记，即使信息内容相同。该模型过度拟合标记联合分布的特定分解，无法回答需要推理不同分解的问题。

微信群

内容中包含的图片若涉及版权问题，请及时与我们联系删除