Quanta Magazine对计算机科学领域的年终盘点，感觉只能代表其编辑团队的一种视角。

其中与AI关系比较紧密的是：

  • Transformer架构在AI各领域的广泛影响和进展。
  • Facebook等在AutoML领域的成果GHN-2。（实际上是2021年底发表的。）
  • 具身AI。
  • AlphaTensor帮助发现矩阵相乘最快方法。
  • 佐治亚理工Li Chen（陈力）等发现最大流问题近线性时间新算法。

Top1：量子纠缠的答案

量子纠缠是一种将遥远的粒子紧密联系起来的特性，可以肯定的是，一个完全纠缠的系统是无法被完全描述的。

不过物理学家认为，那些接近完全纠缠的系统会更容易描述。但计算机科学家则认为，这些系统同样不可能被计算出来，而这就是量子PCP（概率可检测证明，Probabilistically Checkable Proof）猜想。

为了帮助证明量子PCP理论，科学家们提出了一个更简单的假设，被称为「非低能平凡态」（NLTS）猜想。

今年6月，来自哈佛大学、伦敦大学学院和加州大学伯克利分校对三位计算机科学家，在一篇论文中首次实现了NLTS猜想的证明。

论文地址：https://arxiv.org/abs/2206.13228

 

Top2：改变AI的理解方式

在过去的五年里，Transformer彻底改变了AI处理信息的方式。

在2017年，Transformer首次出现在一篇论文中。

人们开发Transformer，是为了理解和生成语言。它可以实时处理输入数据中的每一个元素，让它们具有「大局观」。

与其他采取零散方法的语言网络相比，这种「大局观」让Transformer的速度和准确性大大提高。

这也使得它具有不可思议的通用性，其他的AI的研究人员，也把Transformer应用于自己的领域。

他们已经发现，应用同样的原理，可以用来升级图像分类和同时处理多种数据的工具。

论文地址：https://arxiv.org/abs/2010.11929

Transformers迅速成为专注于分析和预测文本的单词识别等应用程序的领跑者。它引发了一波工具浪潮，例如 OpenAI的GPT-3，它训练数千亿个单词并生成一致的新文本，达到令人不安的程度。

不过，跟非Transformer模型相比，这些好处是以Transformer更多的训练量为代价的。

 

Top3：破解后量子加密算法

量子计算的出现，让很多原本需要消耗超大计算量的问题都得到了解决，而经典加密算法的安全性也因此受到了威胁。于是，学界便提出了后量子密码的概念，来抵抗量子计算机的破解。

作为备受期待的加密算法，SIKE（Supersingular Isogeny Key Encapsulation）是一种利用椭圆曲线作为定理的加密算法。

然而就在今年7月，两位来自比利时鲁汶大学的研究人员发现，这个算法可以在短短1个小时内，用一台10年「高龄」的台式计算机被成功破解。

值得注意的是，研究人员从纯数学的角度来解决这个问题，攻击算法设计的核心，而不是任何潜在的代码漏洞。

论文地址：https://eprint.iacr.org/2022/975

对此，研究人员表示，只有当你能证明「单向函数」的存在时，才有可能创建一个可证明的安全代码，也就是一个永远不可能失败的代码。

虽然现在仍然不知道它们是否存在，但研究人员认为，这个问题等同于另一个叫做Kolmogorov复杂性的问题。只有当某一版本的Kolmogorov复杂性难以计算时，单向函数和真正的密码学才有可能。

 

Top4：用AI训练AI

近年来，人工神经网络的模式识别技能，为人工智能领域注入了活力。

但在一个网络开始工作之前，研究人员必须首先训练它。

这个训练过程可能会持续数月，需要大量数据，在这个过程中，需要对潜在的数十亿个参数进行微调。

现在，研究人员有了一个新的想法——让机器替他们来做这件事。

这种新型「超网络」叫做GHN-2，它能够处理和吐出其他网络。

论文地址：https://arxiv.org/abs/2110.13100

它的速度很快，能够分析任何指定的网络，并迅速提供一组参数值，这些参数值和以传统方式训练的网络中的参数，一样有效。

尽管GHN-2提供的参数可能不是最佳的，但它仍然提供了一个更理想的起点，减少了全面训练所需的时间和数据。

通过在给定的图像数据集和我们的DEEPNETS-1M架构数据集上预测的参数进行反向传播训练

今年夏天，Quanta杂志还研究了另一种帮助机器学习的新方法——具身人工智能。

 

Top5：算法的改进

提高基础计算算法的效率一直都是学界热点，因为它会影响大量计算的整体速度，从而对智能计算领域产生多米诺骨牌式的效应。

今年10月，DeepMind团队在发表于Nature上的论文中，提出了第一个用于为矩阵乘法等基本计算任务发现新颖、高效、正确算法的AI系统——AlphaTensor。

它的出现，为一个50年来的悬而未决的数学问题找到了新答案：找到两个矩阵相乘的最快方法。

矩阵乘法，作为矩阵变换的基础运算之一，是是许多计算任务的核心组成部分。其中涵盖了计算机图形、数字通信、神经网络训练和科学计算等等，而AlphaTensor发现的算法可以使这些领域的计算效率大大提升。

论文地址：https://www.nature.com/articles/s41586-022-05172-4

今年3月，由六位计算机科学家组成的团队提出了一种「快得离谱」的算法，让计算机最古老的「最大流问题」获得了突破性的进展。

新算法可在「几乎线性」的时间内解决这个问题，也就是说，其运行时间基本与记录网络细节所需的时间正比。

论文地址：https://arxiv.org/abs/2203.00671v2

 

Top6：分享信息的新途径

普林斯顿大学的理论计算机科学家Mark Braverman，花了一生中超过四分之一的时间，来研究交互式通信的新理论。

他的工作使研究人员能够对「信息」和「知识」等术语进行量化，这不仅使人们在理论上对互动有了更多的了解，而且还创造了新的技术，使交流更加高效和准确。

Braverman最喜欢在办公室的沙发上思考量化的难题

由于他的这一成就，以及其他成果，国际数学联盟今年7月授予Braverman IMU Abacus奖章，这是理论计算机科学领域的最高荣誉之一。

IMU的颁奖词指出，Braverman对信息复杂性的贡献，使人们更深入地了解了当两方相互沟通时，信息成本的不同衡量标准。

他的工作为不易受传输错误影响的新编码策略，以及在传输和操作过程中压缩数据的新方法，铺平了道路。

信息复杂性问题，来自于Claude Shannon的开拓性工作——在1948年，他为一个人通过通道向另一个人发送消息，制定了数学框架。

而Braverman最大的贡献在于，建立了一个广泛的框架，该框架阐明了描述交互式通信边界的通用规则——这些规则提出了在通过算法在线发送数据时，压缩和保护数据的新策略。

论文地址：https://arxiv.org/abs/1106.3595

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除