AI+光学论文 | Nature Photonics 2026 | 利用相干光进行直接张量处理

张量处理是许多现代技术进步的基石，为数据分析和人工智能等关键应用提供动力。虽然光计算在带宽、并行性和能效方面具有显著优势，但现有针对标量运算优化的方法难以高效处理基于张量的任务，限制了它们在神经网络等复杂应用中的适用性。本文提出了一种并行光矩阵乘法（POMMM）方法，该方法通过单次相干光传播即可实现完全并行的张量处理。该方法克服了现有光方法的关键局限性，能够随数据维度扩展性能，同时提升理论计算能力和效率。我们证明了该方法在实值域和复值域中均与基于GPU的矩阵乘法高度一致。此外，我们还展示了其在卷积神经网络和视觉变换神经网络等张量处理应用中的适应性、可扩展性和通用性。最后，我们分析了POMMM与现有光计算范式的理论兼容性和效率，强调了其超越当前最先进方法的潜力。 POMMM 通过支持各种计算任务和多波长及大规模扩展，为推进下一代光计算提供了可扩展、高效率的基础。

论文：Direct tensor processing with coherent light

单位：上海交大、芬兰阿尔托大学、中科院长春光机所

发布日期：2026年

请索引第122篇论文

POMMM如何把"张量处理"压缩进一次光的传播

如果说GPU是AI时代的"算力发动机"，那么这篇发表在《Nature Photonics》的论文，相当于给光计算装上了一台"矩阵乘法变速箱"——单次相干光传播，完成完整的矩阵-矩阵乘法。这不仅是光计算的一次范式跃迁，更是对"AI+光学"交叉研究路径的一次深刻启示。

人工智能的每一次向前奔跑，背后都是天文数字的矩阵乘法在燃烧算力。GPU张量核心固然强悍，但内存带宽、功耗墙、串行瓶颈就像三座大山，让"算力焦虑"成为AI研究者的日常。而光，这位天生具备大带宽、高并行、低能耗的"贵族"，几十年来一直被寄予厚望——可它有个尴尬的软肋：传统的光计算方法大多只会做标量或向量运算，遇到真正的矩阵-矩阵乘法（MMM），往往需要多次光传播，并行性大打折扣。

这就好比修了一条八车道高速公路，却只允许车辆排成一列通行。

2025年11月14日，上海交通大学郭旭涵、苏翼凯教授课题组，王开志研究员课题组，联手芬兰阿尔托大学孙志培教授课题组，在《Nature Photonics》发表题为《Direct tensor processing with coherent light》的论文，提出了一种全新的光计算范式——并行光学矩阵-矩阵乘法（Parallel Optical Matrix-Matrix Multiplication, POMMM）。它用一次相干光传播，就完成了过去需要多次传播才能实现的矩阵-矩阵乘法，并在CNN、ViT等现代神经网络中实现了与GPU高度一致的推理性能。

!https://imgagent.woa.com/cdn/ybimages/8000/8000_13899052906577900819/07dadf3c2af59d43bd622dec90c17297.png?imageMorg2/thumbnail/800x500

01 为什么"光做矩阵乘法"这么难？

要理解POMMM的精妙，得先回到矩阵乘法的数学本质。

两个矩阵A和B相乘，传统做法是两步走：第一步，A的每一行与B的每一列做逐元素相乘（Hadamard积）；第二步，把这些乘积加起来，填到输出矩阵的对应位置。光学实现Hadamard积并不难——用空间光调制器（SLM）调制光的振幅即可；光学傅里叶变换也不难——让光穿过一个透镜就能近似实现求和积分。

真正的难点在于：如何让A的所有行与B的所有列的所有点积并行计算，并且让结果互不干扰地映射到输出矩阵的对应位置上？

现有的光计算方案是怎么破这个局的？有的靠空间复用，有的靠波长-时间复用，有的靠波长-空间复用，有的甚至靠预计算逆运算。但这些方法要么受限于器件和系统设计，要么——用论文作者委婉而犀利的话说——"在计算逻辑层面违背了光并行加速的基本原理"。衍射计算虽然并行度高，但又依赖衍射原理构建计算架构，难以胜任通用计算。

核心矛盾：高并行度与通用性，在现有光计算范式中难以兼得。

这正是POMMM想要解决的"卡脖子"问题。

02 POMMM的核心魔法：给每一行光"贴上相位标签"

POMMM的聪明之处，在于它巧妙地利用了一个被许多光计算研究者忽视的物理资源——傅里叶变换的时移特性和频移特性。

让我用大白话翻译一下这两个特性：

• 时移特性：信号在时空域平移，其频谱的振幅分布不变

• 频移特性：信号在时空域乘以一个线性相位，其频谱会发生相应的频率偏移

研究团队正是利用这两个特性，构建出了POMMM的核心概念（见图1a）。

第一步：编码与"贴标签"。将矩阵A的元素编码到空间光场的振幅和位置上，关键是——给每一行施加一个独特梯度的线性相位调制。这就像给每一行光发了一张"身份证"。

第二步：列方向傅里叶变换。通过柱面透镜组对列方向做傅里叶变换，此时由于时移特性，光场中的每一行都代表了矩阵A所有行的叠加——形成了一个"混合矩阵"。

第三步：Hadamard积并行化。用第二个振幅空间光调制器（ASLM2）加载矩阵B的转置，与这个"混合矩阵"进行逐元素相乘。这一步，等效于同时计算所有行与列的逐元素乘积。

第四步：行方向傅里叶变换 + 自动分址。再次利用傅里叶变换，由于频移特性和之前不同行上不同的线性相位调制，来自矩阵A不同行的贡献自然而然地分离到空间频率域的不同位置，互不干扰，一一对应到输出矩阵的元素位置上。

!https://imgagent.woa.com/cdn/ybimages/8000/8000_13899052906577900819/7e181388bb4c95eb73cbd04839fc560.png?imageMorg2/thumbnail/800x500

整个过程中，光只传播了一次，却完成了完整的矩阵-矩阵乘法。这就是POMMM最迷人的地方——它没有依赖额外的时分、空分、波长复用或预处理，纯粹靠"相位-位置-空间频率"的对偶关系，硬生生在光传播中"挤"出了一个额外的计算维度。

实验团队用商用现货元件搭建了原型：532nm固态连续波激光器作为光源，两个振幅SLM（ASLM1、ASLM2）、一个相位SLM（PSLM）、三组柱面透镜、一台qCMOS相机。测试结果令人振奋——在[10,10]到[50,50]多种矩阵规模下，与GPU的矩阵乘法相比，平均绝对误差（MAE）小于0.15，归一化均方根误差（NRMSE）小于0.1。图2a直观展示了[20,20]非负矩阵和[10,10]实数矩阵的POMMM实验结果与GPU结果高度一致；图2b对比了仿真光场与相机实际捕获的原始光场，形态完美吻合。

03 真正的杀手锏：让GPU训练的神经网络"原封不动"跑到光上

如果POMMM只是算准了矩阵乘法，那它至多是一个漂亮的光学demo。但这篇论文最让AI研究者兴奋的，是它展示了POMMM可以直接部署GPU训练的神经网络权重，无需为光传播约束重新设计网络架构。

研究团队在POMMM仿真和原型上，对CNN和ViT两类代表性网络进行了直接推理实验，任务涵盖MNIST和Fashion-MNIST数据集。这些网络架构包含了现代神经网络中最具代表性的三类张量处理操作：

• 多通道卷积（CNN的核心）

• 多头自注意力机制（ViT的灵魂）

• 多样本全连接层

实验结果（图3b）显示：无论是在GPU、POMMM仿真还是POMMM原型上，推理输出都高度一致。更进一步，研究团队用两个级联的POMMM单元模拟执行了所有线性运算，并测试了无约束GPU训练权重的直接部署（图3c），同样取得了与GPU高度一致的推理精度。

这意味着什么？意味着未来我们可能在GPU上训练好的模型，理论上可以直接"映射"到光计算平台上运行，而无需重新训练或定制架构。这对AI+光学交叉领域来说，是一记重锤——它打通了"GPU训练"与"光上推理"之间的最后一公里。

还有一个有趣的发现：当非线性激活函数被禁用时（例如在非负约束下ReLU失效，CNN退化为线性分类器），在一定误差水平下用POMMM训练的模型反而略优于GPU线性分类器。作者推测，这暗示在特定线性约束下，POMMM可能通过训练增强模型的表达能力。这个观察虽然初步，却为"光计算与深度学习协同设计"提供了新的想象空间。

需要客观指出的是：当前原型机是用商用现货元件搭建的自由空间光系统，实测能效仅为2.62 GOP/J。这个数字听起来不高，但论文作者强调，POMMM除数据输入输出外仅需被动相位调制，原则上兼容各类自由空间光计算器件。一旦与高速、大规模专用光子硬件集成，其理论有效性能将实现戏剧性跃升。

04 多波长扩展：从O(N³)到O(N⁴)的并行度飞跃

如果单波长POMMM已经让人眼前一亮，那么多波长扩展则是这篇论文的"王炸"。

由于光场的空间频率分布与波长相关，不同波长的光经过相同的线性相位调制后，会在空间频域映射到不同位置。基于此，当包含L个波长的光场经历N种不同的线性相位调制时，其傅里叶变换会分布在L×N个空间位置上——这类似于一台同时装备了不同密度光栅的光谱仪。

利用这一特性，研究团队将复数矩阵的实部和虚部分别编码到540nm和550nm两个波长的光束上，通过两轮双波长POMMM，与另一复数矩阵（图案'T'和'U'）完成了完整的复数矩阵乘法，结果与GPU计算高度一致。这个过程等效于一个[2,5,5]张量与两个[5,5]矩阵之间的实数乘法——也就是实现了[ L , N , M ]张量与[ M , N ]矩阵的并行光学处理（四阶并行）。

在理论性能对比中（图4c），POMMM展现出了碾压式的优势：

• 单波长下，计算并行度高达~O(N³)

• 多波长扩展后，并行度进一步跃升至~O(N⁴)

而传统通用光计算范式通常只有O(N²)的并行度。这是数量级的差距，不是百分比的提升。

05 对AI+交叉学科研究的深层启示

作为一名在AI与光学交叉领域摸爬滚打多年的研究者，我认为这篇论文的价值远不止于"做了一次漂亮的矩阵乘法"。它给交叉学科研究带来了三个层面的启发：

第一，物理先验与计算架构的协同设计，是光计算突破的关键路径。

过去的光计算研究，往往要么把光当作"被动载体"（单纯追求用光实现已有的数字计算逻辑），要么把光当作"黑箱"（用端到端训练让光自己"学"出计算功能）。POMMM走的是第三条路——深度挖掘光自身的物理特性（傅里叶变换的时移/频移特性、波色子特性），将其转化为计算资源。这种"物理启发计算"的思路，对于量子计算、声学计算、分子计算等所有"基于物理载体做计算"的交叉领域，都具有方法论意义。

第二，"单次传播完成完整计算"是光计算范式的黄金标准。

POMMM之所以强大，根本原因在于它把矩阵-矩阵乘法压缩进了"单次光传播"。这提示我们：在评估任何光计算方案时，不应只看峰值算力，而要看"完成一个完整计算任务需要多少次光传播"。那些需要多次传播、多次调制、多次读出的方案，本质上还是在用光的"并行"伪装数字的"串行"。

第三，AI与光计算的结合，需要从"算法适配硬件"走向"硬件赋能算法"。

POMMM展示了直接部署GPU训练权重的可能性，这打破了"光学神经网络必须重新设计网络架构"的潜规则。但它同时也揭示了一个新方向：既然光计算有其独特的误差特性和计算特征，那么未来的AI算法设计，是否可以主动利用这些特性？ 论文中提到的"在POMMM误差下训练的模型反而优于GPU线性分类器"就是一个值得深挖的线索。

06 POMMM面临的挑战与未来

作为学者，我们在为这一突破欢呼的同时，也要清醒地看到POMMM面临的现实挑战：

挑战一：系统集成与能效。 当前基于自由空间分立元件的原型机能效仅为2.62 GOP/J，必须转向片上集成，才能实现真正的高能效。好消息是，POMMM除数据输入输出外仅需被动相位调制，原则上兼容各类自由空间光计算器件——这为集成化提供了物理基础。

挑战二：非线性激活的缺失。 当前的POMMM主要处理线性运算，非线性激活仍需要在数字域完成。如何实现全光非线性，仍是光计算领域的共性难题。

挑战三：多波长复用的工程难度。 在实际系统中，多个波长复用可能存在串扰和色散问题，这会影响计算精度。如何将论文中的原理性验证推向工程化，需要光学、材料、微电子多领域的协同攻关。

挑战四：规模扩展的物理限制。 虽然理论并行度高达O(N⁴)，但随着矩阵规模增大，对SLM分辨率、透镜孔径、相机动态范围的要求也会急剧上升。如何在物理约束下平衡规模与精度，是下一步研究的关键。

但无论如何，POMMM已经为我们点亮了一盏灯：它证明了通用、全并行、单次传播的光学矩阵-矩阵乘法是可行的。这不仅是光计算的里程碑，更是AI硬件发展史上的一个重要坐标。

07 光计算的"GPT时刻"还有多远？

回到一个更宏大的问题：光计算能否成为AI的下一代算力底座？

POMMM给出的答案是谨慎乐观的。它用最优雅的物理原理，解决了光计算领域长期存在的"并行度-通用性"两难困境。但要从"原理验证"走向"产业落地"，还需要材料、器件、工艺、架构、算法的全产业链协同。

对于奋战在AI+交叉学科一线的本硕博学子们，这篇论文或许能带来这样的启示：

真正的突破性创新，往往不是堆砌更复杂的系统，而是回到物理本质，问一个最简单的问题——"光本身，到底能为我们做些什么？" POMMM的答案令人振奋：光不仅能传输信息，不仅能做傅里叶变换，更能在一个传播瞬间，完成AI最核心的计算原语。

当光开始做矩阵乘法，AI的"光速时代"，也许比我们想象的更近。

欢迎在评论区留言，分享你对光计算与AI融合的看法。图科学实验室Graph Science Lab将持续追踪AI+光学交叉领域的前沿进展。