博士论文 | AI+物理 | 高效的3D和全光场成像平台 153页

光学成像作为机器的感知眼睛发挥着重要作用。与传统的二维强度成像（例如摄影）相比，探测光场内的附加维度具有挑战性。对快速、数据高效、准确的成像系统和信号处理管道的需求引起了学术界和工业界的极大兴趣。

本论文介绍了我们在提高 3D 和全光场成像系统的鲁棒性和效率方面的贡献。首先，我们讨论基于飞行时间的 3D 成像。我们推出了适用于谐振微机电 (MEMS) 光学扫描仪的新型扫描轨迹设计和控制系统，其运行帧速率 > 100Hz。这些扫描仪有助于在可控感兴趣区域内进行自适应空间采样，从而形成低功耗、大视场的 3D 传感器。我们还引入了后处理算法，利用传感器融合和时间融合从嘈杂的低分辨率原始数据中重建干净的高分辨率 3D 结构，从而提高 3D 成像在广泛应用中的质量和实用性。

其次，我们介绍了基于光子集成电路（PIC）的全光场成像方面的研究。在这里，我们提出了光学相位传感器阵列的设计和相应的后处理算法。这些组件能够在单个测量步骤中精确测量光学相位，无需外部参考或空间光调制器。通过测量相邻和远处空间位置的相对相位，我们实现了针对硬件错误和噪声的可扩展性和鲁棒性。我们还设计用于高对比度光学模式分解和滤波的 PIC。通过在设备和架构层面利用冗余元件，我们成功地提取了微弱的光信号，否则这些信号将被强度超过 10^5 * 的背景光强度所淹没。这些系统为生物成像、遥感和天文成像等应用提供了显着的优势。

论文题目：Efficient platform for 3D and full optical field imaging

作者：Zhanghao Sun

类型：2023年博士论文

学校：Stanford University（美国斯坦福大学）

下载链接：

链接: https://pan.baidu.com/s/1GmSkW2rjXcFgbuaot2Sobg?pwd=z21e

硕博论文汇总：

链接: https://pan.baidu.com/s/1Gv3R58pgUfHPu4PYFhCSJw?pwd=svp5

(a) 传统扫描镜。(b) 微电子机械系统 (MEMS) 扫描仪。(c) 光学相控阵扫描仪。

机械传递函数的幅度，品质因数 Q ~ 10-30，光栅扫描模式和共振扫描模式之间的视场存在很大差异。对于紧凑型、低功率扫描激光雷达，需要工作在谐振扫描模式（接近谐振频率fr）。

(a) fxr = 1.5, fyr = 1.0, Tframe = 7的谐振扫描仪的几种扫描模式。模式P0为非共振驱动模式，虽然扫描范围1.0大，但填充因子较低(0.63)，这可以从其最大内切圆的半径看出。模式P1使用fx = 11/7, fy = 1， !x = <e:2> /14， !y = 0作为参数。填充系数提高到0.89，但扫描范围减小到0.45。模式P2使用fx = 51/35, fy = 1， !x = 0， !y = 0，扫描模式覆盖在一些帧是好的，但在其他帧失败。模式P3使用fx = 41/28, fy = 1， !x = 0， !y = 0，源自设计规则1。填充系数= 0.88，扫描范围= 0.74。(b)、(c)填充因子/扫描范围，采用提出的设计规则1(蓝色，实线)和重复图案设计规则(黑色，虚线)，具有不同的谐振频率比和帧设置。

(a)提出的优化框架的示意图流水线。它通过目标函数l模式将采样模式塑造成特定于任务(甚至特定于场景)的roi聚焦模式。在这里，3D物体检测被用作目标任务。(b)不同RoI和共振频率比的优化结果。红色矩形表示指定的RoI，每个模式下的黑色数字表示RoI内的采样点数量。与参考的未调制扫描模式相比，在r￡1和r￡2下，调制扫描模式在RoI中具有更密集的采样。然而，在r￡1.3中，这种关注RoI的改进并不显著。在每个调制模式的右下角，我们还显示了相应的基本未调制模式。

(a)基线和设计扫描模式的定性比较(图3.3(a)中的P1和P2)。设计图案的扫描范围是基线图案的1.6 × 1，视野更大，特征提取更可靠。(b)优化扫描模式和基线扫描模式下的弹道估计。(c)优化模式和基线模式的目标检测。每个红色边界框中包含一个对象，底部黑色数字表示该边界框中包含的采样点数量。由于roi聚焦的改进，优化的模式在边界框中包含了更多的采样点。采样模式用蓝点表示。

(a)相位控制共振扫描实验装置示意图。(b)拟建硬件的相位控制精度。(c)记录连续两帧的共振扫描图。(d)记录两个连续帧的设计的无调制采样模式。(e)用r℃2.0记录调制采样图样。红色矩形表示感兴趣区域(RoI)，黑色数字表示感兴趣区域内的采样点数量。与参考的非调制扫描模式相比，调制扫描的RoI采样密度增加了1.3倍。

(a)， (b)对于NYUV2数据集中的两个场景，我们展示了N = 200个采样点的优化采样模式。我们还展示了优化参数集后调制的x(t)， y(t)。在(a)、(b)的左侧，将最优采样模式下的深度绘制结果与地真深度图进行对比。每个场景都列出了均方根误差(RMSE)。(c)不同优化步骤下采样模式的权重(误差)图和梯度。振幅和梯度的符号由黑色箭头的长度和方向表示。

直接飞行时间(dof)传感器工作原理。每个dof像素记录一个直方图，该直方图包含视场中一个补丁的深度信息，从而导致空间模糊。dof传感器可以在“峰值检测”模式或直方图模式下工作。

SPADnet利用单目深度估计器将2D图像转换为粗略的深度图，然后进行2D-3D上投影，将其与SPAD测量中提取的3D特征融合。

定性结果比较了固定SBR为0.04(2个信号光子vs 50个背景光子)的各种方法。SPADnet实现最低RMSE误差。图中白色方框表示信号返回极弱的区域。SPADnet显著改善了这些区域的预测。

(a)提出LiDAR视频超分辨率框架。它通常遵循两阶段预测策略，其中两个阶段预测深度图和置信度图，两者融合以获得最终预测。特征在帧之间对齐和聚合，可以是双向的，也可以是仅向前的。(b)基于柔性翘曲的多帧特征聚合原理图。而不是严格遵循估计的光流，来自多个候选位置的特征在帧之间被扭曲。(c)拟直方图处理流水线示意图。整个直方图被压缩与峰值检测和重新开始，以产生一个近似直方图。在置信度预测阶段，计算输入直方图与预测深度值生成的直方图之间的直方图距离，估计预测置信度。

(a) TarTanAir场景和(b) Replica场景的定性比较。DVSR和HVSR显著优于每帧基线，特别是在放大区域。

X-t切片(沿虚线)用于时间稳定性可视化。与视频处理结果相比，每帧基线具有更多的噪点时间轮廓，而HVSR显示更精细的细节。

dydof数据集概述。(a)我们将动态动物模型插入到各种高质量的室内环境地图中。(b)我们生成RGB图像序列，深度图，法线图，材料反照率和相机姿势。

DyDToF数据集的评价。(a)所提出的网络DVSR和HVSR在动态对象上表现良好，而每帧基线不受扭曲和模糊的影响(b)在TarTanAir数据集上训练的HVSR在RGB图像强度与物理渲染方程(II)计算的亮度不匹配时失败(II)。通过使用更真实的LiDAR模拟(III)对DyDToF数据集上的网络进行微调，可以大大减轻这种伪影(III)。

由两个移相器和两个分束器组成的集成马赫-曾德干涉仪(MZI)光功率光场的可视化。两个输入端口的光功率通过干扰路由到一个输出端口。

(a)采用移相器和分束器的有源相位传感器。(b)无源相位传感器。(c)单相传感器的图形表示。顶点(圆)表示输入端口，而边缘表示相位传感器。边缘的极性表示移相器在传感器中的位置。形式上，(c)中边缘的白端对应于具有移相器(如(a))或<s:2> /2相移(如(b))的相位传感器的端口或侧。

(a) 4个输入端口和4个相位传感器阵列的简单示例(不按比例)和(b)相应的图形表示。(a)中的黑色箭头表示光功率传播方向，(b)中的黑白彩色边缘表示具有极性的相位传感器。为了处理测量误差，采用最小二乘法从相位传感器的测量结果中计算相位轮廓。

(a)配置分为一维、二维、非冗余和冗余。(b)存在光探测噪声时，相对于输入端口数N的相位传感误差的RMS(信噪比= 30dB)。遵循设计规则的设计(例如，“分割链”，“网格”)与朴素的链配置相比，具有更好的可扩展性。(c)有偏误差的相位传感器极性选择的影响。网格配置通过在“网格w/o翻转”配置中翻转边缘极性来实现更好的可扩展性。

具有5个输入端口的冗余相位传感器阵列的实验演示。(a)采用热移相器和抽头光栅耦合器(抽头GC)的硅PIC单层有源相位传感器[3]。测量电路由多个相位传感器组成，如图3所示。(b)非冗余电路配置4个相位传感器，冗余电路配置6个相位传感器。(c)，(d)随机输入光场下1000次实验的绝对相位传感误差分布。与非冗余4连接配置相比，6连接配置减少了误差，而8连接配置由于系统冗余和端口数量较少的每个传感器信噪比之间的交易而导致精度略差。

(a)实验测量入射平面波在三个输入端口(两个相位传感器)的相位。我们用一个云台来控制光束的入射角。(b)我们的设置显示了相对相位测量值与光束入射角之间良好的线性关系。

(a)本体光学定量相显微镜装置(来源:https://www)。photonics.com/Articles/Quantitative_Phase_Imaging_Advances_Disease/a64029)。(b) 128 × 128分辨率相位成像与光探测噪声解包裹的比较。冗余二维网格传感器阵列具有更强的鲁棒性。

(a)相位传感器阵列在光学相控阵(OPA)相位监测中的应用示意图。双层光子电路用于更简单的布线。从第一层抽出少量电力进入第二层进行相位监测。我们用黑色箭头来表示光功率的传播。(b) N = 1024 1D OPA的光学相位廓形和远场图，采用“链式”、“劈链式”和“对分式”相位传感器阵列进行相位监测。采用较好的相位监测设计，相位误差显著降低，远场方向图具有较好的旁瓣抑制效果。