FabGPT: An Efficient Large Multimodal Model for Complex Wafer Defect Knowledge Queries

智能是推进集成电路(IC)制造的关键。大型多模态模型(LMMs)的最新突破在理解图像和文本方面具有无与伦比的能力，促进了智能制造。利用LMMs的能力，我们引入了FabGPT，这是一个定制的IC制造大型多模态模型，用于晶圆缺陷知识查询。FabGPT在扫描电子显微镜(SEM)图像中进行缺陷检测、执行根本原因分析，并提供专家问答(Q&A)制造过程。FabGPT将增强的多模态特征匹配，自动检测复杂晶圆背景下微小缺陷，并减少手动阈值设置的主观性。此外，所提出的调制模块和交互式语料库训练策略将晶圆缺陷知识嵌入预训练模型中，有效平衡与缺陷知识相关的Q&A查询和原始知识，并减轻模态偏差问题。在内部制造数据(SEM-WaD)的实验中，我们的FabGPT在晶圆缺陷检测和知识查询方面实现了显著的性能提升。

本论文旨在利用大型多模态模型（LMMs）解决集成电路制造中的缺陷检测和知识查询问题。

本文提出了一种定制的IC制造大型多模态模型FabGPT，它可以自动检测复杂晶圆背景下的微小缺陷，并提供专家问答（Q&A）服务，以便进行根本原因分析。

本文的亮点包括利用LMMs的能力进行图像和文本理解，提出的FabGPT模型可以有效地解决晶圆缺陷检测和知识查询问题，而且设计了一种交互式语料库训练策略，可以缓解模态偏差问题。实验结果表明，FabGPT在晶圆缺陷检测和知识查询方面取得了显著的性能提升。

最近的相关研究包括使用深度学习进行晶圆缺陷检测的研究，如“Deep Learning for Defect Detection: A Survey”和“Defect Detection and Classification in Semiconductor Manufacturing Using Deep Learning”。