2023年计算机视觉如何改变制造业｜应用+公司+数据集

本文节选自「2023年计算机视觉如何改变制造业」，主要分为两个部分：

计算机视觉在制造业中的应用
制造业中处于计算机视觉前沿的公司
数据集

第一部分：计算机视觉在制造业中的应用

1.1 垃圾桶采摘

垃圾箱拾取是一种常见的工业机器人应用，是从垃圾箱中选择一个物体，捡起它，并将其放置在另一个位置。

机器人要想成功完成这项任务，它需要在可能杂乱、遮挡和光线不足的环境中精确导航和与不同形状、尺寸和材料的物体进行交互。机器视觉系统通过映射环境和指导机器人手臂的运动来实现这一点。

在最简单的情况下，相机图像被传递到对象检测例程中。然而，在许多情况下，从垃圾箱中抓取物体需要映射深度信息并执行三维物体检测，以将物体定位在三维空间中。一些计算机视觉系统使用来自激光雷达传感器的点云来生成这些3D表示。另一个复杂因素是，一些物体只能在某些方向上轻松抓取和握持。为了克服这一点，一些机器视觉系统估计了物体的“姿势”，并使用这些信息来定位机器人手臂进行挑选。

以下是一些关于垃圾箱选择中计算机视觉的论文：

1.2 托盘化和去托盘

托盘被称为我们现代的无名英雄。这些平坦的、典型的木制平台对全球物流和运输的规模和经济至关重要。在托盘进入运输集装箱之前，它们被装上了货物。这些货物堆可高达15英尺，重量超过2吨。将产品装载和堆叠到托盘上的过程被称为托盘化。同样，一旦产品到达目的地，就必须从托盘上卸下。这种卸载过程被称为脱托盘化。

为了减少伤害和错误，制造商一直在通过使用配备计算机视觉系统的机器人手臂来自动化托盘化和去托盘化任务。计算机视觉非常适合这个问题，因为正在加载和卸载的项目通常几乎相似，因此可以以非常高的准确性训练对象检测模型。

另一个关键的使能要素是校准。当机器人手臂装载或卸载物品时，它注意到它估计物体的位置与实际位置之间的差异，作为反馈，以完善其未来的预测。

一些让你开始的资源：

1.3 机器护理

*机器人手臂将箱子装到传送带上。图片由Mech-Mind Robotics提供。*

机器加工是自动将原材料或组件加载到机器中以输入的过程。这包括将零件放在传送带上，以及准备焊接、研磨、铣削或注塑模具的材料。

自动机器管理有多种优势，从降低伤害风险到提高一致性。机器趋势中支持计算机视觉的自动化也允许在这些应用中实现更高的精度。通过实时监控，可以使用对象定位来精确定位相对于所处理的机器的输入材料，机器人手臂可以相应地调整定位。

与制造中的许多计算机视觉应用程序一样，机器处理中的数据可用性和质量是一个重大挑战。用于机器护理的机器视觉系统通常需要使用有限的标签训练数据来构建。这意味着数据清理和整理是必不可少的，数据增强和传输学习等技术可能非常重要。

以下是一些初步资源：

1.4 缺陷检测

*没有（前两行）和（最后一行）缺陷的制造产品示例。图像最初出现在MVTec AD中——一个用于无监督异常检测的综合现实世界数据集，由MVTech提供。*

计算机视觉在确保工业流程的质量控制方面已经变得不可或缺。例如，实例分割与高分辨率传感器数据一起使用，以检查制造部件是否在允许的公差范围内具有所需的空间尺寸。

计算机视觉特征突出的一个质量控制领域是缺陷检测。制造商希望在旅程中尽早识别有缺陷的零件和产品。在一些已知可能缺陷种类的应用中，使用对象检测和分类来识别问题。

在其他情况下，各种可能的缺陷要么是未知的，要么太复杂，无法轻易分类。在制造中，缺陷可以从微小的细节，如小划痕到完全缺失的组件，如缺失的螺丝。阶级不平衡也会加剧这种情况，因为“正常”产品的例子比“有缺陷”的产品多得多。

异常检测提供了一种替代的、无监督的方法，将正常和有缺陷的示例作为输入，并预测新产品为正常或“名义”，如果它可能来自与之前看到的正常样本相同的分布。为了做出这一确定，异常检测模型学习了这种名义分布的近似表示，其中可能涉及使用基于密度的模型，如DBSCAN、支持向量机或深度学习模型，如自动编码器和生成对抗网络（GAN）。像英特尔的Anomalib这样的库提供了实现和基准异常检测算法的工具。

以下是一些关于制造中缺陷检测和异常检测的论文：

1.5 预测性维护

锯片状态监测，红色三角形标记检测每颗牙齿的头部。图片由用于锯片状况监测的计算机视觉系统提供。

制造工厂的工具和机械逐渐积累磨损，如果不进行处理，可能会导致完全故障，以及潜在的伤害和生产力损失。为了避免这种故障，制造商历来定期进行日常维护、清洁、翻新和更换旧零件。

但例行维护有两个主要缺点：首先，当可能不需要维护时，它引入了停机时间和昂贵的维护费用；其次，它无法在维护间隔之间解决出现和升级的问题。

预防性维护（PdM）旨在通过更积极的监测来解决这些问题。计算机视觉和预测分析帮助制造商节省维护成本并避免灾难。PdM已经应用于各种机器和机械零件，从叶片和轴承到齿轮和垫圈。

在某些情况下，与上图中的锯片一样，分割、物体检测和分类等计算机视觉技术足以识别和预测所有可能的故障模式。常见迹象包括裂缝、腐蚀和泄漏。与缺陷检测一样，当故障模式的频谱复杂或未知时，异常检测应用于机器的状态。

第二部分：制造业中处于计算机视觉前沿的公司

2.1 机械思维机器人

左：随机堆放的轨道链接在垃圾桶中。右：用Mech-Mind的Mech-Eye工业3D相机生成的点云对场景进行3D重建。图片由Mech-Mind Robotics提供。

Mech-Mind Robotics拥有700多名员工、1000多名客户和超过2亿美元的资金，是中国最大的3D视觉公司，也是世界上最大的3D视觉相机和机器人自动化机器视觉软件供应商之一。

Mech-Mind的集成硬件和软件解决方案用于广泛的制造应用，包括垃圾箱拣选、机器加工、托盘和去托盘化、组装和粘合。Mech-Eye工业3D相机使用结构化光技术来生成高分辨率、高精度的点云。

Mech-Mind的Mech-Vision机器视觉软件为客户提供了一个平台，使用Mech-Eye相机和客户的机器人构建工业计算机视觉应用程序。Mech-Vision内置了对常见计算机视觉任务的支持，如姿势调整以及2D和3D匹配，其中客户从CAD文件或直接从相机图像中生成要识别的对象的点云模型，该模型在场景中被识别。对普通工业机器人的内置支持意味着机器人校准过程虽然传统上耗时（在小时范围内），但可以在20分钟内完成。

为了完善，Mech-Mind的深度学习软件允许客户根据其特定用例微调计算机视觉模型。客户加载自己的数据，这些数据会自动预先标记，然后可以快速编辑和修改。通常，Mech-Mind的深度学习软件只需要20-50张物体的图像来训练模型在场景中识别它。

2.2 器乐

Instrumental由斯坦福大学和麻省理工学院的两名毕业生以及前苹果员工于2015年创立，总部位于加利福尼亚州帕洛阿尔托，在确保电子产品制造产品的产品质量方面处于领先地位。他们结合预测分析使用计算机视觉来提供实时监控和警报，以及先前故障的根本原因分析。

Instrumental基于人工智能的计算机视觉套件支持新产品引入（NPI）制造（其特点是体积小）和批量生产（MP）制造（大批量）。

即使在电子制造领域，产品种类繁多，产品与产品的巨大差异意味着通用计算机视觉模型收效甚微。尽管如此，制造商希望尽快发现其特定用例的缺陷和问题。

Instrumental的计算机视觉工具套件旨在根据尽可能少的样本实现高性能的特定应用程序缺陷检测。为此，他们使用数据增强、传输学习和主动学习等技术来构建一个强大的数据集，用于训练异常检测模型。他们的模型很容易构建，无需编码。一旦部署，这些模型将在工厂的边缘运行实时推理，并创建一个可以共享、检查和评估的记录。

2.3 Protex AI

爱尔兰初创公司Protex AI成立于2020年，由YCombinator、Notion Capital和Playfair Capital提供支持，正在帮助企业安全团队彻底改变他们如何做出有助于更安全工作环境的积极主动安全决策。

他们的人工智能技术使企业能够更好地了解其设施中的不安全行为。保护隐私的平台插入现有的闭路电视基础设施，并使用其计算机视觉技术在仓库、制造设施和港口等环境中自主捕获不安全事件。

Protex AI提供了一个简单的界面，以便每个用户都可以创建自己的“规则”，包括设置排除区、叉车速度限制，甚至工人在自己和机器之间必须保持的最小距离。然后，Protex使用计算机视觉技术，包括物体检测、物体跟踪和姿势估计，以检查这些规则。对于涉及速度或距离的规则，视觉系统采用校准。通常，校准使用多个摄像头的输入进行，但Protex使用特殊的例程来估计唯一闭路电视摄像头的校准。

由于客户图像和视频数据的隐私问题，Protex AI在Nvidia驱动设备的边缘运行其所有模型。为了功率和计算效率，他们量化了模型权重。

由于用例可能差异很大，Protex AI为每个客户部署自定义模型。他们的基础模型在数十万张图像上进行训练，然后在给定客户的数据上微调一个独特的版本。在他们的工作中，数据数量不是问题。模型性能中最重要的因素是拥有干净、高质量的数据集。

2.4 科格克斯

Cognex的Blue Read光学字符识别（OCR）工具。图片由Cognex提供。

纳斯达克上市（CGNX）Cognex已有四十多年的历史，但仍然处于前沿，是工业自动化机器视觉的世界领导者。他们2000多名员工团队几乎参与工业自动化流程的每一步，从传感器和条形码扫描仪到工业相机和完全集成的视觉系统。

Cognex拥有用于基于规则的应用程序的机器视觉工具，例如监控对象位置和检测边缘，以及用于云连接和边缘设备的深度学习工具。他们的VisionPro深度学习软件支持缺陷检测和分割、装配验证等标准任务，以及材料分类等新兴任务。

除了特定任务外，Cognex的VisionPro软件还加快了使用AutoML功能的部署时间。标签检查器会自动验证绝大多数标签，并标记剩余的图像以供手动审查，从而最大限度地减少用户需要评估的样本数量。

在训练期间，参数自动调谐将使用输入示例图像来确定超参数的最佳集。例如，在光学字符识别（OCR）中，由于字体范围广和潜在的失真，可能很难识别文本。传统的OCR系统要求用户指定分割超参数，以实现高精度和召回。Cognex Blue Read通过将输入图像与训练它的数百种字体库进行比较，并自动选择最佳超参数来消除这一要求。

2.5 RIOS智能机器

RIOS Intelligent Machines的使命是将劳动密集型工厂转变为由机器人和人工智能驱动的未来智能工厂。该公司通过部署集成在现有工作流程中的人工智能驱动的端到端机器人工作单元，帮助其全球客户的工厂、仓库和供应链运营自动化。这家总部位于加利福尼亚州门洛帕克的公司由前施乐PARC工程师创立，他们看到了传统机器人的大规模故障，并预测工厂过度依赖劳动力将很快达到临界点。

RIOS在机器人领域开发了一些最先进的硬件和人工智能/软件平台，包括机器人的类似人体的触觉传感器、触觉智能平台以及最高性能的手臂末端工具和食品级夹具。他们的工厂自动化即服务提供固定、可编程、灵活和集成的自动化。他们还提供托盘机器人，用于在托盘上或托盘外装载和卸载产品，以及机器人包装系统。

还有几个

不可能强调每家公司在计算机视觉、制造和工业自动化的交叉点上做着令人惊叹的工作。以下是更多正在突破界限的公司：

PreML GmBH：德国初创公司成立于2020年，专注于自动视觉质量检查。
预言：法国C系列初创公司开创性基于事件的愿景。
Datalogic：总部位于意大利的自动数据捕获、条形码阅读器、传感器和视觉系统领域的领导者。
Stemmer Imaging：S9I总部位于德国，是欧洲最大的成像技术提供商，从摄影到工厂地板视觉系统，应有尽有。
Pickit 3D：2016年美国宇航局机器人软件提供商Intermodalics的衍生产品，专注于用于机器人指导的3D视觉系统。
Matroid：由斯坦福大学兼职教授Reza Zadeh创立的端到端无代码计算机视觉解决方案，用于质量保证、装配验证以及安全和合规性。

第三部分：数据集

由于制造和工业自动化流程的高度专有性，公共计算机视觉数据集很少。希望这些数据集能帮助您