Scientific Reports | 高效和鲁棒的草药图像识别的深度学习移动应用

【论文标题】Deep learning-enabled mobile application for efficient and robust herb image recognition

【作者团队】Xin Sun, Huinan Qian, Yiliang Xiong, Yingli Zhu, Zhaohan Huang & Feng Yang 

【发表时间】2022/04/21

【机 构】北京中医药大学

【论文链接】https://www.nature.com/articles/s41598-022-10449-9

【代码链接】https://github.com/bucmsunxin/herb_image_compress

随着中草药的日益普及，对中草药的高标准质量控制成为一种必要，而中草药的识别是其中一个巨大的挑战。由于药材的加工程序复杂，需要化学材料和专家知识（如指纹和经验）的人工识别方法一直被使用。自动方法可以通过基于深度学习的草药图像识别来部分缓解这一问题，但大多数研究需要强大而昂贵的计算硬件，这对资源有限的环境不友好。本文介绍了一个基于图像预训练的移动应用程序，它可以完全运行在普通的低成本智能手机上，用于高效和鲁棒的草药图像识别，在资源有限的情况下具有相当高的识别精度。本文希望这个应用能够为全球范围内草药的可及性增加做出贡献。

上图展示了深度学习驱动的移动应用如何用于草药识别。给定一些草药（a），人工方法使用指纹技术（b）或专家经验（c）进行识别，而本文则在一部智能手机上用深度学习方法自动识别草药图像（d），它可以提供候选药物决策，以加快人工识别的速度。

压缩图像算法的流程图示。(a) 首先，大DNN和小DNN在ImageNet数据集上进行预训练，并在herb图像数据集上进一步训练，它们被单独训练；(b) 其次，大DNN的识别能力被转移到小DNN上，如红色虚线所示；(c) 最后，以自上而下的方式从顶层到底层处理网络切割；(d) 单层的网络切割，其中一些不重要的过滤器被删除。

该算法包含三个主要步骤，即网络预训练、网络迁移和网络切割。

网络预训练是一种在大规模数据集上初步训练DNN的策略，然后基于初始化，在目标数据集上进一步训练DNN。这种策略的优势有两个方面。首先，预训练是一种正则化技术，它提高了识别泛化能力。由于DNN首先接触到大量的数据，它的参数将被带到一个更有可能代表整体数据分布的空间，而不是过度拟合基础数据分布的一个特定子集。其次，预训练可以提高训练的稳定性，加快收敛速度。深度神经网络，尤其是那些有大量参数的高表示能力的网络，往往容易受到随机参数初始化的影响。预训练可以以监督的方式初始化参数，这可以为稳定训练提供一个良好的起点。

在本文的策略中，采用ImageNet数据集51作为大规模的数据集，并对DNN进行预训练，然后在herb图像数据集上进一步训练DNN。ImageNet数据集是图像识别领域的一个大型数据集，它包含1000个常见对象类别和120万张图像。虽然它的目标不是用于草药图像识别，但它可以共享一般的表示，这可以带来更好的识别通用性。特别是，这个预训练规则适用于大型和小型DNN。

创新点

本文们提出了一种新颖的基于深度学习的网络压缩算法，将设计繁杂的DNN压缩到一个小的网络。此外，本文开发了一个深度学习驱动的草药图像识别的移动应用，它可以完全在一个智能手机上运行。该应用程序分三个步骤运行。

• 首先，对每张草药图像进行图像处理，为DNN的计算做准备。
• 然后，在图像上运行DNN，以获得每个草药类别的置信度分数。
• 最后，将这些分数与前K个草药类别进行排名，以显示识别结果。

关键的一步是第二步，其中提出的网络压缩算法可以保证快速的响应和准确的识别，以获得良好的用户体验。在公共草药图像数据集24上的实验结果表明，压缩后的小DNN在普通智能手机上的运行速度要快得多（4𝑋-5𝑋），接近实时速度，每秒20帧（FPS），同时它仍然保持着与原始小DNN相当的识别精度。不需要任何硬件，整个识别过程完全在普通的智能手机上进行，它可以完全离线工作，这完全适合于资源有限的环境。

本研究中的应用程序的主要贡献是促进在资源有限的实验室、医院和药房实施草本植物识别。首先，不是为了与拥有强大硬件的大型DNN竞争，它们更注重高度的自动化。其次，不是为了与人工草药识别竞争，本文的目标是通过成为一个合格的助手来减轻对专家资源和化学材料的需求，可以做出候选决定来加速人工过程。此外，本文相信这项研究可以促进世界范围内的草药可及性，并可能促进有价值的草药数据的收集，这长期以来一直是人工智能和深度学习的一个关键问题。

内容中包含的图片若涉及版权问题，请及时与我们联系删除