LAECIPS: Large Vision Model Assisted Adaptive Edge-Cloud Collaboration for IoT-based Perception System

最近的大型视觉模型（例如SAM）具有促进高精度智能感知的巨大潜力。然而，物联网环境中的资源限制往往会限制这些大型视觉模型的本地部署，从而产生相当大的推理延迟，使得支持自动驾驶和机器人等实时应用变得困难。大型-小型模型联合推理的边缘-云协作提供了一种有前途的方法，以实现高推理准确性和低延迟。然而，现有的边缘-云协作方法与模型架构紧密耦合，无法适应异构物联网环境中的动态数据漂移。为了解决这些问题，我们提出了一种新的边缘-云协作框架LAECIPS。在LAECIPS中，云端的大型视觉模型和边缘的轻量级模型都是即插即用的。我们设计了一种基于硬输入挖掘的边缘-云协作策略，旨在优化高准确性和低延迟。我们建议在大型视觉模型的监督下更新边缘模型及其协作策略，以适应动态的物联网数据流。对LAECIPS的理论分析证明了其可行性。在使用真实世界数据集的机器人语义分割系统中进行的实验表明，LAECIPS在准确性、延迟和通信开销方面优于其现有的竞争对手，并具有更好的适应性，以适应动态环境。

论文旨在解决在IoT环境下，大型视觉模型本地部署所带来的推理延迟问题，提出了一种基于边缘-云协同的轻量级模型推理框架LAECIPS，并致力于解决模型架构紧耦合和动态数据漂移等问题。

LAECIPS是一种基于硬输入挖掘的边缘-云协同策略，可以在保证高精度和低延迟的同时，实现边缘模型和协同策略的动态更新和适应，从而提高对动态IoT数据流的适应性。

论文提出的LAECIPS框架在真实数据集上的实验表明，相比于其他现有的边缘-云协同方法，具有更高的准确性、更低的延迟和通信开销，并且更具有动态适应性。

最近在这个领域中，还有一些相关的研究，如："Edge Intelligence: Paving the Last Mile of Artificial Intelligence with Edge Computing"、"A Survey of Deep Learning for Scientific Discovery"等。