On-device Online Learning and Semantic Management of TinyML Systems

最近的微型机器学习（TinyML）技术使得低占用嵌入式设备能够进行实时的本地机器学习。虽然许多人认识到TinyML的潜在好处，但它的实际应用也带来了独特的挑战。本研究旨在弥合单个TinyML模型的原型设计和可靠的TinyML系统开发之间的差距：（1）嵌入式设备在动态变化的条件下运行。现有的TinyML解决方案主要关注推断，使用在强大计算机上离线训练的模型并作为静态对象部署。然而，静态模型可能由于输入数据分布的演变而在实际应用中表现不佳。我们提出在线学习，以实现在受限设备上的训练，使本地模型适应最新的场地条件。（2）然而，当前的本地学习方法在应用于众多设备时，会遇到异构部署条件和标记数据的稀缺性等问题。我们引入联邦元学习，结合在线学习以增强模型的泛化能力，促进快速学习。这种方法通过知识共享来确保分布式设备之间的最佳性能。（3）此外，TinyML的关键优势是广泛的应用。嵌入式设备和TinyML模型优先考虑极端的效率，从内存和传感器到模型架构具有多样性。考虑到它们的多样性和非标准化表示，管理这些资源在TinyML系统的扩展中变得具有挑战性。我们提出语义管理，以联合管理规模化的模型和设备。我们通过基本的回归示例演示了我们的方法，然后在三个真实的TinyML应用中对其进行评估：手写字符图像分类、关键词音频分类和智能建筑存在检测，验证了我们的方法的有效性。

TinyML的实际应用中存在哪些挑战？本文试图通过在线学习、联邦元学习和语义管理等方法解决这些挑战。

本文提出了在线学习、联邦元学习和语义管理等方法，以解决TinyML在实际应用中的挑战。其中，联邦元学习结合了在线学习，可以提高模型的泛化能力，促进快速学习。语义管理可以实现对模型和设备的联合管理。

本文的方法在手写字符图像分类、关键词音频分类和智能建筑存在检测等三个真实应用中进行了验证。实验结果表明，本文的方法是有效的。此外，本文还提供了开源代码。

最近的相关研究包括：'A Survey of Tiny Machine Learning'、'Towards Federated Learning at Scale: System Design'等。