Talaria: Interactively Optimizing Machine Learning Models for Efficient Inference

在设备上进行机器学习（ML）将计算从云端转移到个人设备，保护用户隐私并实现智能用户体验。然而，在资源有限的设备上拟合模型是一个主要的技术挑战：从业者需要优化模型并平衡硬件指标，如模型大小、延迟和功率。为帮助从业者创建高效的ML模型，我们设计和开发了Talaria：一个模型可视化和优化系统。Talaria使从业者能够将模型编译到硬件上，交互式地可视化模型统计数据，并模拟优化以测试对推理指标的影响。自两年前内部部署以来，我们已经使用了三种方法评估了Talaria：（1）日志分析，突出了800多名从业者提交了3600多个模型的增长；（2）26名用户进行的可用性调查，评估了20个Talaria功能的实用性；（3）与7名最活跃的用户进行的定性访谈，了解他们使用Talaria的经验。

Talaria试图解决在设备上进行机器学习时的模型优化问题，为从云到个人设备的移动计算提供支持。

Talaria是一个模型可视化和优化系统，可以帮助从业者在有限的资源下创建高效的机器学习模型。

Talaria可以将模型编译到硬件上，交互式可视化模型统计信息，并模拟优化以测试对推理指标的影响。该论文通过三种方法评估了Talaria：日志分析、可用性调查和定性访谈。

近期的相关研究包括Edge AI、Federated Learning、MobileNet等。