CMU在读博士赵越、助理教授George Chen和Zhihao Jia(本科毕业于姚班)工作。他本人介绍说:
TOD主要想实现的就是多GPU上的大规模异常检测,支持各种传统算法,比如LOF和ABOD等等。我们把很多异常检测算法抽象成了基础模块,因此可以放在GPU上加速,也很容易实现新的算法。
摘要
为了将异常值检测 (OD) 扩展到大型、高维数据集,我们提出了 TOD,这是一种将 OD 算法抽象为基本向量运算以实现高效 GPU 加速的新颖系统。为使 TOD 在时间和空间上都非常高效,我们利用了硬件和软件方面的深度学习基础设施的最新进展。为了在内存有限的 GPU 上部署大型 OD 应用程序,我们引入了两项关键技术。首先,可证明量化通过在较低精度下执行特定 OD 计算来加速 OD 计算并减少所需的内存量,同时可证明保证没有精度损失。其次,为了利用多个 GPU 的聚合计算资源和内存容量,我们引入了自动批处理,将 OD 计算分解为可以在多个 GPU 上并行执行的小批量。
TOD 支持一套全面的 OD 算法和实用函数。对真实和合成 OD 数据集的广泛评估表明,TOD 平均比最先进的综合 OD 系统 PyOD 快 11.9 倍(最大加速为 38.9 倍),在100万个样本内检测异常值的时间不到一个小时。 TOD 可以直接集成更多 OD 算法,并提供统一的框架来将经典 OD 算法与深度学习方法相结合。这些组合导致了无数的 OD 方法,其中许多是新颖的,并且可以轻松地在 TOD 中进行原型设计。
论文: https://arxiv.org/abs/2110.14007
代码: https://github.com/yzhao062/pytod
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢