MegIS: High-Performance, Energy-Efficient, and Low-Cost Metagenomic Analysis with In-Storage Processing

Metagenomics在许多领域取得了重大进展。Metagenomic分析通常涉及确定样本中存在的物种及其相对丰度的关键任务。这些任务需要搜索大型metagenomic数据库。Metagenomic分析由于需要移动大量低重用数据而遭受重大的数据移动开销，因此存储内处理可以是减少这种开销的基本解决方案。然而，为metagenomics设计存储内处理系统具有挑战性，因为现有的metagenomic分析方法由于现代SSD的硬件限制而不能直接有效地实现在存储内。我们提出了MegIS，这是第一个专为显著降低端到端metagenomic分析管道的数据移动开销而设计的存储内处理系统。MegIS采用轻量级设计，有效地利用和编排存储系统内外的处理。我们通过专门和高效的1）任务分割、2）数据/计算流协调、3）存储技术感知的算法优化、4）数据映射和5）轻量级存储内加速器来解决metagenomics的存储内处理挑战。MegIS的设计是灵活的，能够支持不同类型的metagenomic输入数据集，并可集成到各种metagenomic分析管道中。我们的评估表明，MegIS的性能优于面向性能和准确性优化的软件metagenomic工具的2.7倍至37.2倍和6.9倍至100.2倍，同时与面向准确性优化的工具的准确性相匹配。MegIS相对于面向硬件加速的（使用内存内处理）metagenomic工具的最新技术实现实现了1.5倍至5.1倍的加速，同时实现了显著更高的准确性。

设计一种在存储系统内进行元基因组分析的方法，以减少数据移动开销。

设计了一种轻量级的存储系统内处理系统MegIS，通过专门的任务分配、数据/计算流协调、存储技术感知算法优化、数据映射和轻量级存储加速器等技术来解决存储系统内元基因组分析的挑战。

MegIS在性能和准确性方面优于当前最先进的元基因组软件工具，并与准确性优化工具的准确性相匹配。与最先进的元基因组硬件加速工具相比，MegIS实现了1.5倍到5.1倍的加速，并实现了显著更高的准确性。

最近的相关研究包括使用FPGA进行元基因组分析的论文《FPGA-based Acceleration of Metagenomic Sequence Classification with Lightweight and Accurate Bloom Filter》和使用处理器内存进行元基因组分析的论文《Accelerating Metagenome Classification with Deep Neural Networks and Tensor Processing Units》。