Fast Truncated SVD of Sparse and Dense Matrices on Graphics Processors

我们研究了使用截断奇异值分解（SVD）解决低秩矩阵逼近问题的方法。为此，我们开发并优化了随机SVD和Lanczos方法的分块变体的GPU实现。我们的工作利用了这两种方法由非常相似的线性代数构建块组成的事实，这些构建块可以使用现有高性能线性代数库的数值核心组装。此外，针对几个代表性的实际应用和合成稠密测试矩阵的稀疏矩阵进行的实验表明，当目标是相同的逼近精度时，分块Lanczos算法具有性能优势。

本论文旨在研究使用截断奇异值分解（SVD）解决低秩矩阵逼近问题。研究人员开发并优化了基于GPU的随机SVD和Lanczos方法的块变体的实现。他们的工作利用了这两种方法由非常相似的线性代数构建块组成的事实，这些构建块可以使用现有的高性能线性代数库中的数字内核组装。此外，对于几个出现在典型实际应用程序和合成密集测试矩阵中的稀疏矩阵的实验表明，当针对相同的逼近精度时，块Lanczos算法具有性能优势。

论文的关键思路是将随机SVD和Lanczos方法的块变体进行优化实现，以解决低秩矩阵逼近问题。研究人员发现这两种方法由非常相似的线性代数构建块组成，可以使用现有的高性能线性代数库中的数字内核组装。

论文的实验使用了几个出现在典型实际应用程序和合成密集测试矩阵中的稀疏矩阵，发现块Lanczos算法具有性能优势。此外，研究人员还开发并优化了基于GPU的随机SVD和Lanczos方法的块变体的实现，并利用了现有的高性能线性代数库中的数字内核。

最近的相关研究包括使用SVD解决低秩矩阵逼近问题的其他方法，例如基于迭代阻尼最小二乘法（LSQR）和基于交替最小二乘法（ALM）的方法。