Recent and Upcoming Developments in Randomized Numerical Linear Algebra for Machine Learning

大型矩阵在许多机器学习和数据分析应用中都会出现，包括作为数据集、图形、模型权重以及一阶和二阶导数的表示。随机数值线性代数（RandNLA）是一种利用随机性来开发改进广泛矩阵问题算法的领域。该领域已经达到了一定的成熟水平；但最近的硬件趋势、将RandNLA算法纳入核心数值库的努力以及机器学习、统计学和随机矩阵理论的进展，已经带来了新的理论和实践挑战。本文在这些发展的背景下提供了RandNLA的自包含概述。

RandNLA的发展面临哪些理论和实践上的挑战？

使用随机化算法解决大规模矩阵问题，结合最新的硬件趋势、机器学习、统计学和随机矩阵理论的进展，提出新的理论和实践挑战。

论文提供了RandNLA的自包含综述，介绍了该领域的发展历程、关键思想和应用场景，并探讨了RandNLA在当前研究中的挑战和未来方向。实验设计详细，使用了多个数据集，并提供了开源代码。

最近的相关研究包括《Randomized Numerical Linear Algebra on GPUs》、《Randomized algorithms for matrices and data》等。