Analysing Multi-Task Regression via Random Matrix Theory with Application to Time Series Forecasting

本文介绍了一种新的理论框架，用于多任务回归，应用随机矩阵理论来提供精确的性能估计，适用于高维度、非高斯数据分布。我们将多任务优化问题制定为一种正则化技术，使单任务模型能够利用多任务学习信息。我们推导出了线性模型情况下多任务优化的闭式解。我们的分析通过将多任务学习性能与各种模型统计量（如原始数据协方差、信号生成超平面、噪声水平以及数据集的大小和数量）联系起来，提供了有价值的见解。最后，我们提出了一种一致的训练和测试误差估计方法，从而为多任务回归场景中的超参数优化提供了坚实的基础。在回归和多元时间序列预测的合成和实际数据集上进行的实验验证表明，将我们的方法纳入训练损失中并利用多元信息，可以改善单元模型的性能。

论文提出了一个新的理论框架，旨在解决高维、非高斯数据分布下的多任务回归问题，通过随机矩阵理论提供精确的性能估计。

论文提出了一种多任务优化问题的正则化技术，使单任务模型能够利用多任务学习信息，从而提高性能。并在线性模型的上下文中推导出了多任务优化的闭式解。

论文通过将多任务学习性能与各种模型统计量（如原始数据协方差、信号生成超平面、噪声水平以及数据集的大小和数量）相联系，提供了有价值的洞见。并提出了一种一致的训练和测试误差估计方法，为多任务回归场景下的超参数优化提供了坚实的基础。实验验证了该方法在回归和多元时间序列预测方面的有效性。

最近的相关研究包括：《Deep Multi-Task Learning for Semantic Segmentation》、《Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics》等。