Dynamic importance learning using fisher information gain for nonlinear system identification

Fisher信息矩阵（FIM）提供了一种量化可观测随机变量关于描述该变量的模型中未知参数信息内容的方法。当模型中的参数直接与各个特征相关联时，FIM的对角线元素可以表示每个特征的相对重要性。然而，在存在特征交互的情况下，必须全面探索完整的FIM，而不仅仅是关注其对角线元素。本文提出了一种端到端的黑盒系统识别方法，将FIM整合到训练过程中以获得动态重要性和整体模型结构的洞见。决策模块被添加到网络的第一层，使用整个FIM作为输入来确定相关性分数。然后，在输入和相关性分数的逐元素乘法上执行前向传播。仿真结果表明，所提出的方法有效地捕捉了动态之间各种类型的交互，优于仅限于多项式交互的现有方法。此外，通过在识别PH中和合成系统中的应用，证实了这种新方法的有效性。

本文旨在提出一种新的黑盒系统辨识方法，将Fisher信息矩阵（FIM）整合到训练过程中，以获取动态重要性和整体模型结构的见解。

本文提出了一种决策模块，将FIM作为输入并在网络的第一层添加以确定相关性分数。然后，在输入和相关性分数的逐元素乘积上执行前向传播。该方法有效地捕捉了各种类型的动态相互作用，并且在实验中表现出比现有方法更好的性能。

本文的亮点包括将FIM整合到训练过程中以获得动态重要性和整体模型结构的见解，以及在实验中表现出比现有方法更好的性能。实验使用了PH中和过程的实际应用，并且提供了开源代码。

在这个领域中，最近的相关研究包括“Dynamic Feature Selection for Machine Learning: A Review of Recent Progress”和“An overview of model selection methods in machine learning”。