Integrating LSTM and BERT for Long-Sequence Data Analysis in Intelligent Tutoring Systems

知识追踪领域旨在通过分析学生的历史行为数据来理解他们如何学习和掌握知识。为了实现这一目标，许多研究人员提出了知识追踪模型，利用智能辅导系统的数据来预测学生的后续行动。然而，随着智能辅导系统的发展，出现了包含长序列数据的大规模数据集。最近，基于深度学习的知识追踪模型在处理包含长序列数据的大规模数据集时面临着效率低、准确性低和可解释性低等障碍。为了解决这些问题并促进智能辅导系统的可持续发展，我们提出了一种基于LSTM BERT的长序列数据处理知识追踪模型，即LBKT。该模型采用基于BERT的架构，具有基于Rasch模型的嵌入块来处理不同难度级别的信息，以及LSTM块来处理学生行动的序列特征。在ACC和AUC指标上，LBKT在大多数基准数据集上实现了最佳表现。此外，我们进行了消融研究，分析了LBKT整体性能的每个组件的影响。此外，我们使用t-SNE作为可视化工具来展示模型的嵌入策略。结果表明，与传统的基于深度学习的知识追踪方法相比，LBKT更快、更可解释，并且具有更低的内存成本。

提出一种基于LSTM和BERT的长序列数据处理的知识追踪模型，以解决当前深度学习知识追踪模型在处理大规模长序列数据时效率、准确性和可解释性低的问题。

LBKT模型采用BERT-based架构和Rasch模型嵌入块处理不同难度水平信息，采用LSTM块处理学生行为的序列特征。该模型在ACC和AUC指标上表现最佳，比传统深度学习知识追踪方法更快、更可解释、内存成本更低。

论文使用了t-SNE作为可视化工具展示模型的嵌入策略，实验结果表明LBKT模型在大多数基准数据集上表现最佳。

近期相关研究包括：基于深度学习的知识追踪模型、基于Rasch模型的知识追踪模型、基于BERT的序列建模方法等。