KTbench: A Novel Data Leakage-Free Framework for Knowledge Tracing

知识追踪（KT）是指在智能辅导系统中预测学生对学习项目未来表现的方法。学习项目标记有称为知识概念（KCs）的技能标签。许多KT模型通过将学习项目替换为它们的组成KCs，将项目-学生交互序列扩展为KC-学生交互序列。这通常会导致序列长度更长。这种方法解决了稀疏的项目-学生交互的问题，并最小化了模型参数。然而，这种模型存在两个问题。第一个问题是模型学习同一项目中属于不同KCs之间的相关性的能力，这可能导致基本事实标签的泄漏并阻碍性能。这个问题可能会导致在具有更多KCs的数据集上性能显著下降。第二个问题是可用的基准实现在扩展KCs时忽略了序列长度的变化，导致不同的模型使用不同的序列长度进行测试，但仍与相同的基准进行比较。为了解决这些问题，我们引入了一个通用的屏蔽框架，以缓解第一个问题并增强这种KT模型的性能，同时保留原始模型架构而不需要进行重大修改。此外，我们还引入了KTbench，一个开源基准库，旨在确保本文的可重复性，并缓解第二个问题。

本论文旨在解决知识追踪模型在预测学生未来表现时可能出现的问题，如稀疏的学生-项目交互、模型参数过多等。

论文提出了一种掩码框架，以解决模型无法学习同一项目中不同知识概念之间的相关性的问题，并提高了模型的性能。此外，还引入了名为KTbench的基准库，以解决扩展KC序列长度时可能导致的问题。

该论文的亮点包括提出了一种掩码框架来解决知识追踪模型中的问题，同时保持了原始模型体系结构；引入了KTbench基准库来确保研究的可重复性；实验采用了多个数据集，证明了该方法的有效性。此外，该论文还提出了一些未来研究方向，如如何在多个智能辅导系统中共享知识追踪模型。

在该领域的相关研究包括：1. A Bayesian Knowledge Tracing Model for Student Performance Prediction（用于学生表现预测的贝叶斯知识追踪模型）；2. Knowledge Tracing with Dynamic Bayesian Networks（使用动态贝叶斯网络的知识追踪）。