KTbench: A Novel Data Leakage-Free Framework for Knowledge Tracing

知识追踪（KT）关注于预测智能辅导系统中学生未来在学习项目上的表现。学习项目标记有称为知识概念（KCs）的技能标签。许多KT模型通过用它们的组成KCs替换学习项目，将项目-学生交互序列扩展为KC-学生交互序列。这通常会导致序列长度变长。这种方法解决了稀疏项目-学生交互的问题，并最小化了模型参数。然而，这种模型存在两个问题。第一个问题是模型学习同一项目中属于不同KCs之间的相关性的能力，这可能会导致地面真实标签的泄漏并阻碍性能。这个问题会导致在每个项目有更多KCs的数据集上性能显著下降。第二个问题是可用的基准实现在扩展KCs时忽略了序列长度的变化，导致不同的模型测试具有不同的序列长度，但仍与同一基准进行比较。为了解决这些问题，我们引入了一个通用的掩码框架，缓解了第一个问题，并增强了这种KT模型的性能，同时保留了原始模型架构而没有进行重大改变。此外，我们还引入了KTbench，一个开源基准库，旨在确保本研究的再现性，同时缓解第二个问题。

本论文解决了知识追踪模型中KC序列扩展导致的两个问题：KC之间的相关性和序列长度变化，这些问题会影响模型的性能和可重复性。

论文提出了一个掩码框架，用于解决KC之间的相关性问题，并通过在扩展KC时考虑序列长度的变化来增强模型性能。

论文设计了一个开源的基准库KTbench，用于测试模型的性能和可重复性。实验结果表明，论文提出的掩码框架可以显著提高模型性能，而KTbench可以确保研究的可重复性。

在知识追踪领域，最近的相关研究包括：'Deep Knowledge Tracing'、'Dynamic Key-Value Memory Networks for Knowledge Tracing'、'Neural Knowledge Tracing with Prior Knowledge'等。