Kotlin ML Pack: Technical Report

在这份技术报告中，我们提供了三个全新的Kotlin代码数据集：KStack、KStack-clean和KExercises。我们还描述了在这些数据上对CodeLlama和DeepSeek模型进行微调的结果。此外，我们还展示了一个由人类专家改写成Kotlin的HumanEval基准测试版本——包括解决方案和测试。我们的结果表明，小型、高质量的数据集（KStack-clean和KExercises）可以显著提高模型在代码生成任务上的性能，在HumanEval基准测试中通过率最高可增加16个百分点。最后，我们讨论了在改进Kotlin语言建模方面的潜在未来工作，包括在学习过程中使用静态分析工具和引入更为复杂和现实的基准测试。

本论文旨在解决Kotlin代码生成任务中的语言建模问题，提出了三个新的Kotlin代码数据集，并使用这些数据集对CodeLlama和DeepSeek模型进行微调和测试。

论文的关键思路是使用小而高质量的数据集来提高模型性能，同时在人工评估基准测试中使用Kotlin编写的解决方案和测试。

论文提出了三个新的Kotlin代码数据集，并使用这些数据集对CodeLlama和DeepSeek模型进行微调和测试。实验结果表明，使用小而高质量的数据集可以显著提高模型性能，达到16个百分点的通过率增加。此外，论文还提出了使用静态分析工具来提高语言建模的可能性，并建议使用更复杂和真实的基准测试来进一步研究。

在这个领域中，最近的相关研究包括：《Deep Code Comment Generation》、《CodeBERT: A Pre-Trained Model for Programming and Natural Language Processing》、《Learning to Generate Pseudo-code from Source Code using Generative Adversarial Networks》等。