Constrained Decoding for Secure Code Generation

代码大型语言模型（Code LLMs）越来越被开发人员用来提高生产效率，但它们经常生成易受攻击的代码。因此，迫切需要确保由Code LLMs生成的代码是正确和安全的。先前的研究主要集中在生成安全代码上，忽视了安全代码也需要正确的事实。这种疏忽可能导致一种虚假的安全感。目前，社区缺乏衡量这个领域实际进展的方法，我们需要解决方案来同时解决代码生成的安全性和正确性。 本文引入了一个新的基准测试CodeGuard+，以及两个新的度量标准，以衡量Code LLMs生成安全和正确代码的能力。使用我们的新评估方法，我们展示了最先进的防御技术，前缀调优，可能不像以前认为的那么强大，因为它生成安全代码，但牺牲了功能正确性。我们还展示了不同的解码方法对Code LLMs的安全性有重大影响。 此外，我们探索了一种新的防御方向：约束解码用于生成安全代码。我们提出了新的约束解码技术来生成安全代码。我们的结果表明，约束解码比前缀调优更有效，可以提高Code LLMs的安全性，而无需专门的训练数据集。此外，我们对八个最先进的Code LLMs进行的评估表明，约束解码具有提高Code LLMs安全性的强大性能，而我们的技术胜过了GPT-4。

论文旨在解决Code LLMs生成易受攻击的代码的问题，同时确保生成的代码正确和安全。此前的研究主要关注生成安全代码，忽视了安全代码也需要正确的事实，这可能会导致虚假的安全感。

该论文提出了一个新的基准测试CodeGuard+以及两个新的度量标准，以衡量Code LLMs生成安全和正确代码的能力。并且探索了一种新的防御方向：约束解码技术来生成安全代码。

该论文的亮点包括提出了新的基准测试和度量标准，探索了新的防御方向，提供了新的约束解码技术来生成安全代码。实验使用了八个最先进的Code LLMs，并展示了约束解码技术优于前缀调整技术。

最近的相关研究包括使用Code LLMs生成安全代码的其他方法，如前缀调整技术等。