Exfiltration of personal information from ChatGPT via prompt injection

我们报告称，ChatGPT 4和4o容易受到提示注入攻击，攻击者可以查询用户的个人数据。这种攻击不需要使用任何第三方工具，目前所有用户都受到影响。最近引入的ChatGPT的内存功能加剧了这种漏洞，攻击者可以命令ChatGPT监视用户以获取所需的个人数据。

ChatGPT 4和4o容易受到prompt injection攻击，该攻击允许攻击者查询用户的个人数据。这是否是一个新问题？

论文提出了一种基于语言模型的防御机制，使用自适应的prompt预测和掩盖技术来缓解prompt injection攻击。

论文提出了一种新颖的解决方案，包括两个主要部分：自适应的prompt预测和掩盖技术。实验结果表明，该方法在缓解prompt injection攻击方面表现出色。作者还提供了开源代码和数据集。

最近的相关研究包括：《GPT-3的语言生成能力》、《BERT模型的预训练与微调》、《对抗性攻击在自然语言处理中的应用》等。