图：泄露的用户AI提示词

图：泄露的用户AI提示词（包含个人身份信息）

研究团队补充道：“一旦账号被接管，攻击者可能获取完整的聊天记录和生成的图片，甚至利用账号进行非法的AI token数量购买，而这些token还可能被用于恶意目的。”

用户输入给AI的提示词泄露同样值得警惕。与AI的互动往往包含隐私或私人内容，这些提示词一旦外泄，可能暴露出用户绝不会公开的信息。

AI安全性仍未受到足够重视

这起事件再次凸显了快速发展的AI行业面临不断扩大的安全缺口。一些AI初创公司在激烈的市场竞争中，往往忽视安全环节。然而，随着越来越多人将思想、创意乃至机密数据输入生成式AI系统，安全风险持续升高。

今年8月，用户惊讶地发现他们与ChatGPT和Grok的部分对话被Google搜索引擎收录。这些泄露源于一个存在安全隐患的功能，该功能允许用户分享对话链接，而链接一旦生成，就可能被搜索引擎抓取。OpenAI随后已移除此功能。

图：包含身份验证令牌和用户代理的用户HTTP请求

最近，Cybernews的研究还发现，旅游巨头Expedia推出的一款AI聊天机器人，在输入特定提示词后，竟会教用户如何制造燃烧瓶。这一发现揭示了在缺乏有效防护措施的情况下推出客服聊天机器人，可能给企业带来法律、财务及声誉风险。

虽然大多数AI聊天机器人会预设过滤机制以避免敏感或危险话题，但若缺乏可靠的安全措施，AI模型仍有可能失控。

这种缺乏防护措施的情况甚至影响到OpenAI这样的AI巨头。该公司也一直被有效防护问题困扰。在推出其最新模型GPT-5后，不到24小时，多支安全团队就成功对其聊天机器人进行了越狱。

参考资料：cybernews.com