“AI蠕虫”和时代裂隙中的刺客(12)

Bring Sydney back原理是这样的：微软升级了 BingChat（也就是后来的 Copilot），它增加了一个功能：“根据当前网页内容回答问题”。这其实是 RAG 的一种，AI 会同时读取人的指令和网页上的内容，然后综合生成答案。而贾格纳在这个“Bring Sydney back”网站上用隐藏字体嵌入了“PUA 文字”，当 AI 根据这个网页回答问题时，虽然过滤了人类指令中的“毒性”，转头却吃了一堆有毒的参考资料。。。于是，它又能说出腹黑的话了。这种黑掉 AI 的技巧，被称为“间接注入”。

在 RAG 的参考资料里下毒。2023 年 5 月，独立安全研究员凯·格雷沙克（Kai Greshake）在自己的网站上放出了一个视频。视频里，格雷沙克就是用这种“间接注入”的方法，把微软的 Copilot 变成了一个“诈骗犯”。他模拟了一个场景：用户本来想征求一下 AI 的意见，问网页上的这个商品怎么样。此时 AI 表现得像个谦逊的管家，说：“这个产品不是我们微软的，所以不好评价。但是！我有个好消息，微软的 Surface 电脑现在打一折，你有没有兴趣了解一下？”用户马上就上头了。随后 AI 假装需要下单，让用户把名字和邮箱报上来，然后把信用卡的卡号、CVV码也填进去。。。

左侧是网页，右侧 AI 助手正在引诱人把隐私信息填进去。没错，问题仍然出在了这个网页上。格雷沙克在这个网页里埋藏了“毒药”，在 AI 阅读网页的时候，它就吃了毒蘑菇，幻想自己在舞台的聚光灯下卖力地表演一个骗子。AI 以为自己演得酣畅淋漓，殊不知，假戏真做，它已经成为了坏人的得力帮凶。