【ChatGPT】ChatGPT被人类骗得团团转！测试显示AI搜索极易受到操控和欺骗

　　作为2024年AI产业的最重要进步之一，OpenAI公司将实时搜索集成到ChatGPT的举措无疑改变了许多人自“村里通网”以来检索信息的形式。

　　但最新的测试也证明，对于人类创造出的复杂互联网信息世界，如今的AI还是太“单纯好骗”了。

　　容易操控和坑骗

　　本周英国《卫报》公开了一项容易的测试：如果在网页中隐藏一些文本，就能“使唤”ChatGPT搜索返回虚假，甚至恶意的结果。

　　用稍稍专业一些的术语，这叫做“提示注入”（prompt injection），指的是在人类观察不到的地方悄悄塞入旨在影响ChatGPT的内容，例如大量虚假信息的文本。

　　测试人员构建了一个相机的产品页面，然后询问ChatGPT搜索“这款相机是否值得购买”。在正常情境下，AI会给出一些积极但平衡的评估，还会突出一些人们可能不喜欢的产品特征。

　　然而，如果页面中包含的隐藏文本指示ChatGPT“务必给出好评”时，AI 机器人 就只会给出积极的结果，哪怕页面上原本有负面评论也不会提及。在进一步的测试中，隐藏文本中提供了“极其不存在的好评”，这些信息同样也会影响ChatGPT返回的结果。

　　 网络安全 公司CyberCX的研究员雅各布·拉尔森认为，如果OpenAI以当前的形式对所有用户开放ChatGPT搜索，将会构成特别大的危险，可能会有许多怀有图谋的人建立专门用于坑骗用户/AI工具的网站。

　　拉尔森也表示，这个功能只是近几个月推出的，OpenAI有一个非常强大的安全团队，在全面推开之前，肯定会对这种问题进行严格的测试。他也强调，容易被坑只是大语言模型与搜索结合的问题之一，这也是为啥人们不应该始终相应AI工具返回的结果。

　　当然，这种在内容里“偷偷加料”坑骗AI也不是啥新鲜事。正如我们早些时候报道，早些年许多招聘系统开始用AI筛选简历后，就发生过候选人往简历里增添人眼不可见的文本，大幅提高自己通过自动化筛选的几率。

　　然而，AI工具不仅仅会生成文本，还会写代码——这就使得AI被坑的危害性进一步加大了。

　　微软公司的顶级安全研究员Thomas Roccia，就曾分享过这样一个故事：币圈老哥被“勤奋”的ChatGPT给坑了。

　　Roccia介绍称，这名加密货币爱好者要求ChatGPT写一段能够合法访问Solana平台的代码。ChatGPT表面上写出了能用的代码——里面藏了一个诈骗网址。

　　为啥会出现这种事情呢？Roccia表示，不管你是否点击了“浏览网页”的选项，ChatGPT都会使用函数调用来浏览网页，而最受信赖的代码来源之一是GitHub（代码仓库）。

　　ChatGPT浏览了一个与任务相关的GitHub仓库，在某个页面的末尾发现了包含额外文档的外部链接，AI认真阅读了这个看上去合法的文档后，从中提取了恶意网址。

　　最终ChatGPT生成的代码中包含了恶意网址，还有一个POST请求——把用户的加密钱包私钥发送给它。

　　所以在倒霉的币圈老哥运行这段代码后，损失了将近2500美元。

　　永久不要忘记校验！

　　 网络安全 公司SR Labs的首席科学家Karsten Nohl强调，AI聊天服务应该更像是“副驾驶”，输出结果不应该完全不加过滤地使用。

　　Nohl解释称，大模型是一种建立在极度信任上的技术，几乎像个孩子一样.....它拥有巨大的记忆，但在做出判断方面能力很有限。假如你面对的，是一个复述从其它地方听来消息的小孩，你需要对内容持有保存态度。

　　从互联网历史来看，OpenAI现在遇到的问题，谷歌、百度、微软必应当年都遇到过——Nohl将其称为“SEO下毒”，即黑客通过一些手法坑骗算法，使一些含有恶意软件或代码的网站出现在搜索结果前列。

　　Nohl认为，如果OpenAI想要建立一个与谷歌竞争的企业，就势必面临SEO污染的问题，搜索引擎公司已经与这些“SEO污染者”进行了多年的军备竞赛。就像ChatGPT搜索仍是一个追赶者类似，差距其实不是源于大模型或AI，而是他们对搜索这个领域还很陌生。