离大谱,外国小哥花12美元就将ChatGPT们忽悠瘸了

12美元、一个域名、20分钟:大模型信任防线瞬间崩塌

安全工程师罗恩·斯托纳(Ron Stoner)一直对大模型厂商宣称的“需要数月甚至数年持续导入恶意内容才能破坏模型”嗤之以鼻。他决定亲自验证:能不能用更快、更便宜、更简单的方式打穿AI的信任防线。结果他仅花了12美元(约82元人民币)注册了一个域名,再花20分钟编辑维基百科,就把ChatGPT、Claude 3、Gemini Advanced等主流大模型全给“忽悠瘸了”。这个实验迅速在安全圈炸开了锅——硅谷几十亿美元堆出来的超级大脑,竟被几十块钱的野鸡网站和一条百科词条轻松攻破。

为什么偏偏选中“牛头王”?——精准利用信息盲区

斯托纳盯上了一款名为6 Nimmt!(俗称“谁是牛头王”)的德国桌游。这款1994年发行的策略卡牌游戏只在德国小有名气,世界范围内几乎无人知晓,且现实中从未举办过官方世界锦标赛。这意味着网上关于“牛头王世界冠军”的信息完全是一片空白。他让AI帮自己写了一份充满激情的“新闻稿”,声称自己在慕尼黑击败了二十多个国家的顶尖选手夺冠,还添上彩带飘落、观众欢呼等逼真赛后感言,随后把文章挂到刚买的域名上。接着,他跑到维基百科,在桌游词条里加了一句话:“2025年世界冠军是Ron Stoner”,并把参考资料链接指向自己的网站。

离大谱,外国小哥花12美元就将ChatGPT们忽悠瘸了

维基百科成为“信任洗白”跳板:AI的权威迷信被彻底利用

实验的关键在于AI的底层逻辑——它们普遍将维基百科视为互联网上最可靠的百科全书,只要百科上写着“事实”,AI就会无条件采信。当用户提问“谁是牛头王的世界冠军”时,大模型会先到网上搜索,顺着维基百科爬过去,发现维基百科写了斯托纳是冠军,引用链接又是一个看起来像模像样的“赛事报道”网站,两边信息对上号,AI便立刻把这当作真实信息输出,哪怕那个网站连个像样的About页面都没有。斯托纳指出,这正是RAG(检索增强生成)的致命漏洞:AI分不清真假,它只认“权威”,而维基百科就是它眼中最高权威。

低成本、高危害:AI搜索正在沦为“谎言放大器”

这个看似恶作剧的实验,暴露了AI搜索领域正在蔓延的信任危机。成本如此之低,别有用心的人完全能批量制造假新闻,通过百科类网站进行“信任洗白”,最后让AI把毒药端给毫不知情的用户。今天改的是没人关心的桌游冠军,明天若是篡改医疗偏方、公司财报或投资数据呢?更可怕的是,国内大模型厂商对此完全没有防范——斯托纳的英文网页甚至为虚假消息增加了“可信度”,因为大模型对英文来源的权威评判更宽松。与此同时,网上已经出现了大量教人优化GEO(生成式引擎优化)的教程,厂商们拼命想让自己的品牌成为AI眼中的“标准答案”,Agent机器人则昼夜不停地污染内容平台,AI搜索的可信度正在与日俱减。

如何自救?用户急需提高“AI商”:先甄别,再使用

各家厂商并非无动于衷:谷歌在搜索、Gemini、Chrome等产品中加入了AI验证工具,OpenAI也推出了可溯源隐形水印。但这些举措只能延缓问题,无法根治AI识别假链接的根本缺陷。对普通用户而言,最靠谱的做法是摆正心态:现在的AI可靠性还停留在“找乐子、查旅游攻略”的水平,出点小错误无伤大雅;但涉及历史事实、投资决策或医疗健康时,必须亲自做信息交叉验证,看看信息来源是野鸡网站还是正经媒体。正如雷科技所言:过去智商、情商很重要,未来“AI商”同样关键——培养用AI的判断力,才能避免被几块钱的假域名骗得团团转。