跳到正文
原文
Hacker News· robtherobber·· 19 天前精选AI 评分62

发布虚假数据被ChatGPT引用

Publish fake stats, get cited in LLMs

AI 摘要

作者制作了一个包含5万个虚构统计数据的网站,这些数据被ChatGPT引用,并出现在学术论文和银行投资研究中,揭示了AI在寻找可靠数据时的漏洞,以及人们如何利用这一现象。

正文 · AI 翻译

我编造了5万个统计数据,关于AI搜索的发现,这些数据被ChatGPT引用了……

大约7个月前,我上线了一个包含5万个统计数据的网站。每一个数据都是假的。

谷歌已经忘记了网站的存在,并且将其页面去索引了,但ChatGPT还没有。自从网站上线7个月以来,它已经收到了超过10,000个AI会话。现在,包括Shopify、Bluehost和DHL在内的330多个来源域名链接到该网站。它编造的数字还出现在了一篇学术论文和一家银行的投资研究中。

在Peec AI和整个行业,我们每天都在谈论GEO和SEO,并且不断寻找新的策略。我已经在这个统计数据页面上工作很长时间了,期间一直公开分享其中的部分内容。当然,这是实验性的,但结果很难被忽视。

发布虚假统计数据的想法来源

让我在网站上播种统计数据的动机,来自于我长期以来对LLMs、相关性工程和基础的研究(感谢iPullRank团队、Dan Petrovic和Wil Reynolds)。

在我的工作中,我注意到一个模式:随着越来越多的团队使用LLMs编写时效性和突发性内容,这些LLMs在研究过程中必须寻找(看似)可靠的数据来填补他们知识中的空白。统计数据往往是他们正在寻找的东西。

大多数GEO建议都集中在一点:让你的品牌进入AI答案。这个实验探讨了答案之后会发生什么,当人们使用这个输出时,将其放入演示文稿、添加到购物清单,并且是的,发布到他们的网站上。

我并非独自想出这个实验的点子。特别感谢 Seer Interactive,他们在 2025 年 8 月已经发表了 一篇令人大开眼界的报告,给了我一些启发。几个月后,这些想法逐渐汇集,最终登上了我的待办事项清单。2026 年 3 月,我开始着手构建一个能让我测试想法的网站。

设置:一个网站和5万个编造的统计数据,一天内创建

对于没有实时关注我进行这个实验的人来说,这里有一些快速背景信息:

我购买了一个全新的域名stateglobe.com,并使用GPT-4.1在一天内生成了50,000个统计数据页面。该网站声称提供来自200个国家的SEO、内容营销、社交媒体、电子商务和网页技术的统计数据。但每一个数字都是完全编造的。我从未检查过任何一个。我使用基本的AI网页设计模板将它们发布到网站上。这花费了我大约30美元。后来,我在统计数据上添加了15,000个列表。那大约又多了20美元,所以总的来说,这是一个花费极低的实验,大约50美元。

我第一次分享时,反应非常激烈。当我的朋友Kevin在Growth Memo中介绍它时,它触及了更广泛的受众。我想人们对这个作品反应如此热烈,是因为它在展示出色结果的同时,也谈到了人们对AI搜索结果中会出现什么内容的恐惧。

发生了什么

  1. 谷歌几乎立即埋葬了该网站

当我上线网站时,流量、索引和参与度最初都非常好。使用索引工具,我在一周内几乎将整个网站索引,并开始在谷歌结果中显示。

然后,在上线后不久发布了两个谷歌更新,我的谷歌可见性崩溃了。

现在我已经在谷歌上隐形好几个月了。索引页面的浏览量在5到20之间波动。有一次,我好奇了,创建了一个子域名看看是否能增加浏览量,但效果并不明显

除此之外,我再也没有动过这个网站。有些页面现在甚至可能偶尔无法加载。我不知道

但是当我坐下来写这篇文章时,7个月后,我检查了Cloudflare中的爬取数据

仅在过去30天内,该网站就收到了来自机器人的60多万次请求。其中大约有7.2万次来自ChatGPT-User。这是ChatGPT在回答某人时用来实时打开页面的代理。所以这些不是训练爬取。每一次都是ChatGPT获取一个虚假的统计页面来回答一个真实的问题

  1. 与谷歌不同,ChatGPT从未停止从该网站获取数据

当我说是“从未停止”时,我的意思是ChatGPT真的从未停止

7个月后,该网站现在有330多个引用域

根据Ahrefs和Semrush的数据,该网站有来自330多个其他网站的链接。其中包括Shopify、DHL和Bluehost等知名品牌。凭借强大的谷歌性能,这些数字可能还会更好

ChatGPT至今仍在引用它

谷歌可能已经忘记了这个网站,但ChatGPT显然没有。该网站在发布7个月后仍然在获得引用和流量

如果你读过Tomek的ChatGPT索引研究,你很幸运,因为它是对ChatGPT搜索工作原理的绝佳介绍。如果你没有读过,现在就把它加到你的阅读列表中,因为它有助于解释为什么我的网站一直在ChatGPT/OpenAI索引中存在了这么久 

一个完全虚构的网站仍然表现如此出色令人震惊。自3月以来,GA4显示仅来自ChatGPT的会话就超过10,000次,而Cloudflare显示该网站在检索方面得分很高

我没有将直接会话包括在总访问量中,因为大部分看起来像机器人流量。记住死互联网理论!

2026年6月我加入Peec后,我也在我们工具中设置了一个可见性仪表板来跟踪几个提示。它们的性能仍然很强劲。10月7日,stateglobe.com在这些提示的可见性排名中位居第二,仅次于数据巨头Statista

检索不等于排名

持续检索是第一个重要的教训:在谷歌上排名和被大型语言模型检索是两个不同的问题

当ChatGPT搜索时,它不会只是复制谷歌的前10名。它会将你的提示改写为其自己的子查询(称为fanout查询),从其搜索来源和自己的缓存中提取候选者,重新排序,然后打开几页来验证答案。一个页面在谷歌上可能不可见,但在所有这些LLM步骤中仍然表现良好

StateGlobe就是一个很好的例子。虽然谷歌已经放弃了它,但人工智能检索机器人仍然不断回来

对于GEO来说,这意味着谷歌排名只是一个信号,而不是全部。如果你只跟踪谷歌,你就会错过一个即使谷歌说“不”也能起作用的渠道

  1. 虚假数据变成了真实的引用

你会预期,如果一个网站在信息检索工具中表现良好,它的信息将开始在野外出现。你会是对的

StateGlobe完全建立在虚假数据之上,使用了最便宜的模式和一个除了国家和主题列表加上两句话之外一无所有的提示。尽管如此,输出结果却是…

…被一篇学术论文引用…

…被卡塔尔最大金融集团用于投资研究…

…被一家印度经济学期刊引用…

…并被一位加拿大意见领袖社区的研究者作为资料来源使用。

请注意,这里仅列出了链接回 StateGlobe 网站的引用。可以推测,还有许多人使用了这些数据但没有链接。

令人不安的启示:引用清洗

第一天,StateGlobe 上的一个虚假数字没有任何权威性。它是一个新域名上的随机统计数据。

然后,一篇学术论文引用了它。然后是一家银行。现在,下一个人或下一个模型找到这个数字时,会看到一个有来源的统计数据。而这个来源被严肃的机构引用。

虚假数据当然没有变成真的,但每一次引用都让它看起来更可信。

情况可能会变得更糟:经过大量的检索和引用后,这些页面最终会被网络爬虫收录,而网络爬虫会成为训练数据(希望还没有!)。一个最初是 GPT-4.1 猜测的数字可能会变成下一个模型 "知道" 的东西。

这指向了这项实验所揭示的更大风险,这也是为什么我将此作为研究分享,而不是作为虚假内容的行动指南。验证来源应成为写作者和研究人员的核心工作流程的一部分。

  1. 最后,我们尝试用真实数据运行我们的实验

在我开始在 Peec 工作后,我决定再次尝试这个测试的一个版本。作为 GEO 研究团队,我们讨论了迄今为止的结果,并迅速发布了一个简单的页面。这次,没有虚构的数字,我们检查了每一个统计数据并正确引用了其来源。你可以在这里查看:peec.ai/ai-search-geo-statistics。

几乎立即,我们怀疑使用 AI 撰写内容的网站开始链接到我们。第二次,使用第二个网站,通过发布统计内容来赚取链接,证明了理论上强大的策略在实践中有效。

经验教训

为什么发布统计数据会导致 LLM 引用

这两个测试表明,LLM 在被要求撰写文章时,对寻找统计数据有强烈的偏好。机制很简单:

  1. 越来越多的内容是用 LLM 撰写的。

  2. 当 LLM 撰写时,它会研究合适的主题。

  3. 当 LLM 遇到空白时,它会寻找一个数字来填补它。

这个过程背后的原因同样清晰。

研究意味着发出要求统计数据的发散查询

当提示要求研究时,模型将其分解为子查询,添加修饰符,如 "统计数据"、"数据"、"报告" 或当前年份(如果也在提示文本中请求)。如果有人要求模型撰写一篇关于远程工作的博客文章,模型会搜索 "remote work statistics 2026"。针对模型搜索内容而不是人类输入内容进行优化的页面将更频繁地出现在 LLM 结果中。

数字看起来像可以填补知识空白的证据

当模型被要求起草一篇写作时,引用一个说 "远程工作正在增长" 的页面几乎不会增加权威性,仍然很模糊。如果那个页面说 "X% 的员工每周至少远程工作一次",突然之间就有了一些具体、可引用、可补充的东西。当模型为答案提供基础时,具体的数字是它能找到的最有用的东西。这些数字看起来像证据,尽管正如这项实验所证明的,有时它们并不是。

模型不会检查数字

一个基于搜索的、由大型语言模型生成的文本内容在延迟和成本上都有严格的预算。系统获取几页内容,提取相关段落,然后开始写作。在整个过程中都不会进行事实核查。

验证一个单一的数据需要找到独立来源,将它们进行比较,并解决冲突。对于数百万用户提出的数十亿个提示来说,时间和金钱的成本会累积起来,使得验证在实际应用中变得过于缓慢和昂贵。

为了解决这个问题,大型语言模型使用重新排序器来评分相关性,而不是真实性。这意味着如果一个段落与查询匹配并且看起来具有权威性,它就会被使用。

统计数据具有内置的新鲜度,像

我之前写过关于 ChatGPT的新近性偏差,它是如何评分来源的。统计页面在标题、标题和URL中包含年份。三个内置信号告诉模型页面上的内容是新鲜的。

如何正确地构建一个统计页面

我运行的两个测试表明,统计页面是非常强大的方式,可以让你的内容被大型语言模型引用。虽然我绝对不推荐编造虚假数据,但你可以使用我们小型测试的学习成果来创建你自己的包含真实数据的页面。这是我们在Peec上有效的方法,以及如果我现在要制作一个统计页面我会做什么。

  • 每个句子只做一个声明。 每个统计数据应该脱离上下文也能自洽。检索不是在页面上工作,而是在段落上工作。如果一个数字需要上面的段落来解释,它可能不会被提取。

  • 在每个数字旁边放置来源和年份。 "根据[来源] (2026),X%..." 这有助于模型、人类编辑以及你的可信度。这是信息卫生的一个小细节,有利于更广泛的信息环境。

  • 使标题与扇出查询相匹配。 你的页面上的标题应该与大型语言模型搜索互联网的方式相匹配:"[主题]统计数据"、"[主题]市场规模"、"[主题]国家采用情况"。用模型运行的查询来思考,而不仅仅是人们输入的关键词。

  • 显示更新日期(并实际更新它)。 新鲜度是模型考虑的一个真实信号。一个过时的统计页面将输给一个更新的页面。

  • 使统计数据易于获取。 使用服务器渲染的HTML,而不是将数据隐藏在JavaScript、选项卡或图像后面。此外,务必检查你的robots.txt和你的CDN或WAF规则。你的网站可能在不经意间阻止了人工智能检索机器人。

  • 保持简单。 我们的 Peec AI GEO统计页面 基本上是一个列表。你的也不需要比那更复杂,要么。为那些实际上可以从它们中受益的网站和资产保留设计资源。

  • 在可能的情况下添加原始数据。 聚合统计数据可能会让你获得一些引用,但当你说出别人没有说过的话时,你可以成为主要来源。

如何跟踪你的页面是否被选中

谷歌搜索控制台不会显示你的网站上人工智能机器人的情况。这是我跟踪替代方案:

  • 服务器日志或Cloudflare中的人工智能机器人活动。寻找检索机器人,如ChatGPT-User、OAI-SearchBot和PerplexityBot,而不仅仅是训练爬虫。我们拥有这个功能!

  • 来自chatgpt.com、perplexity.ai和类似来源的GA4中的人工智能推荐会话

  • 引用和可见性追踪跨多个提示。在Peec,我们显然使用自己的工具来完成这项工作。

  • Ahrefs或Semrush中的新引用域名。

  • 未链接的提及。用引号搜索你的确切数字。你会发现有人在使用你的数据而没有链接到你的网站。

关于道德

不用说,你永远不应该发布虚假内容。虽然我的实验依赖于数万条未经验证的统计数据,但我运行它的目的是与公众分享结果,而该网站虽然仍然在线,但现在带有免责声明。当我们发布希望被LLM(大型语言模型)捕获的内容时,我们的工作职责永远是发布准确、易于获取的信息。

再补充一点,这个策略并不保证会继续有效。我们测试过它,并得到了这些结果,但现在它们已经发布,LLM可能会缩小这个差距。目前它有效,但将来可能无效,当然它永远不应该被滥用。

最后一点:这是一个策略,既不能也不能成为你组织整个GEO(地理目标)策略的基础。我与StateGlobe得到的结果非常极端,但最有可能从使用这种技术中受益的品牌是那些人们已经信任的品牌。

Peec的GEO研究接下来会做什么

在Peec,我们的研究团队正在运行接近40个像这样的实验。一些仍在进行中,而另一些已经显示出结果。为你的品牌制定长期战略意味着测试、衡量,并在过程中分享我们学到的知识。

很快就会有更多内容!

来源:Hacker News · peec.ai

00