后一直存在一些争论。Moz、我们的母公司 Ziff Davis 以及整个 SEO 行业都在讨论如何最好地利用这种新发现的拒绝访问（某些）AI 工具的能力，以及它是否具有任何实际影响。鉴于目前可用的信息有限，特别是关于这些数据和这些工具的未来走向，我认为没有一个肯定的万能答案。在这篇文章中，我想阐述哪些论点、信念、前提或业务背景可能导致您阻止这些机器人或不阻止它们。
首先，你做的事情真的有区别吗？
“他们已经拥有了我所有的内容”
也许吧。OpenAI 过去曾使用过各种数据源，直到最近才发布（披露？）自己的爬虫。例如，Common Crawl是 GPT-3 训练数据的很大一部分，这与 GPTBot 不同。很少有网站会屏蔽 Common Crawl CCbot，在少数听说过它的人中，它被认为对服务器的需求相当小，但可能带来的好处非常广泛，远远超出了训练 AI 模型的范围。此外，如果您现在屏蔽较新的 AI 专用机器人，您不会删除它们过去从您的网站收集的任何内容。
因此，最糟糕的情况是，你只是减慢了他们访问你发布的新内容的速度。尽管如此，你还是可能相信这些新内容具有某种独特的价值，尤其是当它们最新鲜的时候。（新闻网站目前倾向于屏蔽这些内容，这并非巧合。）
然而，它很可能在其他抓取网站上被复制。我怀疑更复杂的模型确实包含某种权威信号（可能是链接！），因此抓取网站可能不像你自己的网站那样受信任，或者被自由或定期重新抓取。不过，我无法证实这一点。
“他们不需要我的内容”
您可能认为，即使您是行业中更大运动的一部分，人工智能机器人最终也能够像您一样出色地针对您的网站所涉及的主题制作内容。即使没有您新发布或最近更新的页面的输入。
如果是这样，我首先要说，这可能是对任何以内容为中心的网站的价值主张相当严厉的控诉，可能对其在 SEO 方面的持续可行性产生严重影响，无论未来人工智能是否有发展。
尽管如此，这也许是真的——一些行业遭受着大量网站发布极其相似的内容的困扰。一些行业也不太可能遭遇大范围屏蔽。这些都是您在做决定时必须考虑的因素。
解除封锁的理由
我将提出三个理由来支持你的网站对人工智能机器人完全开放：
-
当前流量采集
-
当今品牌曝光
-
LLM 工具的未来发展
当前流量采集
我最近在 SMX Munich 上听到了 Wil Reynolds 的演讲，他在演讲中有力地论证了 ChatGPT（或类似工具）是当前或近期重要的用户获取渠道。他在这篇博文中概述了类似的论点，并提出了一种了解您的业务可能受到多大影响的方法。我建议您查看一下。（他还将在 6 月份的MozCon上发表演讲。）
这肯定会因业务而异。话虽如此，我目前的经验是：
-
ChatGPT主要不是用作搜索引擎，而是用作助手，尤其是用于内容创建、翻译和编码
-
ChatGPT 的使用率稳定或下降，仅占Google使用率的一小部分
-
自整合 ChatGPT 以来， Bing 的市场份额增长不到 1%，因此用户似乎并不认为 Bing 的类似功能能够改变游戏规则
我曾在其他地方说过，我不认为生成式人工智能可以完全替代搜索。它是一种用途不同的工具。但你应该根据自己的业务来评估这一点。
对于“Google-Extended”的情况，我们还必须考虑这是否会影响 Google 搜索作为用户获取渠道。目前，Google 表示不会，一些人对此持怀疑态度，这是可以理解的。无论如何，如果 Google 推出生成式 AI 搜索功能，这种情况可能会迅速改变。
当今品牌曝光
此外，在 SMX 慕尼黑展会上，我看到 Rand Fishkin（6 月份也在 MozCon 上发表演讲）指出，数字营销人员过于纠结于归因于漏斗底部，这越来越困难，而应该借鉴前网络营销人员的做法，他们重视印象、客流量和类似的“虚荣指标”。我同意！事实上，我早在 2019 年就写过这篇文章。那篇文章后来成为一次有点可疑的网站迁移的牺牲品，但我已将其重新上传到这里。
基于类似的原因，也许我不仅应该关心 ChatGPT（或者 LLM 模型的其他输出，例如 AI 编写的内容）是否为我带来流量，还应该关心它们是否提到了我的品牌和产品。最好以我的方式提及它们。
如果我阻止这些模特访问我谈论我的产品的页面，并且如果我也赞同上述观点，即阻止访问确实会对模特可以获取的内容产生重大影响，那么我就不太可能以准确的方式提及它们，或者根本就不会提及它们。
当我推出新产品或重塑品牌时，这可能会特别有影响——任何新产品都只能通过外部来源获取，而这可能不太积极，或者再次不准确。
LLM 工具的未来发展
如果我们接受当前基于生成式 AI 构建的工具不是 韩国电报数据 主要的获取渠道，情况会怎样？情况会一直如此吗？如果我现在屏蔽 GPTBot，然后在一两年后，OpenAI推出基于其构建的索引的搜索引擎，情况会怎样？
也许到了那个时候，人们可能会迅速掉头。会不会够快？通常，在快速吸收新内容方面，这些模型并不完全达到谷歌的水平。不过，想必为了成为一个有竞争力的搜索引擎，他们必须这样做？或者他们会使用 Bing 的索引和爬虫？人们还可能会争辩说，这些模型可以使用内容本身（的原创性？）作为权威信号，而不是（例如）链接、用户信号或品牌搜索量。就我个人而言，我认为这不切实际，因此不太可能，但这都是一个巨大的未知数，这就是关键所在——不确定性本身并不是一个有吸引力的提议。
最重要的是，搜索引擎只是一种（更有可能的） 不适用于所讨论的产品或服务 可能性——几年前，我们还没有想到 ChatGPT 会有如此大的影响力。
封锁的理由
那么，是什么促使你屏蔽这些人工智能机器人呢？与解除屏蔽的情况类似，我认为这里存在与当今实用主义和未来可能的发展有关的论点。
-
当今的内容护城河
-
拖延时间
-
未来发展
当今的内容护城河
OpenAI 模型目前对 Google 和 SEO 构成的最大威胁不是作为 Google 的竞争对手，而是作为可扩展的内容创建工具。这在搜索领域具有极大的颠覆性， 安圭拉铅 不仅使 Google 的工作变得更加困难，而且还蚕食了原本可能流向现有内容的流量。
如果您正在编写包含新颖有趣信息的独特内容，则可能会因为允许其为其他地方的 AI 编写的文章、视频和工具做出贡献而降低该内容的价值。您是否希望新的竞争对手（部分）建立在您的新内容和未来内容之上？
尽管如此，正如上面提到的那样——它可能会在其他位置被抓取、重新发布，然后被人工智能机器人吸收。不过，出于各种原因，人工智能系统可能不会像信任你的网站那样信任这些抓取网站。