这些机器人被屏蔽之前可能没有

您可能还会欣赏不允许您以这种方式重新使用您的内容所树立的道德甚至法律先例。这看起来与搜索引擎提供的合同截然不同，搜索引擎会将更多的流量发送回它们抓取的网站，并且大多不会在未注明来源的情况下重写内容。“这也是与 Moz 等工具和我们自己的机器人提出的合同不同的合同——再次强调，我们不会重新利用您的内容。”

在许多情况下，要真正影响这些工具提供的响应质量，需要集体行动 — — 不只是屏蔽一个网站，而是屏蔽多个甚至绝大多数网站。然而，这似乎确实发生在一些垂直行业。

拖延时间

说到法律先例——目前有各种涉及 OpenAI 的法律案件正在进行中，其中最引人注目的可能是《纽约时报》诉讼案。这对该技术的许多当前应用是一个巨大的威胁，对于 OpenAI 公司来说，这可能是生死攸关的。一些出版商可能认为，现在封锁可以延迟他们所认为的威胁，以便引入强有力的法律（和商业）框架。

未来发展

正如未来我们可能会看到更多由这些人工智能机器人驱动的获取渠道一样，我们也有可能看到更多以同样的方式驱动的威胁。你的品牌的深度伪造？山寨产品？这些发展似乎更符合这项技术目前的优势，大多数品牌都会尽其所能破坏此类创作的质量。

你能同时实现这两种情况吗？

毕竟这是 robots.txt — — 作为 SEO，我们知道可以非常定制化地保留哪些内容为打开或关闭。

如果您想要获得好处 — 品牌曝光、产品被提及以及回复中包含最新信息，该怎么办？但又不想承担风险 — 助长内容竞争对手、被错误引用或降低网站的独特价值。

当然，事情没那么简单。但在这种情况下，最好的办法可能是保留网站的产品部分，但关闭内容部分（例如 Moz 博客），当然还有您可能阻止 Googlebot 访问的内部/登录页面。

这并不完美——你仍然会面临被排除在对话之外的风险，以及助长人工智能竞争对手的风险。

讽刺的是，这些机器人被屏蔽之前可能没有那么受欢迎。在理想情况下，您可能希望能够在工作中使用 LLM，同时知道不希望自己的内容以这种方式使用的作者和创作者可以选择退出。

现实情况是，目前，您仍然主要使用 2023 年 8 月之前获取的信息，但这种情况会随着时间的推移而改变。

最终，这将归结为您对未来的看法以及对您的业务而言最重要和最有影响的因素的结合。

如果您认为以下情况，则不应阻止AI 机器人：

• 人工智能聊天机器人已经或将成为一个值得  科威特电报数据 注意的获取渠道（或未来某些基于 LLM 的技术将会成为）。

  • 和

• 如果这些模型的训练集或索引包含您从当时到现在发布的内容，那么这些模型将更有可能在其响应中引用您的公司。

或者

• 最好让人工智能模型拥有有关您业务的最新信息， 概述和基本原则 这样即使它们与您的网站竞争作为产品信息来源，它们也不太可能在此过程中歪曲您的信息。

如果你相信以下情况，那么你应该屏蔽人工智能机器人：

• 通过允许 AI 模型抓取您的最新内容，您将增加 AI 聊天机器人、竞争内容或竞争工具所带来的威胁。

或者

• 您选择与同行一起做出类似的决定将会降低您所在行业中由 LLM 提供支持的内容或工具的可行性，从而为您争取时间，直到法律和商业保障措施到位。

在许多情况下，这不仅取决于你对这项技术将如何发展的信念，还取决于所涉及的业务的具体情况。例如：

• 目前，由这些人工智能机器人驱动的产品是否是您的采购渠道？

• 对于你来说，被提及（例如，一家初创公司）更重要，还是捍卫独家内容（例如，一个新闻网站）更重要？

大多数 Ziff Davis 媒体品牌（Moz 是其中之一） 安圭拉铅 都是出版企业，与大多数其他出版企业一样，它们也屏蔽了 AI 机器人。Moz 正在考虑采取更细致入微的方法，但这仍然是一个讨论话题！

就我个人而言，我很惊讶这个问题没有得到更多的讨论，因为有大量网站选择屏蔽。