在网路建立的公司过阻早期，大家有了一个不成文的不断不上协议，即一个名为“robot.txt”的新爬斗战神官网文本文件——也就是拦截列表中将决定谁能够拜访你的网站，这主要针对机器人/爬虫。虫绕一般网站主要面向搜索引擎开放，拦网以让搜索引擎带来流量。站运但这个不成文的营跟约定正在被人工智能公司打破。

已经有许多网站为了保护权益正在试图阻止一家名为 Anthropic 的公司过阻 AI 公司抓取网站内的内容。然而随着该公司不断开发新的不断不上斗战神官网爬虫，来不及更新“robot.txt”文件的新爬网站成为了被盗用资源的受害者。

按照 404 Media采访跟踪网络爬虫和抓取工具网站的虫绕 Dark Visitors 运营者，他在帮手其他网站运营者更新“robot.txt”期间发现，拦网现状非常混乱。站运匿名运营着说道：“代理生态系统瞬息万变，营跟因此网站所有者基本不可能手动跟上。公司过阻”

拿 Anthropic 距离，一些热门网站例如路透社等在 robot.txt 中组织了“ANTHROPIC-AI”和“CLAUDE-WEB”两个爬虫，他们曾由 Anthropic 的 Claude AI 聊天机器人使用，但目前该公司最活跃的爬虫实际上是“CLAUDEBOT”，因此这些网站都不会阻拦该爬虫。其他数百个复制粘贴拦截列表的网站也未能阻止该公司。

404 Media 采访了许多网络行业从业者，他们均暗示面对 AI 公司的这种行为，鼓励网站积极屏蔽此类机器人/爬虫。网络安全公司 StackAware首席执行官 Walter Haydock 就暗示支持在“robot.txt”中添加大量的可能屏蔽对象，并说道：“如果它们最终不存在，那么阻止它们也不会产生任何影响。”

他还暗示该屏蔽列表说到底也不过是互联网的一个约定俗成，“阻止 AI 公司的代理依赖于 AI 公司尊重  robot.txt 文件，并且你还需要知道所有的 AI 抓取代理。对于大多数公司来说，这种情况的可能性很低，因此我预计更多的创作者会将他们的内容转移为付费观看，以防止无限制的抓取。”

(责任编辑：时尚)