圣地亚哥一名创

　　儿童绘本作家、插画师切尔西 · 保卢斯向 Business Insider 表示，这台自动访问程序耗尽了网站主机资源，她不得不和服务商一起排查故障。

　　保卢斯经营这份事业已有十年，去年转为全职创

　　“我不认为这是 Meta 蓄意发起的恶意攻击，”保卢斯说，“但小微企业主需要知道这类风险，并且要有可用工具来阻挡爬虫。”

　　艰难维持网站在线 日，她收到主机服务商 SiteGround 的邮件预警：分配给她的 CPU 资源已经用掉 80%。保卢斯的四个网站共用这家保加利亚服务商的一套主机方案。

　　“我打开 WordFence，屏幕上每秒都在不断刷新访问记录。”保卢斯说，“在 WordFence 里点开详情可以看到 IP 地址，查询之后发现，这个 IP 归属 Meta 位于达拉斯的节点。”

　　访问程序的标识名称为“Meta External Agent”，主机服务商 SiteGround 的工作人员后来也确认了这一点。

　　根据 Meta 开发者页面说明，Meta External Agent 会在全网抓取内容，用途包括基础大模型训练、直接收录内容以优化产品。

　　保卢斯偶尔投放 Meta 广告，之前也见过 Facebook 爬虫访问，但如此大的访问量是第一次碰到。

　　“我修改了 robots.txt 文件，也配置了防火墙，但这些规则生效往往需要 24 小时，而我需要立刻拦住爬虫。”保卢斯说，“所以我联系了主机商。”

　　“服务商给了我一段代码，加到网站的隐藏配置文件里。”她补充道，“普通建站者一般不会去碰这类文件，但这是当时唯一能挡住爬虫的办法。”

　　但这个办法只是临时生效。到本周中旬，另一款名为“Meta Web Indexer”的 Meta 爬虫又来了，直接把主机资源占用拉满。

　　据了解，Meta 开发文档将 Meta Web Indexer 定义为网页爬虫，作用是浏览网页、优化 Meta AI 给用户返回的结果质量。

　　Meta 发言人周一表示，网站运营方有权管控爬虫行为，并引导大家查阅

　　“和很多企业一样，Meta 出于多种目的使用网页爬虫。网站管理者可以通过 robots.txt 这类工具，设定我们爬虫和站点的交互方式。”Meta 发言人说，“我们公开提供爬虫对应的 robots.txt 配置指引，并且尊重站点所有者设置的规则。”

　　保卢斯和 SiteGround 的邮件显示，服务商称其“服务器侧防护”已经在限制爬虫请求。

　　截至周一，保卢斯的网站依旧不稳定。她只能删掉 Instagram 主页里的网站链接，避免真人访客叠加爬虫流量，导致网站彻底宕机。

　　保卢斯无力花钱升级流量配额 —— 爬虫不是客户，不会带来任何收入。目前也没有法律禁止 AI 爬虫访问公开可浏览的网站。

　　“Meta 应当设置约束机制，避免这类事故重演。”保卢斯说，“试想如果不受约束的 AI 爬虫持续这样，Cloudflare 这类服务商还能一直免费提供防护吗？”

　　血的教训，网传大厂程序员把服务器老系统升级将每年2亿的维护费压到200万，但随后全组被裁！

　　三位亿万富豪聚餐！餐食精致量太少，崔培军与董明珠耐心听讲，由此也能看出，他们对另外一位富豪的尊重

　　“天塌了，手抖了，眼泪一直往外流！”37岁女子拿到肝脏增强CT报告，9毫米、6毫米两处结节，评论区吵翻

　　孩子不舒服，二老着急埋怨对方，也能理解。常年在外出差，陪在孩子身边的时间太少。趁着在家好好守着他喂药，听到孩子暖心的话，一下子就

　　我问在妇产科上班的朋友：金莎都45岁了，就算平时保养得再好，这个年纪还能顺利生孩子吗？朋友直接说：人家老公年轻，当然可以