Cloudflare将从9月15日起对新域名默认屏蔽Google爬虫

Cloudflare 宣布将从 9 月 15 日起对三类机器人——搜索爬虫、训练 AI 的爬虫以及智能体机器人——设置新的默认值。对于新加入 Cloudflare 的域名，默认将屏蔽训练 AI 的爬虫以及智能体。但有些机器人爬虫兼具了搜索爬虫和 AI 爬虫的双重功能，因此根据新规则 Googlebo

本文链接