来自站长 Adam Coster 发布的消息，这个消息应该还是有些反直觉的，即网站如果没有添加 robots.txt 文件的话，谷歌搜索不会索引其内容，或者在此前有文件但后来删除的情况下，谷歌会从索引
网络服务提供商 Cloudflare 日前推出 AI 爬虫红黑榜，通过四个维度对人工智能公司的爬虫进行验证、识别和统计，首批被评测的爬虫包括 OpenAI、Google、Meta、Anthropic、
