IT之家:https://www.ithome.com/ 8 月 6 日消息,科技媒体 vincentschmalbach 昨日(8 月 5 日)发布博文,报道称《时代》(TIME)针对当前网络环境, 为普通人类读者和 AI 爬虫设计了不同的访问逻辑。

面向 AI 爬虫的页面采用 Markdown 格式。相比普通网页中的图片、菜单和显示代码,Markdown 更便于基于文本的 AI 系统解析文章和链接。

施马尔巴赫测试通过更改 User-Agent(用于标识访问网站的浏览器或爬虫类型)测试《时代》网站。

测试结果显示,常规浏览器访问时,TIME 返回约 303KB 的 HTML;当访问身份改为 ClaudeBot 和 PerplexityBot 后,网站返回约 13KB 的 Markdown。

实际响应头中,content-type 被设为 text / markdown,说明服务器向这些爬虫发送的是 Markdown 内容。IT之家附上相关截图如下:

Het tijdschrift 'Time' biedt AI-crawlers een met advertenties voorzien Markdown-pagina