《时代》杂志为 AI 爬虫提供带广告的 Markdown 页面

《时代》杂志为 AI 爬虫提供带广告的 Markdown 页面 这条更新来自 ithome.com，发布时间为 2026-08-06，Aioga 保留原文入口以便核验。

摘要：《时代》（TIME）针对 AI 爬虫与人类读者提供不同访问逻辑，爬虫访问时返回约 13KB 的 Markdown 格式页面，而常规浏览器收到约 303KB 的 HTML。该 Markdown 页面整合了由 AI 广告技术公司 Mobian 提供的定向广告，并包含问答格式的赞助内容，这些内容在人类读者访问时不会出现。

背景：IT之家援引科技媒体vincentschmalbach于8月5日发布的博文称，相关测试通过更改User-Agent进行。测试显示，服务器向特定AI爬虫返回content-type为text/markdown的内容。

Aioga 观察：Aioga判断，这一做法把AI系统的文本解析需求纳入网站访问设计，同时尝试在爬虫可读页面中呈现商业内容。材料未说明该页面的覆盖范围、效果或商业结果。

影响与后续：值得关注的是，同一网站可能依据访问身份提供不同内容结构，AI系统获取信息时看到的页面未必等同于人类读者页面。定向广告和赞助问答的呈现方式也可能影响内容识别与引用判断。 后续应核查《时代》实际返回页面的适用User-Agent范围、广告标识方式及内容差异，并确认相关页面是否持续可访问；在此之前，不宜据此推断其商业成效或行业普及程度。

IT之家：https://www.ithome.com/ 8 月 6 日消息，科技媒体 vincentschmalbach 昨日（8 月 5 日）发布博文，报道称《时代》（TIME）针对当前网络环境， 为普通人类读者和 AI 爬虫设计了不同的访问逻辑。

面向 AI 爬虫的页面采用 Markdown 格式。相比普通网页中的图片、菜单和显示代码，Markdown 更便于基于文本的 AI 系统解析文章和链接。

施马尔巴赫测试通过更改 User-Agent（用于标识访问网站的浏览器或爬虫类型）测试《时代》网站。

测试结果显示，常规浏览器访问时，TIME 返回约 303KB 的 HTML；当访问身份改为 ClaudeBot 和 PerplexityBot 后，网站返回约 13KB 的 Markdown。

实际响应头中，content-type 被设为 text / markdown，说明服务器向这些爬虫发送的是 Markdown 内容。IT之家附上相关截图如下：