TIME provides different access logic for AI crawlers and human readers. When accessed by crawlers, it returns a page in Markdown format of about 13KB, whil...
TIME provides different access logic for AI crawlers and human readers. When accessed by crawlers,
it returns a page in Markdown format of about 13KB, while regular browsers receive about 303KB of HTML. This Markdown page integrates targeted advertisements provided by the AI advertising technology company Mobian and includes Q&A format sponsored content, which does not appear when accessed by human readers.
IT之家：https://www.ithome.com/ 8 月 6 日消息，科技媒体 vincentschmalbach 昨日（8 月 5 日）发布博文，报道称《时代》（TIME）针对当前网络环境， 为普通人类读者和 AI 爬虫设计了不同的访问逻辑。
面向 AI 爬虫的页面采用 Markdown 格式。相比普通网页中的图片、菜单和显示代码，Markdown 更便于基于文本的 AI 系统解析文章和链接。
施马尔巴赫测试通过更改 User-Agent（用于标识访问网站的浏览器或爬虫类型）测试《时代》网站。
测试结果显示，常规浏览器访问时，TIME 返回约 303KB 的 HTML；当访问身份改为 ClaudeBot 和 PerplexityBot 后，网站返回约 13KB 的 Markdown。
实际响应头中，content-type 被设为 text / markdown，说明服务器向这些爬虫发送的是 Markdown 内容。IT之家附上相关截图如下：
《时代》杂志据报道针对不同访问身份返回不同页面：普通浏览器获得约303KB的HTML，ClaudeBot和PerplexityBot获得约13KB的Markdown，其中还整合定向广告与问答格式赞助内容。
IT之家援引科技媒体vincentschmalbach于8月5日发布的博文称，相关测试通过更改User-Agent进行。测试显示，服务器向特定AI爬虫返回content-type为text/markdown的内容。
Aioga判断，这一做法把AI系统的文本解析需求纳入网站访问设计，同时尝试在爬虫可读页面中呈现商业内容。材料未说明该页面的覆盖范围、效果或商业结果。
值得关注的是，同一网站可能依据访问身份提供不同内容结构，AI系统获取信息时看到的页面未必等同于人类读者页面。定向广告和赞助问答的呈现方式也可能影响内容识别与引用判断。 后续应核查《时代》实际返回页面的适用User-Agent范围、广告标识方式及内容差异，并确认相关页面是否持续可访问；在此之前，不宜据此推断其商业成效或行业普及程度。
The readable text on this page was extracted from the public source and organized with attribution, publication time and the original link. Copyright remains with the original author and publisher.
Ingestion channel: RSS · Source domain: ithome.com
Source: IT之家（RSS）
Original link: Open original source
Aioga archive: Open intelligence page
Content record: source-page · Updated: 2026-08-06T06:49:28.000Z
统一接入主流 AI 模型 API，为开发、测试与生产环境提供稳定调用入口。
立即访问 api.w173.com
Scan to open this articleAioga aggregates global AI updates and preserves source information for verification and citation.