Журнал «Time» предлагает разную логику доступа для AI-краулеров и обычных читателей: при доступе краулером возвращается страница в формате Markdown размеро...
Журнал «Time» предлагает разную логику доступа для AI-краулеров и обычных читателей: при доступе
краулером возвращается страница в формате Markdown размером около 13 КБ, тогда как обычный браузер получает примерно 303 КБ HTML. Эта страница в формате Markdown интегрирует таргетированную рекламу, предоставленную компанией AI-рекламных технологий Mobian, и содержит спонсорский контент в формате вопросов и ответов, который не появляется при посещении человеком.
IT之家：https://www.ithome.com/ 8 月 6 日消息，科技媒体 vincentschmalbach 昨日（8 月 5 日）发布博文，报道称《时代》（TIME）针对当前网络环境， 为普通人类读者和 AI 爬虫设计了不同的访问逻辑。
面向 AI 爬虫的页面采用 Markdown 格式。相比普通网页中的图片、菜单和显示代码，Markdown 更便于基于文本的 AI 系统解析文章和链接。
施马尔巴赫测试通过更改 User-Agent（用于标识访问网站的浏览器或爬虫类型）测试《时代》网站。
测试结果显示，常规浏览器访问时，TIME 返回约 303KB 的 HTML；当访问身份改为 ClaudeBot 和 PerplexityBot 后，网站返回约 13KB 的 Markdown。
实际响应头中，content-type 被设为 text / markdown，说明服务器向这些爬虫发送的是 Markdown 内容。IT之家附上相关截图如下：
《时代》杂志据报道针对不同访问身份返回不同页面：普通浏览器获得约303KB的HTML，ClaudeBot和PerplexityBot获得约13KB的Markdown，其中还整合定向广告与问答格式赞助内容。
IT之家援引科技媒体vincentschmalbach于8月5日发布的博文称，相关测试通过更改User-Agent进行。测试显示，服务器向特定AI爬虫返回content-type为text/markdown的内容。
Aioga判断，这一做法把AI系统的文本解析需求纳入网站访问设计，同时尝试在爬虫可读页面中呈现商业内容。材料未说明该页面的覆盖范围、效果或商业结果。
值得关注的是，同一网站可能依据访问身份提供不同内容结构，AI系统获取信息时看到的页面未必等同于人类读者页面。定向广告和赞助问答的呈现方式也可能影响内容识别与引用判断。 后续应核查《时代》实际返回页面的适用User-Agent范围、广告标识方式及内容差异，并确认相关页面是否持续可访问；在此之前，不宜据此推断其商业成效或行业普及程度。
当前抓取源提供的是标题、摘要、来源和原文入口，不直接搬运完整原文。完整报道请通过下方原文链接前往来源站点查看。
抓取通道: RSS · 原始域名: ithome.com
Источник: IT之家（RSS）
原文链接: Открыть оригинал
Aioga 归档: 查看情报页
Content record: source-page · Updated: 2026-08-06T06:49:28.000Z
统一接入主流 AI 模型 API，为开发、测试与生产环境提供稳定调用入口。
立即访问 api.w173.com
Scan to open this articleAioga 自动聚合全球 AI 动态，并保留来源信息用于核验与引用。