Aioga
AI资讯 / 技巧观点
返回 AI资讯

《时代》杂志向 AI 爬虫提供内嵌广告的简化版网站

Hacker News 热门(buzzing.cc 中文翻译)Aioga 编辑团队2026-08-05T14:47:49.437Z热度 69

《时代》杂志现在向 AI 爬虫提供与人类读者不同的网站版本:人类看到完整 HTML 页面,而 ClaudeBot、PerplexityBot、OAI-SearchBot 等助手...

技巧观点Hacker News 热门(buzzing.cc 中文翻译)

今日 AI 情报摘要

《时代》杂志现在向 AI 爬虫提供与人类读者不同的网站版本:人类看到完整 HTML 页面,而 ClaudeBot、PerplexityBot、OAI-SearchBot 等助手爬虫收到的是仅

13,409 字节的 markdown 副本,约为原页面 303KB 的三十分之一。

中文正文 · AI 翻译

2026 年 8 月 5 日 作者:文森特·施马尔巴赫

Vincent Schmalbach

《TIME》现在正在提供两个不同版本的网站。人类用户会看到杂志版,而AI爬虫则会获得一个内置广告的精简Markdown版本,这些广告内容普通人永远不会看到。

我在写这个时正在使用 vroni.com:https://www.vroni.com/?utm_source=vincentschmalbach.com&utm_medium=blog&utm_campaign=blog_post_vroni&utm_content=inline_note,这是我的 AI 编程工具,用于将任务转换为拉取请求。

我重复从同一台机器抓取了一篇普通的《TIME》健康文章《晨光习惯:睡眠专家的推荐》:https://time.com/article/2026/08/04/morning-light-better-sleep/,每次都只更改User-Agent头。User-Agent是每个浏览器和机器人用来表明自身身份的字符串。《TIME》读取它并决定返回什么内容。

以Chrome访问,我得到200 OK,text/html,以及303,235字节。完整网页,包括设计、图片和脚本。以Safari访问,同样是303KB。以Googlebot访问,同样也是303KB的HTML。

然后我以一个辅助爬虫的身份访问。作为ClaudeBot,我得到200 OK,text/markdown,以及13,409字节。作为PerplexityBot,字节完全一样。作为OpenAI的OAI-SearchBot,同样一样。相同的URL,相同的时间,相当于大小的二十三分之一,且格式完全不同:无HTML、无布局,只有语言模型可以处理的干净Markdown。

有几个机器人甚至没有得到这个版本。GPTBot和ChatGPT-User,OpenAI用于训练和实时抓取的代理,返回406,被阻止。但OAI-SearchBot,也就是为ChatGPT搜索索引提供数据的机器人,被允许访问Markdown。所以这不是全面的机器人策略。《TIME》是在为每个机器人选择谁可以获得无阅读器版本。

Markdown 副本上的响应头:

Mobian是一家广告技术供应商。Markdown页面实际上以 开头。该x-mobian-impression值在每次请求时都是新的UUID。我抓取同一页面两次,得到了两个不同的ID。配合cache-control: no-store,这意味着每次机器人读取页面时,都会被记录为一次独立的广告展示。而x-mobian-tokens: 3323告诉你被计数的单位。不是用户,也不是页面浏览量,而是输入模型的token数。

文章本身没有广告。赞助单元会出现在列表页和章节页上,每页一个。因此,我作为 ClaudeBot 获取了《TIME 2025 年最佳发明》收藏:https://time.com/collections/best-inventions-2025/。在 markdown 内部,也就是人类读者永远不会看到的地方,有完整的 Ally Bank 常见问题解答:

它包含类似“哪些银行提供提前直接存款?”和“可以在 Ally Bank 存现金吗?”的问题,每个问题都用 Ally 自己的营销语言进行解答,还有一个 FAQPage JSON-LD 块和标记为 campaign="ally-2026-q3" 的跟踪链接。商业版块对项目管理学院也进行了同样的处理:一个“参考事实和常见问题”表格、会员数量、一条声称认证项目经理收入高 16% 的信息,全部标记为赞助。页面的人工 HTML 中不包含这些内容。当我以普通用户身份加载时,“Ally Bank”或“Mobian”都没有出现过。

“Ally Bank 是谁?”的表述方式就像用户问 ChatGPT 该在哪家银行开设账户时模型生成的回答。

广告在 markdown 内部标记为赞助,因此这不是传统意义上的未披露广告。隐藏的是受众划分。现在,TIME.com 有一层完全为机器编写的内容,而人类读者根本不知道它的存在,也不知道这些内容是代表他们向模型传达什么信息。

Googlebot 获取与人类相同的 HTML,因此搜索排名爬虫看到的是真实页面。只有助手爬虫才能获取分叉版本。

TIME 表示其机器人流量在大多数日子里已经超过人类流量。很快,这个数字对许多出版商来说都将成为现实。因此,这可能是首次清晰呈现当主要受众是 AI 模型时,网络的样子。

给 Vroni 一个 GitHub 问题、错误报告、规格说明或粗略想法。它会读取仓库、规划更改、编写代码、执行检查,并朝着可供审查的拉取请求方向工作。

《时代》杂志向 AI 爬虫提供内嵌广告的简化版网站

在我的 Codex 工作流程中,GPT-5.6 Sol xhigh 每次会话使用的 token 是 GPT-5.5 xhigh 的两倍多。对于 Codex……

大型语言模型 (LLM) 一直使用 Markdown 表格。几个月前,Codex CLI 将表格显示为普通换行文本。在狭窄的……

Google Lighthouse 和 Cloudflare 正在为同一类新兴的自动化网站访问者添加不同的控制。Lighthouse 添加了一个实验性的 Agentic…

您的电子邮件地址不会被公开。必填字段标有 *

我写关于软件、人工智能、Laravel、SEO 以及构建在线产品所需的内容。2025 年,有 73,000 人浏览了博客。一些文章被出版物和开发者社区引用。

一些较早的文章受到了最多关注。我将它们保留在这里,作为最新文章的独立部分。

这篇文章引发了《卫报》专栏和一次长时间的开发者社区讨论。

为什么 AI 会让薄弱的工程基础变得更昂贵,而不是更便宜。

优秀的 AI 工作仍然依赖于技术判断和品味。

为在真实代码库中工作的人提供的具体 Laravel 建议。

博客的最新文章。发布时会自动更新。

《时代》现在正在提供两个不同版本的网站。人类看到的是杂志内容。AI 爬虫看到的是…

GPT-5.6 Sol xhigh 现在每次会话使用的 token 数量是 GPT-5.5 xhigh 的两倍以上,在我的…

大型语言模型一直使用 Markdown 表格。几个月前,Codex CLI 将它们显示为普通换行的…

提到、引用或讨论过我的写作和评论的地方。

The Guardian

我曾合作过的客户的真实反馈。

“雇佣文森特。认真地说。我多年来与许多开发者合作(还记得 rentacoder 吗?),文森特是那种少见的真正理解的网页开发者。你可以聊天、表达需求,他会回应你所要求的内容。他的英语流利,理解你的需求,也不会把事情复杂化。与他合作是一种快乐和享受,不需要微观管理,总体上是一次极好的体验。老实说,我希望能继续请他,但我们预算不够——这是合同终止的唯一原因。”

"与Vincent合作最突出的特点是他的系统性和高效性。他首先会深入挖掘我们的需求,提出澄清问题,直到完全理解为止。之后,他会构建出精准所需的内容,并在整个过程中及时告知我们进展。沟通始终清晰、主动。一切都按计划进行,无论是时间还是预算方面。最终成果非常出色,自上线以来运行顺利。正是这种务实的专注和对细节的关注带来了不同。我会毫不犹豫地推荐Vincent进行高质量开发。"

"长期拥有Vincent的服务非常棒。他解决了我们的一些重大技术挑战,特别是显著提升了我们网站的性能。他还专业地管理了我们核心平台(Laravel)复杂的升级到最新版本,确保我们保持最新和安全。现在我们正在推广他开发的多语言功能,这令人很兴奋。Vincent可靠、技术娴熟,是保持我们网站运行最佳状态和持续发展的宝贵合作伙伴。强烈推荐他的专业能力。"

"我与Vincent合作已有数月,他是我合作过的最独立的开发者之一。他不需要微观管理——完全能够自主决策并推动项目进展,这让我能腾出手专注于企业的其他部分。"

"Vincent在异步工作方面表现非常好:沟通保持集中,几乎没有不必要的反复,并且在需要时提出重要问题。结果是一个能在不增加额外负担的情况下交付成果的开发者,这真的很有价值。"

"我们经常与Vincent在Laravel/Vue项目上合作,包括全新开发和多年积累的已有代码库。在这两种情况下,他都能提供干净的代码和可靠的实现。我们特别重视他能快速进入成熟项目并找到适合现有代码状态的解决方案。绝对推荐。"

"与Vincent合作很轻松,他生成了高质量的代码。推荐。"

"Vincent是那种罕见的开发者,能够迅速进入复杂的代码库,立即发挥作用,并在无需手把手指导的情况下解决实际问题。"

他负责性能优化、客户特定功能以及一个大型定制报表系统。他还将与客户的讨论转化为清晰的技术需求,并记录了自己的工作,以便团队的其他成员能够在此基础上进行开发。

文森特不仅仅是处理工单,他会深入思考产品、边缘情况以及客户的影响。如果你需要一位能够推动SaaS产品发展的高级Laravel开发者,我强烈推荐他。

先发粗略版本。我可以帮忙把它变成一个计划,然后再进行构建。

几天而不是几个月即可上线你的SaaS。一份实用、无废话的指南,教你使用Laravel 12构建可投入生产的SaaS应用:速度、计费、团队、AI集成,以及客户付款前所需的关键部分。

文森特·施马尔巴赫是一位企业家、软件开发者和SEO专家。他专注于SaaS产品、企业应用、自动化以及技术项目挽救,拥有超过15年的软件和在线业务经验。

情报判断

Aioga 编辑摘要

文章作者称,他以不同 User-Agent 请求同一篇《时代》健康文章时,人类浏览器和 Googlebot 获得约 303KB 的 HTML,而 ClaudeBot、PerplexityBot 与 OAI-SearchBot 获得 13,409 字节的 markdown 版本,其中还内嵌了广告。

背景分析

该结论来自作者在同一台机器上对同一网址进行的重复请求,测试中仅改变 User-Agent。Chrome、Safari 和 Googlebot 返回完整 HTML;部分助手爬虫返回精简 markdown;GPTBot 与 ChatGPT-User 则返回 406。

Aioga 观点

Aioga 判断,这组测试显示《时代》可能按爬虫身份实施差异化内容交付,而非采用统一的机器人访问政策。值得关注的是,现有材料只记录了一篇文章和一次测试过程,尚不足以证明其适用于全站或长期策略。

影响与后续

这种交付方式可能让部分搜索或问答系统更低成本地读取正文,同时接触专为机器版本内嵌的广告。对内容发布者和 AI 平台而言,机器可见内容与人类页面是否一致、广告如何识别及引用,可能成为新的审核议题。 值得关注的后续验证包括:对《时代》不同栏目和时间点重复测试,记录响应状态、内容类型、正文差异及广告标记;同时核对更多爬虫身份的返回结果,以判断该现象是单页配置、阶段性实验还是更广泛规则。

来源与版权说明

本页正文由公开来源页面提取并按原有信息整理,同时保留来源、发布时间和原文入口。版权归原作者及来源网站所有,请通过原文链接核验和阅读来源版本。

抓取通道: 摘要聚合 · 原始域名: vincentschmalbach.com

来源: Hacker News 热门(buzzing.cc 中文翻译)

原文链接: 打开原始来源

Aioga 归档: 查看情报页

Content record: source-page · Updated: 2026-08-05T14:47:49.437Z

API 中转站
API RELAY · DEVELOPER INFRASTRUCTURE

API 中转站

统一接入主流 AI 模型 API,为开发、测试与生产环境提供稳定调用入口。

立即访问 api.w173.com
AIOGA SHARE POSTER

分享这篇 AI 情报

《时代》杂志现在向 AI 爬虫提供与人类读者不同的网站版本:人类看到完整 HTML 页面,而 ClaudeBot、PerplexityBot、OAI-SearchBot 等助手...

Hacker News 热门(buzzing.cc 中文翻译)2026-08-05T14:47:49.437Z
扫码打开文章详情扫码直达文章详情

Aioga 自动聚合全球 AI 动态,并保留来源信息用于核验与引用。