JavaScript 渲染与 AI 爬虫

Googlebot

Google 分三个阶段处理 JavaScript 页面：抓取、渲染和索引。页面会进入渲染队列，「当 Google 的资源允许时，无头 Chromium 会渲染页面并执行 JavaScript」。页面可能在队列中停留几秒钟，也可能更久。

官方文档已说明 · Google Search Central

Google 仍然推荐服务端渲染或预渲染。理由是这会让网站对用户和爬虫都更快，「而且并非所有爬虫都能运行 JavaScript」。

官方文档已说明 · Google Search Central

AI 爬虫

观测于 2024-12，已超过 9 个月。AI 搜索平台变化频繁，引用前请重新测试。

在 2024 年 12 月发布的测试中，Vercel 和 MERJ 发现，他们检查的主要 AI 爬虫都不渲染 JavaScript。点名的包括：

OpenAI（OAI-SearchBot、ChatGPT-User、GPTBot）、Anthropic（ClaudeBot）、Meta（Meta-ExternalAgent）、字节跳动（Bytespider）和 Perplexity（PerplexityBot）。会渲染 JavaScript 的是 AppleBot，以及使用 Googlebot 基础设施的 Gemini。

实践观察 · 观测于 2024-12 · Vercel & MERJ

观测于 2025-10，已超过 9 个月。AI 搜索平台变化频繁，引用前请重新测试。

在 searchVIU 2025 年 10 月的测试中，五个 AI 系统被问到同一个测试页面不同位置上的价格。实时抓取页面时，ChatGPT 和 Gemini 找到了可见 HTML 中的价格，但页面加载后由 JavaScript 插入的价格，实时抓取时只有 Gemini 找到。Claude 连可见文字中的价格也一个都没有给出。Google AI 模式和 Perplexity 基于各自的索引回答，作者认为这与实时抓取没有可比性；页面被索引后，两者都报出了 JavaScript 插入的价格。

实践观察 · 观测于 2025-10 · searchVIU

在 searchVIU 的测试中，ChatGPT 和 Gemini 的表现与 2024 年 12 月的发现一致。这两项都是单项研究：前一项已近两年，后一项只用了一个页面、一个问题，文章里还给出了两个不同的运行次数。爬虫行为可能在没有公告的情况下改变。上述公司也都没有在文档中说明其爬虫是否渲染 JavaScript。请把它们当作目前最好的观察结果，不要当作规范。

对网站意味着什么

• 把主要内容、标题、描述、各级标题和链接放在服务器返回的 HTML 中。
• 对 Googlebot 以外的爬虫，不要依赖 JavaScript 注入结构化数据、canonical 标签或 noindex。在 searchVIU 的测试中，实时抓取页面的助手即使在 HTML 中也没有使用 JSON-LD（结构化数据与 AI 搜索）。
• 检查爬虫实际收到的内容。在不执行 JavaScript 的情况下获取页面（curl -A "OAI-SearchBot" …），再与用户看到的内容对比。

本站如何处理

每个页面在构建时预渲染为静态 HTML，搜索、筛选和主题切换都是在此之上的增强。每个条目还有 Markdown 版本（/路径.md），智能体无需 HTML 或 JavaScript 即可获得相同内容。