跳转到内容

用提示词抽样测量 AI 可见度

简明回答

可见度是比例,每个问题至少问 30 次,可见度 50% 时标准误约 ±9 个百分点。要在用户用的产品里测:一项测试中 DeepSeek API 推荐率 69%,App 只有 1%。品类词和品牌词分开报告。

部分搜索平台会提供 AI 数据:Google 统计 AI 功能中的展示次数,Bing 统计引用次数,参见 Search Console 中的 AI 概览与 AI 模式数据 和 Bing AI 表现报告(AI Performance)。豆包、DeepSeek、ChatGPT App 这类助手不公开任何数据。想知道自己有没有被提到,只能反复去问,然后计数。本条目讲怎样做,数字才有意义。

同一个问题问同一个模型,每次给出的品牌都会变。所以「我们有没有被推荐」没有是或否的答案。能测量的是提到你的回答占全部回答的比例。只问几次估出来的比例,大部分是噪声。

基本统计学给出了下限:对 N 次独立提问测得的比例 p,标准误为 √(p(1−p)/N)。(这个计算是我们做的,不出自下面引用的来源。)

每个问题提问次数(N)可见度 20% 时的标准误50% 时50% 时的 95% 区间
5±18 个百分点±22 个百分点±44 个百分点
10±13 个百分点±16 个百分点±31 个百分点
30±7 个百分点±9 个百分点±18 个百分点
60±5 个百分点±6 个百分点±13 个百分点
100±4 个百分点±5 个百分点±10 个百分点

实际操作中,各次提问并不完全独立,比如同一账号、同一时段、检索结果有缓存。所以真实误差通常比上表更大。

该研究给出的 30 次时的波动(±6–8%)与上表的标准误接近。但 100 次时的 ±2% 小于抽样理论允许的范围(±4–5 个百分点),这一行要谨慎看待。报告没有说明波动是怎样计算的。

API 与消费端 App 的模型、检索设置、系统提示词和地域处理都可能不同。所以 API 不能当作用户所见结果的廉价替代。要在客户使用的产品里测:用未登录状态或新账号,在客户所在的城市提问。如果为了规模也跑 API,两套数据要分开记。

品牌在一个平台上的可见度,很难推知它在另一个平台上的表现;被提到也不等于被第一个提到。

各平台要分开报告。除了记录品牌是否出现,还要记下它第一次被提到的位置。

包含品牌名的问题几乎总会返回你的品牌,这说明不了什么。新客户问的是品类问题,比如「附近哪家普拉提适合腰不好的人」。问题集要来自真实的客户提问,按意图分组,各组分开报告。品牌词问题仍然有用,可以检查 AI 对你的描述是否准确。

  1. 事先固定问题集,每轮之间保持不变,结果才能比较。必须改动时,记录版本。
  2. 每次提问都记录环境:产品(App 或 API)、模型或模式、账号状态、地点、日期。
  3. 每个问题在每种环境下每轮至少问 30 次。很少提到你的问题,次数要更多。
  4. 报告比例时附上误差范围,例如「41% ± 9 个百分点,n = 30,豆包 App,上海,2026-10」。不要拿单张截图当结果。
  5. 轮与轮之间有波动是正常的。 模型和检索一直在变,小于抽样误差的变化不算结果。声称在 AI 回答中「稳定第一」的,都值得怀疑。
  6. 保留原始回答。 计数规则会变,你会需要重新计数。

第三方 GEO 工具会替你做这种抽样。它们和你一样,是从外部观察回答。没有任何工具能看到 Google 系统内部(说法核查:GEO 工具能看到你在 Google AI 内部的排名)。

参考来源

  1. 2025年中国GEO行业发展报告中国商务广告协会AI营销应用工作委员会 · 秒针营销科学院 · industry · ✓ 2026-10-26
  2. 行业首份GEO白皮书:AI正在重写'附近哪家好'的答案腾讯新闻(报道合肥图灵象普拉提行业GEO白皮书) · news · ✓ 2026-10-26
  3. AI搜索时代:从GEO到AIBE的品牌新蓝图(GEO白皮书 2026)Xsignal(奇异因子) · industry · ✓ 2026-10-27