同一个问题,AI 每次回答都不一样:怎么测才准
介绍如何设计问题、多次取得 AI 回答并保存原文,按实际提及率和多期趋势观察品牌表现。
算枢 GEO · · 约 2 分钟
先接受一个事实:AI 的回答会变
AI 生成回答时本身带有随机性;开启联网搜索后,每次搜到的网页也可能不同。所以同一个问题问三遍,可能一遍提到你、两遍没提到。
这意味着:单次结果只是一个样本,不是结论。 要回答「AI 会不会推荐我」,得看很多次回答里提到你的比例。
第一步:问对问题
测量的价值取决于问题选得好不好。好问题要满足三点:
- 是用户真会问的。 例如「杭州瓷砖哪个牌子好」「装修公司怎么选」「中小企业用什么 CRM」,而不是只有你自己才会搜的品牌全称。
- 覆盖不同意图。 选购推荐类(哪个好)、对比类(A 和 B 哪个好)、知识类(怎么选、要看哪些参数)、口碑类(某品牌怎么样)都要有。
- 带上地区。 本地生意要在问题里或提问条件里带上城市,AI 的推荐会因地区而不同。
一开始 10 到 20 个问题就够了,把精力放在最影响生意的那几个上,标为核心问题。
第二步:多次提问
每个问题、每个平台,每一期至少问几次。算枢 GEO 目前是每期 2 次;要更精确,可以增加次数或拉长观察期。
每次都要保存:
- 回答原文;
- 引用的网页链接;
- 模型版本和提问参数(是否联网、地区)。
保存原文很重要:统计出错时能回头核对,也能看 AI 具体是怎么评价你和对手的。
第三步:核对实际比例与多期变化
假设一个问题成功取得 6 条回答,其中 3 条提到你,本期提及率就是 50%。如果 6 条回答都没提到你,本期提及率就是 0%。这些比例按保存的回答逐条统计,都能回到原文核对。
几个实用的判断方法:
- 同时看回答数量。 3 条中的 1 条和 30 条中的 10 条都是约 33%,但回答数量不同。
- 核对比较条件。 对比前后两期时,检查问题、模型和提问条件是否一致。
- 结合多期趋势。 查看连续几期的实际比例和回答原文,了解哪些问题持续提到你、哪些问题有变化。
采样方法和指标计算口径在方法论中公开。
第四步:留意模型更新
AI 平台会更新模型。更新后,推荐结果可能整体变化,和你做了什么无关。所以每条回答都要记下模型版本,版本变了时,对比前后两期要格外小心。
自己动手时的常见坑
- 在自己的账号里问。 App 会根据你的历史对话个性化回答,你看到的未必是用户看到的。
- 只问品牌名。 「某某品牌怎么样」几乎一定会提到你,这测不出 AI 在选购场景里会不会推荐你。
- 把复述当提及。 AI 常把问题复述一遍,如果问题里带着你的品牌名,复述不能算「提到你」。
- 只看有没有提到。 还要看排第几、是不是推荐、评价正面还是负面、说的事实对不对。
小结
选择贴近用户需求的问题,多次取得回答并保存原文,按实际提及率和多期趋势观察品牌表现,为后续优化提供依据。