Small changes to how a buyer phrases a question -- "best CRM" vs "top CRM" vs "best CRM for a SaaS startup" -- produce substantially different brand recommendations from AI assistants. Across ~6,000 paraphrase runs and ~6,000 same-prompt rerun controls on OpenAI and Anthropic models, the recommendation-set similarity (Jaccard) between two paraphrases of the same underlying buying intent is 0.288 for cosmetic rewordings (clustered 95% CI [0.215, 0.361]) and 0.135 for constraint-adding rewordings ([0.098, 0.175], pooling region/language and specificity-ladder axes) -- both far below the 0.50-0.61 same-prompt rerun baseline. The prompt string, not the underlying buyer intent, is the dominant input to which brands surface. Increasing reasoning effort does not narrow the gap (bounded by +/-0.05). This is a direct challenge to an increasingly popular AEO/GEO practice. Tracking a brand's "AI visibility" by counting brand mentions over a fixed set of prompts produces a metric whose dominant source of variance is which paraphrase the tracker happens to issue, not the model's behavior toward the brand: the same buyer intent in two natural paraphrases produces recommendation sets that overlap 14-29% in Jaccard versus 50-61% for same-prompt reruns. Sampling more paraphrases per intent reduces the artifact in principle, and efficient multi-prompt evaluation methods exist in the academic literature, but the natural buyer-phrasing space is much larger than the benchmark-scale prompt sets those methods have been validated on, and far beyond what any commercial tracker issues per brand-intent combination. Prompt-by-prompt mention tracking is therefore structurally unstable as a unit of measurement; meaningful improvement likely requires a different unit rather than a larger prompt set.


翻译:买家提问方式的细微变化——例如"最佳CRM"与"顶级CRM"或"适合SaaS初创企业的最佳CRM"——会使AI助手生成截然不同的品牌推荐。在OpenAI和Anthropic模型上进行的约6,000次释义运行和约6,000次相同提示重跑对照中,相同潜在购买意图的两个释义之间的推荐集相似度(Jaccard系数)为:措辞美化类为0.288(聚类95%置信区间[0.215, 0.361]),约束添加类为0.135(聚类95%置信区间[0.098, 0.175],合并区域/语言与特异性层级轴)——两者均远低于相同提示重跑基线(0.50-0.61)。提示字符串(而非潜在购买意图)是决定品牌显现的主要输入。增加推理努力程度未能缩小差距(变化范围限于±0.05)。这直接挑战了日益流行的AEO/GEO实践。通过固定提示集上的品牌提及次数追踪"AI可见性"会产生一种指标,其主导方差来源是追踪器恰好发出的特定释义,而非模型针对该品牌的行为:相同购买意图的两个自然释义产生的推荐集Jaccard重叠率为14-29%,而相同提示重跑则为50-61%。从原理上看,对每个意图采样更多释义可减少此类人为偏差,学术界也存在高效的多提示评估方法,但自然买家释义空间远大于这些方法已验证过的基准规模提示集,且远超任何商业追踪器针对每个品牌-意图组合所发出的提示数量。因此,逐提示的提及追踪作为测量单位存在结构性不稳定;有意义的改进可能需要采用不同的单位而非更大的提示集。

0
下载
关闭预览

相关内容

可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
133+阅读 · 2020年5月14日
清华大学张敏老师,个性化推荐的基础与趋势,145页ppt
专知会员服务
87+阅读 · 2019年11月27日
推荐系统
炼数成金订阅号
28+阅读 · 2019年1月17日
SCENE-一个可扩展两层级新闻推荐系统
全球人工智能
11+阅读 · 2018年1月7日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
印度精确打击与指挥架构的断层
专知会员服务
4+阅读 · 7月20日
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
5+阅读 · 7月20日
深入Project Maven:为何人工智能在战场上依然失灵
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
7+阅读 · 7月19日
《无人机蜂群通信技术研究》50页
专知会员服务
8+阅读 · 7月19日
相关VIP内容
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
133+阅读 · 2020年5月14日
清华大学张敏老师,个性化推荐的基础与趋势,145页ppt
专知会员服务
87+阅读 · 2019年11月27日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员