Poly Score:每通对话的质量综合评分
为什么需要一个综合评分
Dashboard 上的指标(话题覆盖率、Flow 完成率、CSAT)各自独立,单看某个指标很难判断"这通对话整体好不好"。Poly Score 把多个维度的信号综合成一个 0-100 的分数,让你可以:
- 快速排序:低分对话优先优化
- 趋势追踪:版本发布后 Poly Score 有没有提升
- 设置目标:比如"这个季度 Poly Score 目标从 72 提到 85"
评分维度
Poly Score 综合以下维度:
| 维度 | 权重 | 评分依据 |
|---|---|---|
| 话题匹配准确性 | 高 | 该话题的 RAG 匹配分、示例问题覆盖度、匹配后是否触发了正确的 Action / Flow |
| Flow 完成度 | 高 | 是否走完了完整 Flow、有没有在中间退出、实体提取是否全部成功 |
| 语言自然度 | 中 | 智能体回复的口语化程度、社会存在感标记、是否过度解释 |
| 打断处理 | 中 | 用户打断时智能体是否及时停止、是否正确理解打断意图 |
| 客户情绪 | 低(但严重情绪问题会拉分) | 情绪激动的对话扣分,平静 / 积极的对话加分 |
| CSAT 反馈 | 高 | 客户显式评分的对话直接用评分加权 |
怎么用 Poly Score
用它做优化优先级排序
在 Conversations 面板里按 Poly Score 升序排列 → 排在最前面的低分对话就是最该优化的。
典型高分对话(Poly Score 90+):
- RAG 匹配到正确话题 → 触发正确 Flow → Flow 走完所有步骤 → 语音自然 → 客户没打断
- 这种对话不用动,可以作为"好样本"参考其他对话怎么改进
典型低分对话(Poly Score 50-):
- RAG 没匹配到话题(客户问的问题不在知识库)→ 智能体含糊其辞或让客户转人工
- Flow 卡在某个步骤(实体提取失败、用户说的话偏离了期望)
- 智能体语气机械、过度解释 → 客户不耐烦
用它追踪版本效果
每次发布后,看"发布前 vs 发布后"的 Poly Score 变化。如果你改了某个 Flow 或加了一批话题,理论上相关对话的 Poly Score 应该上升。如果反而下降了,说明你的改动有问题,回去检查。
Poly Score 的局限
Poly Score 是 PolyAI 基于自己模型和信号算出来的自动评分,不是人工评审。它可能漏掉一些"看起来好但实际上没解决问题"的对话,也可能给"看起来差但实际完成了核心任务"的对话打低分。
所以 Poly Score 的最佳用法是:用它做初筛,发现低分对话后再人工 review 每一通——它帮你把大海捞针变成了在小范围里精确排查。