用 GSM 框架构建支撑决策的指标体系

使用恰当的数据来指导决策,不仅可以使决策过程更加客观,也更容易在团队协作中达成共识。然而,如果仅仅为了“用数据”而去收集数据,很容易陷入盲目关注局部指标的误区。

构建测量体系

判断目标是否值得被测量

在着手追踪任何指标之前,首要任务是评估它是否值得被测量。收集和分析数据都需要持续投入资源,如果测量结果无法为后续决策提供实质性的帮助,这项工作就成了无用功。

为了保证指标设计的投资回报率(ROI),在动手前,团队应该先回答以下四个核心问题:

  1. 你预期的数据结果是什么?为什么会有这样的预期?

    这个问题旨在消除先入为主的偏见。我们在分析数据前往往带有预设的立场,通过提前明确这些想法,可以在后续分析中保持更加客观的态度。

  2. 如果数据支持了你的判断,接下来会采取什么行动?

    如果没有明确的后续行动计划,那追踪这个指标就毫无意义。

  3. 如果数据得出了相反的结果,你会采取什么行动?

    在很多情况下,我们会发现即使出现了预期之外的数据结果,也并不会改变原本的计划。如果确实如此,说明我们并没有真正用数据来指导决策,而只是在寻找支持已有结论的论据。既然不会改变决策,那就不必再去耗费资源追踪这个指标了。

  4. 谁来根据数据做决策?他们什么时候会行动?

    如果决策者不打算采纳数据结果,或者没有明确的行动时间表,那么这些数据就没有被利用的价值,也不值得追踪。

GSM 框架(Goals-Signals-Metrics)

当我们确认一项决策确实能够被数据指导后,下一步就是确定要测量的指标体系。在这方面,Google 提出的 GSM 框架(Goals-Signals-Metrics Framework) 是一个非常实用且科学的工具。

  • Goals(目标):描述我们最终希望实现的结果。
  • Signals(信号):能够帮助我们判断目标是否达成的现象或状态。请注意,并非所有信号都必须能够被直接量化和测量。
  • Metrics(指标):实际可落地、可定量或定性的数据衡量标准,用于反映 Signals 的真实情况。

GSM 框架通过以下几点确保我们能够选出真正有价值的指标:

  1. 避免“路灯效应”(Streetlight Effect:人们往往倾向于选择容易获取的数据,而不是真正需要的数据(就像醉汉因为路灯下更亮,就在路灯下找丢在别处的钥匙)。GSM 让我们从目标出发,寻找真正有意义的信号,而不是仅仅追逐那些容易测量的指标。
  2. 科学的指标选取依据:让指标的选择逻辑具备可解释性。在评估方案时,能够经得起质疑,也更容易被团队理解并达成共识。
  3. 发现盲区:除可衡量的信号外,我们也会找出那些不可衡量的信号。这有助于我们发现监控盲区,对指标体系的能力范围有更清晰的认识。
  4. 提升可追溯性:对于每一个具体指标(Metric),我们都能反向推导出它观测的是哪个信号(Signal),以及最终服务于什么目标(Goal)。

Goals(目标)

目标应以期望的结果来描述,在团队对目标达成的定义上达成共识之前,不要急于寻找相关信号和指标

定义目标时应注意多维度的权衡取舍,避免为了提升单一目标而牺牲其它目标。可以通过设定一组相互制衡的目标来引导团队在不同维度上进行权衡。

Signals(信号)

信号是我们用来判断目标是否达成的现象。信号不必是直接可测量的。通过把不可测量的信号也列出来,可以帮助我们发现监控盲区。

信号和目标的关系不是一对一的。一个目标应有至少一个信号,多个目标之间可能会共享同一个信号。

Metrics(指标)

指标是我们最终可以测量的具体数据。它不必是信号本身,但必须能够反映出信号的真实情况。为了更准确地反映信号,我们可以使用多个指标来进行交叉验证。

指标既可以是定量的,比如用户留存率,也可以是定性的,比如问卷调查的结果。

综合案例分析:判断购物车清理方案是否成立

为了更好地理解以上概念,假设我们是一个电商团队,发现不少用户的购物车里混有失效商品。团队提出了一个方案:在购物车页面增加 「一键清理失效商品」 按钮,希望借此提升用户从购物车进入结算页的转化率。接下来,我们用前面的方法判断,这个方案是否值得测量,以及应该测什么。

1. 先确认这件事值不值得测量

在设计指标之前,先回答前面提到的四个问题:

  1. 你预期的数据结果是什么?为什么会有这样的预期?

    预期:增加一键清理功能后,含失效商品的购物车会话中,用户进入结算页的转化率会提升。

    原因:我们怀疑失效商品会打断用户的购买流程。原本愿意继续结算的用户,可能因为需要逐个删除失效商品而放弃。如果一键清理确实降低了处理成本,就应该帮助更多用户继续进入结算。

  2. 如果数据支持了你的判断,接下来会采取什么行动?

    计划:如果转化率有明确提升,我们就把该功能向全量用户推送。

  3. 如果数据得出了相反的结果,你会采取什么行动?

    计划:如果转化率没有提升,就说明这个方案没有成立。此时不应该继续为它找理由,而应该停止扩大范围,回过头重新判断问题到底是不是“失效商品清理成本过高”,还是别的因素,例如运费展示、促销信息或库存提示,才是真正影响结算的原因。

  4. 谁来根据数据做决策?他们什么时候会行动?

    计划:产品经理会在灰度上线两周后,结合实验数据决定是否全量上线。

通过这组问答,我们把“一个想法”变成了“一个有明确成功条件、失败条件和决策责任人的方案”。这时再进入指标设计才有意义。

2. 通过 GSM 框架拆解指标

  • Goals(目标):
    • “一键清理失效商品”按钮可以提升目标用户从购物车进入结算页的转化率。
    • “一键清理失效商品”按钮带来的新客诉和误操作没有明显增加,或者在可接受范围内。
  • Signals(信号):
    • 针对“提升转化率”,我们希望看到:含失效商品的购物车用户在完成清理后,更愿意继续进入结算,而不是停留在购物车页面或直接离开。
    • 针对“新增客诉和误操作可控”,我们希望看到:用户能够理解这个按钮的作用,不会因为误触、误删或理解偏差而产生明显的困惑、后悔或投诉。
  • Metrics(指标):
    • 对应“提升转化率”,核心指标可以是 “含失效商品的购物车会话中,进入结算页的转化率变化”
    • 对应“新增客诉和误操作可控”,可以看 “与误删或清理功能相关的投诉/反馈量变化”,以及 “清理后的撤销操作比例或补救操作比例”
    • 为了帮助解释结果,还可以记录一些诊断指标,例如 “按钮点击率”“清理后继续停留在购物车页的比例”。但这些指标只能帮助分析原因,不能代替 Goal 本身。

这样拆下来,关系就比较清楚了:第一组指标回答“方案有没有带来业务结果”,第二组指标回答“这个结果是不是以新的问题为代价换来的”,诊断指标则只负责帮助我们解释结果。

3. 怎样避免被单个漂亮指标骗过去

假设灰度结果显示,“一键清理失效商品”按钮的点击率很高,但含失效商品的购物车会话转化率没有提升。这时就不能拿“很多人点了这个按钮”来证明功能成功。

因为按钮点击率最多只能说明两件事:这个按钮被用户看见了,它帮助用户高效清理了购物车里的失效商品。但核心 Goal “提升转化率”没有达成,那就说明这个方案并不成立。

这正是前面几个要点在案例里的落地方式:

  1. 先确认数据会不会改变行动,而不是为了“看起来数据化”去埋点。
  2. 先从 Goal 出发,找出 Signal,再决定看哪些 Metric,而不是抓到一个容易统计的数字就当成果。
  3. 给方案设置相互制衡的目标,避免为了提升单一目标而牺牲其它目标。
  4. 允许数据推翻原来的想法,而不是在核心目标没有改善时,拿点击率之类的局部指标来自我说服。

如果这几个条件都满足了,这套测量体系才是真的在支撑决策,而不是在为既定结论找证据。