在定义UX成功指标、设计实验、分析漏斗和审查指标伦理时…

当需要为功能定义成功指标、设计A/B测试、分析漏斗、审查指标是否真正反映用户价值或防止测量变成操纵时使用。

适用场景

解决思路

1. 与 /strategize 配合：每个战略赌注连接到能说明赌注是否回报的指标；/strategize 定义「我们相信 X」，/measure 定义「当 Y 时我们就知道 X 为真」；当指标与战略假设矛盾时，按护栏回环到策略。
2. 与 /investigate 配合：当数字显示用户在 step 3 流失时，用 /investigate 找原因；满意度下降后访谈用户；不要仅凭指标做重大设计决策。
3. 与 /evaluate 配合：UX 评估产生分数和发现，告知要测量什么；评估识别可用性问题，测量跟踪修复是否解决。
4. 与 /specify 配合：测试计划和成功指标放入交接规格；每个功能规格包含成功样子和如何测量，以便工程埋点。
5. 与 /philosopher 配合：在指标变成目标前质疑指标；当指标太容易被 game、仪表盘绿但用户抱怨、不确定是测量用户成功还是业务提取时使用；问「如果测量这个，是否会改变我们试图测量的行为？」
6. 按功能而非全局应用 HEART 框架选择 UX 指标；不同功能选择不同指标。
7. 从 Happiness 维度选择主观满意度指标：NPS（0-10 推荐意愿，适合趋势）、CSAT（1-5 特定交互满意度，适合功能决策）、SUS（10 题标准化可用性问卷，适合跨版本基准）、自定义问卷（针对具体功能，如「找到所需内容有多容易」）。
8. 从 Engagement 维度选择行为深度指标：Frequency（日/周/月活跃用户）、Intensity（每次会话使用深度：功能使用、内容消费、动作数）、Breadth（用户触达多少功能，采用广度）、Recency（最近互动时间，流失预警）。
9. 从 Adoption 维度选择新使用指标：New user activation（完成关键 onboarding 里程碑的百分比）、Feature adoption（符合条件用户中尝试新功能的百分比）、Onboarding completion（首次使用体验漏斗）、Time-to-value（新用户达到首个有意义结果的速度）。
10. 从 Retention 维度选择持续使用指标：Return rate（D1/D7/D30 留存）、Churn rate（某周期停止使用百分比）、Reactivation（离开后回来的用户及原因）、Cohort retention（按注册队列看留存曲线，较新用户是否留存更好）。
11. 从 Task success 维度选择有效性指标：Completion rate（完成开始任务的百分比）、Error rate（导致错误的尝试百分比）、Time-on-task（任务耗时，通常越短越好但不总是）、Efficiency（任务完成相对最优路径长度）。
12. 对每个功能只选择对其意图最重要的 2-3 个 HEART 维度：例如 checkout flow 最关心 task success 和 happiness；content feed 最关心 engagement 和 retention；新功能发布最关心 adoption。
13. 为每个要优化的指标命名可能受损的反指标；若参与度上升但满意度下降、转化改善但支持工单增加，视为警示信号。
14. 使用 GSM 框架防止直接跳到指标：先定义具体用户/业务目标（如「用户能快速找到相关内容而无需过多浏览」，而非「改善用户体验」）。
15. 在 GSM 中识别可观察用户行为信号，作为意图与数据之间的桥梁；例如「用户直接导航到相关内容」是信号，「用户在站点花更多时间」不一定是成功信号，可能表示迷失。
16. 在 GSM 中将信号量化为指标：明确具体公式、数据源、测量频率和成功阈值，例如「80 分位会话中位点击数到内容少于 3，每周通过 analytics 测量」。
17. 在发布前为每个主要功能建立 GSM 链；如果无法 articulation 目标，就不知道成功是什么；无法识别信号，就是在猜测量什么；无法定义指标，就无法从发布中学习。
18. 设计 A/B 测试时使用假设结构：如果 [具体变更]，那么 [具体指标] 将 [变化方向] [估计幅度]，因为 [因果推理]。
19. 在测试前设置最小可检测效应 MDE：确定值得检测的最小变化；0.1% 转化提升可能不值得工程投入，5% 值得；MDE 决定所需样本量。
20. 计算样本量：依据基线转化率、MDE、统计功效（通常 80%）、显著性水平（通常 95%/alpha=0.05）；不要猜，使用公式或计算器。
21. 参考常见场景样本量（双侧检验、80% 功效、95% 显著性、两个变体）：基线 5%、相对 MDE 20%（5%→6%）约 25,000/变体；基线 10%、MDE 10%（10%→11%）约 14,500；基线 10%、MDE 20%（10%→12%）约 3,800；基线 25%、MDE 10%（25%→27.5%）约 4,800；基线 50%、MDE 5%（50%→52.5%）约 6,000。
22. 如果所需样本量超过月流量：提高 MDE（只检测较大效应）、延长测试时长，或接受 A/B 测试不是正确方法并改用定性研究；不要运行功效不足的测试。
23. 运行测试至少 1-2 个完整周周期以考虑星期几效应；季节性业务需更长；即使提前达到样本量也不要少于一周，因为行为模式随日期变化。
24. 按用户细分检查差异效应：新用户 vs 回访用户、移动端 vs 桌面端、地理区域、套餐类型；整体中性结果可能隐藏某细分强正向、另一细分强负向。
25. 定义护栏指标：明确什么不能变差；例如测试新 checkout 流程时，护栏指标可包括每用户收入、支持工单量、退货率；如果变体提高转化但增加退货，测试失败。
26. 避免 A/B 测试常见错误：在达到统计显著前偷看结果；运行过多变体而不校正多重比较；忽略新奇效应（等待效应稳定）；因早期结果看似决定而提前停止；同时运行多个测试时未考虑交互效应；在真正问题是结构性问题时测试装饰性变更。
27. 分析漏斗时精确定义步骤：明确「add to cart」是点击按钮还是确认添加，「checkout」是开始支付表单还是提交；将每步定义为具体、可观察、无歧义的事件。
28. 测量每步之间的转化：Step1→Step2 有多少百分比继续？多少返回上一步？多少完全离开？每个转化讲述不同故事。
29. 识别最大流失点：聚焦转化率最低的步骤转换；「查看产品」到「加入购物车」流失 40% 与「输入支付」到「确认订单」流失 40% 是不同问题。
30. 按所有维度细分漏斗：用户类型（新 vs 回访）、设备、流量来源、地理、一天中的时间、星期几；聚合漏斗会隐藏信号。
31. 发现流失点后，知道用户在哪里挣扎；要与 /investigate 配合（会话录制、可用性测试、摩擦点问卷）理解为什么；没有上下文的数字会导致糟糕干预。
32. 对漏斗做基准比较：跨时间段（上次发布是否有帮助？）、跨细分（谁最挣扎？）、谨慎对照行业基准（用于数量级检查，不要用作具体目标）。
33. 进行定性和定量三角验证：数字告诉你发生了什么，定性告诉你为什么，单独都不足以做设计决策。
34. 需要三角验证的场景：指标显示流失但不知道原因 → 在摩擦点进行可用性会话；满意度分数在改版后下降 → 访谈用户理解体验变化；A/B 测试无统计差异 → 定性研究揭示两个变体有相同根本可用性问题；功能采用率低 → 区分是发现性问题、有用性问题还是可用性问题。
35. 三角验证操作：从定量开始识别 WHAT 和 WHERE；用定性理解 WHY；回到定量验证干预是否解决 WHY；重复。
36. 不要仅凭一种数据类型做重大设计决策：指标说转化提升 5% 不能说明是创造真实价值还是给替代路径增加摩擦；5 人可用性测试不能说明问题有多普遍；两者结合才能说明真实情况。
37. 在伦理测量中应用 Goodhart's Law：当测量成为目标，它就不再是好的测量；警惕团队被激励在 time-on-site 时构建无限滚动和自动播放、被激励在 signups 时构建欺骗性注册墙、被激励在 engagement 时构建通知垃圾。
38. 认识到 engagement 不等于 value：高参与可能表示上瘾而非满意；在参与指标旁包含满意度指标；如果参与上升但满意度下降，你构建的是老虎机而不是有用产品。
39. 警惕暗黑指标模式：统计预勾选选框产生的「成功」newsletter signups；测量来自用户点击关闭的唠叨通知的「engagement」；庆祝实际是取消阻力的「retention」；报告来自误导按钮标签或紧迫计时器的「conversion」；追踪由混乱导航驱动的「time on site」。
40. 任何通过实现暗黑模式而改善的指标都是在测量错误的东西；在庆祝指标改善前问：这个改善是否可能通过暗黑模式实现？如果是，验证它没有。
41. 伦理替代框架：在每项业务指标旁测量用户满意度、任务完成和努力程度；构建两列测量仪表盘：业务结果和用户结果；如果业务指标改善而用户体验指标下降，即使无人故意，也视为暗黑模式信号。
42. 配对业务指标与用户指标：conversion rate → 购买后满意度；engagement (DAU) → 用户报告的价值；retention → 取消的容易程度；revenue per user → 感知性价比。
43. 当指标指向策略时，可重新打开 /strategize，但触发条件包括：目标受众矛盾（细分分析显示实际主要用户不是策略假设的受众）；功能验证失败（所谓核心功能未被使用，外围功能被大量使用）；解决方案匹配失败（流失不在你优化的流程中，而在流程之前）；Goodhart's Law 触发（主指标改善、反指标恶化、定性证实用户更差）；机会误算（测量到的支付意愿、使用频率或触达比策略估计低一个数量级）。
44. 不要因常见假阳性重新打开策略：结果略低于预测（方向比幅度重要）；早期指标来自新奇或季节性效应（等待 2+ 周周期稳定）；单个表现不佳细分（可能需要细分特定工作，而非全面重开策略）。
45. 负责任地重新打开策略：命名指标矛盾的战略假设，例如「我们假设 [X 受众与 Y 动机] 是主要，但数据显示 [Z]」，而不是「用户不转化」。
46. 负责任地重新打开策略：带来证据而非结论——指标、反指标、定性信号和原始假设；让 /strategize 重新 framing，不要预先 framing。
47. 负责任地重新打开策略：请求用户授权重新打开；测量可以表明策略可能错误，但只有拥有人类业务上下文的人决定策略是否必须改变。
48. 设置停止条件：每个项目迭代基于发布后指标最多一次策略重开；第二次重开表明用户必须解决的 framing 问题——停止分析并直接暴露紧张。
49. 按输出格式生成成果：测量框架（GSM map）——每个主要功能或 initiative 的 Goal-Signal-Metric 链，包括反指标和伦理考虑。
50. 按输出格式生成成果：A/B 测试计划模板——假设、变体、主指标、护栏指标、样本量计算、时长、细分计划、决策标准（什么结果意味着什么行动）。
51. 按输出格式生成成果：漏斗分析模板——步骤定义、转化率、细分维度、流失分析、针对最大摩擦点的定性研究计划。
52. 按输出格式生成成果：指标仪表盘规范——哪些指标、如何显示、更新频率、告警阈值、受众（谁看以及他们据此做什么决策）。
53. 按输出格式生成成果：学习计划——发布后测量节奏：第 1 天、第 1 周、第 1 月、第 1 季度测什么；何时回查、看什么、何时宣布成功或 pivot。
54. 沟通时精确说明数据证明和不证明什么：使用「数据表明」而非「数据证明」；统计显著不等于实际显著；p 值低于 0.05 意味着结果不太可能由偶然造成，不意味着结果重要。
55. 透明说明局限：命名样本量、选择偏差、幸存者偏差、混杂变量；诚实的不确定性比虚假确信更有用。
56. 抵抗虚假确定性：当数据模糊、样本太小、需要定性研究解释数字时，明确说出来；最危险的指标是看起来结论明确但实际不是的指标。
57. 倡导测量对用户重要的东西，而不仅是容易追踪的东西：点击容易计数，满意度更难；任务完成有意义；time-on-site 模糊；即使更难 instrument，也要倡导反映用户成功的指标。

适用边界 · 注意事项

• 所需样本量超过可用流量且无法提高 MDE 或延长测试时长时，不要使用 A/B 测试，改用定性研究。
• 不要仅凭定量指标或定性研究单一数据类型做重大设计决策；必须进行三角验证。
• 当指标可能通过暗黑模式提升时，不要把它当作成功指标；先建立反指标和用户指标进行验证。