在向利益相关方展示分析前做方法论、准确性与偏差的交付前质检

当你需要在分享分析报告、SQL 查询结果或图表前，系统检查其方法论、计算准确性和潜在偏差时使用。

适用场景

解决思路

1. 审查方法论与假设：检查问题框定是否正确、是否可能被不同解读；数据选择是否用了正确的表/数据集、时间范围是否合适；分析人群定义是否正确、有无意外排除；指标定义是否清晰一致、是否符合利益相关方的理解；基线与对比是否公平、时间段/队列规模/上下文是否可比。
2. 执行交付前 QA 清单：逐项完成数据质量、计算、合理性和呈现四类检查。
3. 数据质量检查：确认数据源正确并记录 as-of 日期；数据足够新；时间序列无意外缺口或缺失分段；检查关键列空值率并妥善处理（排除/填补/标记）；确认无坏连接或重复源记录导致的重复计数；核对所有 WHERE 子句和过滤器，无意外排除。
4. 计算检查：GROUP BY 包含所有非聚合列，聚合粒度与分析粒度一致；比率和百分比使用正确且非零的分母；对比使用相同长度的时间段，排除或标注不完整周期；JOIN 类型合适（INNER vs LEFT），多对多连接未虚增计数；指标定义与利益相关方一致，偏差已注明；小计在预期处能加总为总计，否则解释原因（如重叠）。
5. 合理性检查：数值在合理范围内（收入不为负、百分比在 0-100%）；时间序列无无法解释的跳变；关键数字与其他已知来源（仪表盘、历史报告、财务数据）交叉核对；总量在正确数量级；检查边界情况（空分段、零活动期、新实体）。
6. 呈现检查：柱状图从零开始、坐标轴有标签、各面板比例尺一致；数字精度合适、货币/百分比格式一致、必要时使用千位分隔符；标题陈述洞察而非仅指标，并注明日期范围；明确说明已知限制和假设；确保他人能根据文档复现该分析。
7. 系统排查常见分析陷阱：连接爆炸（join 前后检查行数，如 SELECT COUNT(*) FROM table_a 与 JOIN 后对比，若增加则调查关系，计数实体时用 COUNT(DISTINCT a.id)）；幸存者偏差（问“谁不在这个数据集里”）；不完整周期对比（过滤到完整周期，或对比同月同日/同天数）；分母漂移（各对比周期使用一致定义并注明变更）；平均数的平均数（始终从原始数据聚合，如 Group A 100 用户均值 $50、Group B 10 用户均值 $200，正确加权平均为 (100*$50+10*$200)/110=$63.64）；时区不匹配（统一为 UTC 并记录）；细分选择偏差（基于处理前特征而非结果定义分段）；其他统计陷阱（辛普森悖论、相关当因果、小样本、异常值影响均值、多重检验/挑选显著结果、前视偏差、挑选有利时间范围）。
8. 尽可能抽查计算与聚合：独立重算几个关键数字；验证小计加总为总计；检查百分比在预期处加总为 100%（或接近）；确认同比/环比使用正确基期；验证过滤器在所有指标上一致应用。
9. 应用结果合理性检查技术：量级检查（用户数是否符合已知 MAU/DAU、收入是否与已知 ARR 同数量级、转化率是否在 0-100%、50%+ 月环比增长是否现实、均值是否合理、分段百分比是否加总约 100%）；交叉验证（用两种不同方法算同一指标并比对、抽查个别记录手动追踪、与已知基准对比、反向推算如总收入 X 是否约等于人均收入乘用户数、边界检查如过滤到单日/单用户/单类别的微观结果是否合理）；识别需调查的红旗（环比变化超 50% 且无明显原因、恰好整数的计数或求和、恰好 0% 或 100% 的比率、完美证实假设的结果、跨时间段或分段完全相同的值）。
10. 评估可视化：坐标轴是否从合适值开始（柱状图从零）；对比图表比例尺是否一致；标题是否准确描述内容；是否可能误导快速阅读者；是否存在截断坐标轴、不一致间隔或 3D 效果扭曲感知。
11. 评估叙述与结论：结论是否有所示数据支持；是否承认替代解释；不确定性是否恰当传达；建议是否逻辑上源自发现；置信水平是否与证据强度匹配。
12. 提出具体可执行的改进建议：能加强结论的额外分析；应注明的注意事项或局限；关键点的更好可视化或表述；利益相关方会想要的缺失上下文。
13. 生成三级置信评估：Ready to share（方法论可靠、计算已验证、注意事项已注明，仅有小改进建议）；Share with noted caveats（大体正确但有必须传达给利益相关方的具体局限或假设，列出所需注意事项）；Needs revision（发现具体错误、方法论问题或缺失分析，按优先级列出所需修改）。
14. 按指定格式输出验证报告：Overall Assessment、Methodology Review、Issues Found（标注 High/Medium/Low 严重度及影响）、Calculation Spot-Checks（每个指标标注 Verified 或 Discrepancy found）、Visualization Review、Suggested Improvements、Required Caveats for Stakeholders。
15. 按可复现性标准记录分析：使用分析文档模板记录问题、数据源（schema.table_name 及 as-of 日期）、定义（指标/分段/时间段及 UTC 时区）、方法论步骤、假设与局限、关键发现、SQL 查询及注释、注意事项；为可复用代码写文档字符串（分析名、作者、日期、数据源、最后验证日期、目的、假设、输出）；将查询和代码存入版本控制（git）或共享文档系统，记录数据快照日期，重跑时记录变更及原因，链接历史版本以便趋势对比。
16. 在分享前运行 /validate-data，即使快速分析也做合理性检查；若发现问题，修复后重新验证；将验证输出与分析一同分享以建立利益相关方信心。

适用边界 · 注意事项

• 分析尚未完成或数据源、指标定义都还没确定时，无法进行有效验证。
• 仅需对单个数字做简单算术核对、不涉及方法论或结论传达的场景，完整流程过重。
• 没有可访问的原始数据或查询逻辑，只能看到最终结论时，多数抽查和交叉验证无法执行。