用生产遥测数据驱动测试设计：从错误日志…

当需要把生产环境的错误日志、分布式追踪和指标作为输入来设计新测试、补齐测试覆盖缺口时使用。

适用场景

解决思路

1. 在测试运行器中集成 OpenTelemetry：通过 service.name、test.suite、test.run_id 资源属性让测试执行与应用追踪关联，并在运行器的 global teardown 中用 await sdk.shutdown() 刷新，不要用 process.on('beforeExit')（会丢失尾部 span）。
2. 用追踪结构做断言：断言调用了哪些服务、没有 ERROR span、根 span 延迟、数据库操作等，而不只是 HTTP 状态码；单元级 span 检查用进程内 InMemorySpanExporter + SimpleSpanProcessor 同步读取 getFinishedSpans()，跨进程追踪才用真实 collector + waitForTrace。
3. 用 assertTraceStructure 辅助函数验证分布式追踪：确认请求按预期顺序流经各服务，并做逐 span 的属性与 maxDuration 检查。
4. 将 @opentelemetry/semantic-conventions 在 package.json 中精确锁定版本（不用 caret），例如 "@opentelemetry/semantic-conventions": "1.41.1"，用 npm install --save-exact 安装；sem-conv 升级视为破坏性变更，需对照 release notes 手动更新断言。
5. 不要引入新的 OpenTracing shim：OTel 规范已于 2026 年 3 月弃用 OpenTracing 兼容层，新埋点应使用原生 OTel API 和 OTLP。
6. 分析生产错误日志找测试缺口：导出最近 30 天、出现次数 > 5 的错误，按错误消息指纹分组；对每组判断是否已有测试能捕获（有则调查测试为何没跑或存在缺口，无则新建测试），并按错误特征决定测试层级（TypeError/空引用→单元测试，超时/连接错误→带故障注入的集成测试，UI 渲染错误→E2E 测试，数据不一致→契约测试或数据库测试）。
7. 按频率×影响×新近度对测试创建排优先级：用频率（高/低）×影响（高/低）的 2×2 矩阵，P0=高频高影响（立即修），P1=低频高影响（下个迭代），P2=高频低影响（本迭代），P3=都低（待办）；高影响指标为支付/认证失败、数据丢失、崩溃，低影响为 UI 小故障、慢但可用。
8. 用 Gap Score 给端点排测试优先级：Gap Score = (error_rate × requests_per_day) / max(test_count, 1)；标签 CRITICAL ≥ 50、HIGH 12–49、OK < 12，对 HIGH 及以上按分数从高到低创建测试；阈值可自定但必须明确写出，不要手工打标签。
9. 用 exemplar 打通指标→追踪→测试闭环：当高错误率端点出现在矩阵中时，用 OTel exemplars 从错误率指标直接跳到代表性失败 trace ID，再沿该 trace 写出测试。
10. 做热路径分析：从 APM 取请求量前 20 的端点，追踪其跨服务代码路径，把每个服务级 span 映射到测试覆盖数据，找出零覆盖或低覆盖的热路径并补测试。
11. 用持续性能分析（Pyroscope、Parca、Polar Signals、Datadog Profiling）配合端点流量数据，找出端点内部的 CPU 和内存分配热路径；OTel profiling 信号 2026-03-26 进入 public alpha，GA 目标 2026 Q3，暂不可用于生产。
12. 无法加 OTel SDK 时用零埋点可观测性方案：eBPF 工具 Beyla（Grafana）、Cilium Tetragon、Pixie、Coroot 可从内核系统调用捕获 HTTP/gRPC 追踪，适用于遗留或多语言服务。
13. 维护自定义约定或遇到属性漂移时，可用 OTel Weaver 从语义约定 YAML 生成类型安全的埋点代码，保持追踪断言与 sem-conv 升级同步。
14. 执行生产错误到测试的流水线：①检测错误（从 Sentry、Datadog、CloudWatch 等捕获错误消息、堆栈、请求上下文、trace ID、用户影响）；②复现（拉取 trace、确定触发参数与状态、本地或 staging 复现，无法复现则加定向日志等待复现）；③写测试（选对层级，测试必须在修复前失败做红绿验证，在测试名或注释中记录来源生产错误）；④修复并部署（修复后验证测试通过，修复与测试一起部署）；⑤验证消除（部署后监控同一错误，确认计数归零，若复现则修复不完整，从第 2 步重来）。
15. 建立团队反馈闭环：每周 30 分钟错误评审，从错误追踪器拉出频率前 10 的新错误，逐个分配负责人、创建测试或标记为已知/可接受；在每个事后复盘中加入“什么测试能预防这个？”并在事件关闭前创建测试或明确记录缺口，绑定到清单项以便审计。
16. 端到端诊断失败请求：拿到 trace ID 后在 APM 中打开（Jaeger /trace/{traceId}，Datadog /apm/traces?traceId={traceId}，Honeycomb 按 trace.trace_id 查询），遍历 span 树（根 span 看用户请求、子 span 看调用了哪些服务、错误 span 看第一个出错的 span、慢 span 看延迟累积处），按 trace ID 过滤日志查看该请求的所有日志条目及失败前的警告/错误，判断根因在自身代码、依赖还是基础设施，是瞬时故障还是持久 bug。
17. 把测试失败与生产遥测关联：测试失败时查询可观测平台，①在最近 7 天生产错误中搜索匹配消息，②搜索同一 HTTP 路由且状态为 ERROR 的追踪；有匹配说明 bug 真实且影响用户，优先修复；无匹配则可能是测试自身问题或尚未进入生产的新 bug。
18. 避免只测容易观测的东西：给后台任务、缓存操作、异步工作流加 span 并对其断言，凡是生产运行的东西都应产生遥测。
19. 避免过度埋点却不行动：先确定想让测试遥测回答的三个具体问题，建好对应仪表盘，只有出现新问题才加埋点。
20. 避免只把追踪当调试工具：在集成测试中加入基于追踪的断言（调用了正确服务、查询高效、预期缓存命中），捕获 HTTP 层断言漏掉的回归。
21. 避免对概率采样的追踪做断言：为测试流量强制采样（OTEL_TRACES_SAMPLER=always_on 或按请求覆盖），确保被断言的追踪一定被记录。
22. 验证遥测链路后再信任追踪断言：先启动本地 collector，用 OTEL_EXPORTER_ENDPOINT=http://localhost:4318/v1/traces OTEL_TRACES_SAMPLER=always_on npx playwright test --grep @trace 跑一个埋点测试，确认 service.name=integration-tests 的 span 到达 collector；再在代码中断言已知 trace ID 能解析（await collector.waitForTrace(traceId, { timeout: 10_000 }) 必须返回 span），超时则先修采样/刷新/传播问题。
23. 排查常见失败模式：waitForTrace 超时→采样丢弃或导出器未刷新，设 always_on 并在 global teardown 中 await sdk.shutdown()；尾部 span 丢失→改用 global teardown 而非 process.on('beforeExit')；应用 span 不在测试追踪中→确认应用读取并转发 W3C traceparent 且配置了 OTel propagator；db.system/graphql.document/GenAI 属性断言突然失败→sem-conv 版本升级改名，精确锁版本并对照 release notes 更新断言；CI 中无 span 到达 collector→OTEL_EXPORTER_ENDPOINT 在 CI 网络不可达，指向 CI 内 collector 地址；status?.code === 'ERROR' 匹配不到真实错误→collector 序列化为 2 或 'STATUS_CODE_ERROR'，按实际输出匹配。
24. 完成标准：流量前 20 的端点每个都至少在一个采样追踪中解析出 span；至少一条关键用户旅程有基于追踪的断言（验证服务调用和 span 属性而非仅 HTTP 状态）并在 always_on 下通过；针对生产错误分析暴露的已知失败模式有日志驱动的测试用例；已计算错误率/Gap Score 矩阵并产出至少一组按优先级排序的未测试代码路径；package.json 中精确锁定 @opentelemetry/semantic-conventions；有记录在案的部署后评审确认发布标记为稳定前检查了可观测性信号。

适用边界 · 注意事项

• 不适用于发布期间的安全上线技术（功能开关、金丝雀发布）——应使用 testing-in-production。
• 不适用于发布后按计划运行的探针——应使用 synthetic-monitoring。
• 不适用于对 CI 失败做分类路由——应使用 ai-bug-triage。