用 Prometheus + Grafana…

当需要为分布式系统/云原生应用建立指标采集、可视化、告警与 SLO 监控时，用 Prometheus 生态落地可观测性。

适用场景

解决思路

1. 按四大支柱组织可观测性：Metrics（Counter/Gauge/Histogram/Summary）、Logs（结构化日志+集中聚合）、Traces（Span/Trace，用 OpenTelemetry）、Events（部署/扩缩容/事故等事件）。
2. 理解 Prometheus 架构：TSDB 本地存储+可选远程存储、基于 pull 的 scrape targets（服务发现/静态配置/relabeling）、PromQL 查询引擎、Alertmanager、各类 exporters。
3. 设计标签与基数：标签用于查询/聚合维度，避免高基数标签（user_id、timestamp）；保持标签命名一致；用 relabeling 规范化外部标签；用 prometheus_tsdb_symbol_table_size_bytes 监控基数；用 recording rules 预聚合高基数指标。
4. 用 recording rules 预计算高频/昂贵查询（如 histogram_quantile 的 p99、rate5m），提升看板加载速度、降低查询负载、统一命名、支持复杂聚合。
5. 定义 SLI/SLO/SLA 与错误预算：SLI 衡量质量（可用性/延迟/吞吐），SLO 是目标（如 99.9% 可用性、95% 请求 <200ms），SLA 是对外合同；错误预算 = 100% - SLO，用于权衡创新与可靠性。
6. 编写 prometheus.yml：设置 global scrape_interval/evaluation_interval/external_labels，配置 alerting.alertmanagers、rule_files、scrape_configs（自监控、node exporter、应用），并用 relabel_configs 规范化 instance 标签。
7. 配置 Kubernetes 服务发现：用 kubernetes_sd_configs 的 endpoints/pod/service 角色；按 prometheus.io/scrape、prometheus.io/port、prometheus.io/path 注解筛选与改写；添加 namespace/pod 标签；对 service 用 blackbox-exporter 做探测。
8. 配置存储与保留：storage.tsdb.path、retention.time、retention.size；用 remote_write 做长期存储并设置 queue_config（capacity/max_shards/max_samples_per_send）与 write_relabel_configs 丢弃高基数指标；用 remote_read 查询历史数据。
9. 掌握 PromQL 基础：instant vector 选择器、标签匹配（=、!=、=~、!~）、range vector（[5m]）、rate/increase/avg_over_time/max_over_time/min_over_time/stddev_over_time。
10. 掌握 PromQL 聚合：sum/avg/count、by/without 分组、topk/bottomk、quantile；数学运算、比较运算、逻辑运算（and/or）、向量匹配（on/group_left）。
11. 使用高级 PromQL 模式：成功率、错误率百分比、histogram_quantile 计算延迟分位、predict_linear 预测增长、用标准差检测异常、RED 方法计算饱和度、SLO burn rate。
12. 编写告警规则：定义 alert/expr/for/labels/annotations（summary、description、runbook_url）；覆盖高错误率、高延迟、服务宕机、磁盘空间低、内存压力、CPU 饱和等场景。
13. 配置 Alertmanager：global（resolve_timeout、slack_api_url、pagerduty_url）、templates、route 树（group_by/group_wait/group_interval/repeat_interval、按 severity/team/service 路由）、receivers（Slack/PagerDuty/Email）、inhibit_rules 抑制冗余告警。
14. 实现 SLO 多窗口多燃烧率告警：用 1h+5m 快燃烧（14.4x）触发 critical，用 6h+30m 慢燃烧（6x）触发 warning，避免误报与漏报。
15. 构建 Grafana 看板：定义 dashboard JSON（title/tags/time/timepicker/templating/panels）；用模板变量（cluster/service/interval）复用看板；配置 graph panel 的 targets、yaxes、legend、alert 条件。
16. 按 RED 方法建看板：Request rate、Error rate、Duration（p99/p95/p50），按 service 分组。
17. 按 USE 方法建看板：Utilization（CPU/内存/磁盘 I/O）、Saturation（load average）、Errors（网络错误）。
18. 部署 node_exporter 采集系统指标：CPU（node_cpu_seconds_total）、内存（node_memory_MemTotal_bytes/MemAvailable_bytes）、磁盘 I/O（node_disk_io_time_seconds_total）、网络（node_network_receive/transmit_bytes_total）、文件系统（node_filesystem_size/avail_bytes）；用 collector 参数排除无关挂载点与网卡。
19. 编写自定义应用 exporter：Python 用 prometheus_client 定义 Counter/Gauge/Histogram/Summary 并 start_http_server；Go 用 client_golang 注册指标并暴露 /metrics；覆盖请求计数、请求时长、活跃用户、队列大小、数据库连接、缓存命中/未命中。
20. 部署第三方 exporter：PostgreSQL exporter（DATA_SOURCE_NAME、collector.stat_statements/stat_database/replication，关键指标 pg_up/pg_stat_database_*/pg_stat_replication_lag/pg_locks_count）；Blackbox exporter（http_2xx/http_post_json/tcp_connect/icmp 模块，配合 relabel 做探测）。
21. 遵循指标命名规范：<namespace>_<subsystem>_<metric>_<unit>，snake_case，counter 用 _total，带单位后缀（_seconds/_bytes/_ratio/_percentage），避免 RequestCount/request_time 等反例。
22. 遵循标签规范：用低基数、有界标签值（如 status_class="2xx"），避免 user_id/session_id/response_size 等高基数或无界标签。
23. 遵循告警设计原则：告警症状而非原因、可操作并附 runbook、合理分级、基于历史数据设阈值、注解含上下文、分组相关告警、用抑制规则、测试告警规则。
24. 遵循看板最佳实践：按受众分看板、统一时间范围、包含 SLI/SLO、加部署注解、用模板变量、展示趋势与聚合、附 runbook 链接、选合适可视化。
25. 配置高可用：部署多个 Prometheus 实例（相同配置、不同 replica external_labels），用 Thanos 去重并提供全局视图、上传块到对象存储、提供 StoreAPI。
26. 用容量规划查询：predict_linear 预测磁盘耗尽/内存增长/请求增长，用 prometheus_tsdb_storage_blocks_bytes 估算存储容量。
27. 用 Federation 做多集群监控：全局 Prometheus 从各集群 Prometheus 的 /federate 抓取，honor_labels=true，match[] 选择 job="prometheus" 与 recording rules。
28. 实现成本监控：用 recording rules 基于 kube_pod_container_resource_requests 计算 CPU/内存小时成本与月度估算。
29. 实现自定义 SLO：用 recording rules 计算成功率 SLI、错误预算剩余（30 天）、延迟 SLI（p99 < 500ms）。

适用边界 · 注意事项

• 不使用 Prometheus 生态（如仅用其他监控栈）时，本技能的具体配置与 PromQL 不直接适用。
• 没有 Kubernetes/云原生环境或不需要 pull 模型与 exporters 时，部分服务发现与 exporter 配置不适用。
• 未部署 Alertmanager/Grafana/Thanos 等组件时，告警路由、看板与高可用部分无法直接落地。