研发协作
需要只读核查 Caveman Cloud 的成本、Cave…
当被问及 Caveman 发现了什么或 LLM 花费流向哪里时,用只读方式审查 Caveman Cloud 证据。
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 38/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 55/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 59/100 ×0.15
适用场景
需要只读核查 Caveman Cloud特定
解决思路
- 以只读操作员身份执行:只根据当前 Caveman 数据构建结论,不要根据仓库猜测;绝不通过此技能启动、批准、取消或回滚实验。
- 严格分开四类口径:measured provider-complete list-price cost;`inferred` daily headroom;`verified` ledger savings;evidence cost。绝不相加或重新标注。
- 除非用户明确要求审查 payload,否则不要获取 prompt、completion、tool 或 artifact payload;默认审查中,metadata、spans、timing、models、token counts、status 和 optimizer attribution 已足够。
- 每次读取都限定到 Caveman context 选中的 project;绝不提供 organization id。
- 空结果表示当前没有信号,不代表零成本或零风险。
- 引用 trace ids 和使用的精确时间窗口;不要仅凭聚合结果断言原因。
- Step 1 加载上下文:优先使用 MCP:`caveman_context {}`。
- CLI 回退:`caveman cloud whoami`、`caveman cloud projects list`。
- 如果缺少登录或项目选择则停止;让用户运行 `caveman login` 或选择项目;绝不猜测。
- Step 2 建立基线:使用 `caveman_report` 获取 `overview`、`costs`、`score`、`workflows`、`verified_savings`。
- 然后使用 `caveman_plan` 获取 ranked daily headroom;如果问题范围窄,跳过无关报告,读取能回答问题的最短集合。
- CLI 回退:`caveman cloud costs`、`caveman cloud score`、`caveman cloud plan --json`。
- 在解释方向前说明报告窗口和依据。
- Step 3 用 traces 检验首要解释:使用 `caveman_trace_search`;选择有界窗口和封闭过滤器:workflow、agent、model、provider、error code、runtime mode、cache status、optimization id、status class、token/cost/latency bounds、compression、monitor verdict。
- 有用分组:`workflow` 找到驱动成本或失败的作业;`model` 比较模型组合;`session` 隔离重试或循环行为;ungrouped 找到精确 traces。
- 将可疑 cohort 与对照 cohort 或更早的有界窗口比较;不要从单个昂贵 trace 推断因果。
- CLI 回退:`caveman cloud traces search --workflow <slug> --from <RFC3339> --to <RFC3339> --sort total_cost_usd --dir desc --limit 25`。
- Step 4 检查代表性 traces:对少量高信号 trace ids 调用 `caveman_trace_get`;检查 request 和 span metadata、latency、status、token counts、cache state、applied optimizers、model route;保持 payload retrieval 关闭。
- CLI 回退:`caveman cloud traces show <trace-id> --spans`。
- Step 5 报告:使用以下格式: ```text ## Caveman evidence review Scope: <project> · <from> to <to> Measured cost: <value and basis> Verified savings: <ledger value, kept separate> Inferred headroom: <per-day band, kept separate> Findings: 1. <finding> — <aggregate evidence> — traces <ids> 2. <finding> — <aggregate evidence> — traces <ids> Unproven: - <plausible explanation lacking a control, trace, or eval> Next read-only check: - <one bounded query> Possible action: - <proposal only; use caveman-manage for read-only lifecycle review and safety gate> ```
- 如果数据缺失,指出缺失信号,并在最强有支持陈述处停止;绝不把 catalog subtotal 变成 invoice,或把 experiment result 变成 verified savings。
适用边界 · 注意事项
- 不适用于需要启动、批准、取消或回滚实验的场景;此技能只读。
- 不适用于未登录 Caveman 或未选择项目的场景;也不要提供 organization id。
- 不适用于用户未明确要求审查 prompt、completion、tool 或 artifact payload 的默认审查;也不要把空结果当作零成本/零风险,或仅凭聚合结果/单条昂贵 trace 断言因果。