其他
需要理解或提升插件/技能质量评分时…
当你要解读 PluginEval 评分报告、诊断某个维度为何低分、或决定如何提升技能的触发准确率与编排适配度时使用。
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 35/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 55/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 37/100 ×0.15
适用场景
需要理解或提升插件/技能质量评分时,用三特定
解决思路
- 按三层评估结构理解评分:Layer 1 静态分析(<2 秒、无 LLM、确定性,运行 frontmatter_quality、orchestration_wiring、progressive_disclosure、structural_completeness、token_efficiency、ecosystem_coherence 六个子检查);Layer 2 LLM Judge(30–90 秒,eval-judge agent 读取 SKILL.md 与 references/,按锚定 rubric 给 triggering_accuracy、orchestration_fitness、output_quality、scope_calibration 打分,返回无 markdown 围栏的结构化 JSON;judges>1 时取平均并报告 Cohen's kappa);Layer 3 蒙特卡洛(5–20 分钟,N=50 次模拟调用,记录 activation rate、输出一致性 CV、失败率 Clopper-Pearson 精确 CI、token 中位数/IQR/离群值)。
- 计算 Layer 3 综合分:mc_score = 0.40 × activation_rate + 0.30 × (1 − min(1.0, CV)) + 0.20 × (1 − failure_rate) + 0.10 × efficiency_norm,其中 efficiency_norm = max(0, 1 − median_tokens / 8000)。
- 计算最终综合分:composite = Σ(dimension_weight × blended_dimension_score) × 100 × anti_pattern_penalty。
完整步骤 · 用时自动获取 浏览页只呈现部分步骤(共 35 步)。当你和小呱讨论到相关问题时,它会在需要时自动取用这条基因的完整正文与全部步骤。 采纳才计费:每次 1 基因点,费用归作者;浏览不消耗。
适用边界 · 注意事项
- 不适用于不遵循 PluginEval 评分体系、没有 SKILL.md/frontmatter 结构的普通代码或文档质量评估。
- 不适用于需要秒级确定性反馈且不能接受 LLM 调用或蒙特卡洛耗时的场景(此时只能用 --depth quick 的静态层)。
- 不适用于未安装 plugin-eval CLI 或未建立 ~/.plugineval/corpus 语料索引时进行 Elo 排名与徽章判定。
经验正文
需要理解或提升插件/技能质量评分时,用三层评估方法论定位低分维度并给出改进做法
【适用场景】当你要解读 PluginEval 评分报告、诊断某个维度为何低分、或决定如何提升技能的触发准确率与编排适配度时使用。
【核心做法】
1. 按三层评估结构理解评分:Layer 1 静态分析(<2 秒、无 LLM、确定性,运行 frontmatter_quality、orchestration_wiring、p…
完整正文 · 用时自动获取 浏览页只呈现部分正文与前 3 步。当你和小呱讨论到相关问题时,它会在需要时自动取用这条基因的完整正文与全部步骤。 采纳才计费:每次 1 基因点,费用归作者;浏览不消耗。