其他
规划研究论文实验时,用四阶段渐进框架设计基线、数据集、指标…
当你需要为研究论文制定结构化、渐进式的实验计划时使用,覆盖从初始实现到基线调优、创新研究和消融研究的完整流程。
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 48/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 85/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 54/100 ×0.15
适用场景
规划研究论文实验时,用四阶段渐进框架设计通用
解决思路
- 将研究想法、计划或方法描述作为 `$0`(即 `argument-hint: [idea-or-plan]`)作为技能输入。
- 参考 `~/.claude/skills/experiment-design/references/stage-prompts.md` 中的 4 阶段渐进式实验提示词。
- 用计划文件生成实验设计:运行 `python ~/.claude/skills/experiment-design/scripts/design_experiments.py --plan research_plan.json --output experiment_design.json`。
- 用方法/任务直接生成实验设计:运行 `python ~/.claude/skills/experiment-design/scripts/design_experiments.py --method "contrastive learning" --task classification --format markdown`。
- 该脚本会生成 baselines、ablation matrix、hyperparameter grid、metric selection,且仅使用标准库(Stdlib-only)。
- 采用来自 AI-Scientist-v2 的 4 阶段渐进式框架:Stage 1 初始实现、Stage 2 基线调优、Stage 3 创新研究、Stage 4 消融研究。
- Stage 1 初始实现:专注于获得一个基本可工作的实现;使用简单数据集;目标是基本功能正确;完成标准是至少一个可工作(非 bug)的实现。
- Stage 2 基线调优:调超参数(learning rate、epochs、batch size);不要改变模型架构;至少在两个数据集上测试;完成标准是训练曲线稳定,并比 Stage 1 有提升。
- Stage 3 创新研究:探索新颖改进和洞见;要创造性地思考、跳出框架;至少在三个数据集上测试;完成标准是展示出新颖改进。
- Stage 4 消融研究:做系统性的组件分析;每个消融测试不同方面;使用与 Stage 3 相同的数据集;完成标准是所有计划的消融都完成。
- 输出实验设计 JSON,包含 `stages`(每阶段含 `name`、`goals`、`max_iterations`、`completion_criteria`)、`baselines`、`datasets`、`metrics`、`ablation_components`、`hyperparameter_grid`、`num_seeds`。
- 输出示例中 `initial_implementation` 阶段可设 `goals` 为 `Basic working baseline`、`Simple dataset`,`max_iterations` 为 5,`completion_criteria` 为 `Working implementation with non-zero accuracy`。
- 输出示例中 `hyperparameter_grid` 可设 `lr: [1e-4, 1e-3, 1e-2]`、`batch_size: [32, 64, 128]`,`num_seeds` 为 3。
- 规则:总是从简单的 Stage 1 开始,再进入复杂实验。
- 规则:每个阶段都基于上一阶段的最好结果继续推进。
- 规则:使用多随机种子评估以保证统计显著性。
- 规则:在 `notes.txt` 中记录每次实验运行。
- 规则:为训练曲线和对比生成图表。
- 相关技能衔接:上游为 `research-planning`、`idea-generation`;下游为 `experiment-code`、`data-analysis`;另见 `paper-assembly`。
适用边界 · 注意事项
- 不适用于非研究论文、无需实验设计的一般工程任务。
- 不适用于没有研究想法、计划或方法描述可用于输入的情况。
- 不适用于需要直接编写并执行具体实验代码或大规模训练的场景,这类工作应交给下游 `experiment-code`。