其他
在 Replicate 上对比多个模型并按成本、速度…
需要从多个 Replicate 模型中选出最符合成本、延迟、质量和能力约束的模型时使用。
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 35/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 55/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 38/100 ×0.15
适用场景
在 Replicate 上对比多个模型并特定
解决思路
- 参考文档:<https://replicate.com/docs/llms.txt>。
- 查看 OpenAPI schema:<https://api.replicate.com/openapi.json>。
- 使用 MCP server:<https://mcp.replicate.com>。
- 获取单个模型文档:`https://replicate.com/{owner}/{model}/llms.txt`。
- 请求文档页面时设置 `Accept: text/markdown`,以获取 Markdown 响应。
- 搜索或浏览 collections,建立候选模型 shortlist。
- 获取每个模型的 schema,对比 inputs、outputs 和 capabilities。
- 从模型 metadata 或 Replicate 网站检查 pricing。
- 运行小批量 test predictions,对比输出 quality。
- 选择最符合约束(cost、latency、quality)的模型。
- Speed:在已完成的 predictions 上检查 `metrics.predict_time` 获取实际 inference time;官方模型始终 warm,社区模型可能 cold-boot。
- Cost:官方模型有可预测的 per-run pricing;社区模型按 compute time(GPU-seconds)计费;运行几次 predictions 并检查 `metrics` 字段获取实际 cost。
- Quality:对每个模型运行相同 prompts 并对比 outputs;quality 是主观的;按你的 use case 匹配,而不是按 leaderboard。
- Capabilities:对比 input schemas 支持的功能(reference images、masks、aspect ratios、streaming、multi-image input);检查 output formats。
- 若目标是最低 cost,选择更小/蒸馏模型;接受更慢 inference 和更低 quality。
- 若目标是最低 latency,选择官方模型或 schnell/turbo 变体;接受更高 per-run cost。
- 若目标是最高 quality,选择 pro/max/quality 变体;接受更慢 inference 和更高 cost。
- 若目标是最多控制,选择带 ControlNet、masks 或 reference images 的模型;接受更复杂的 input setup。
- 判断官方模型:确认其是否始终 warm、API 稳定、pricing 可预测、由 Replicate 维护。
- 判断社区模型:确认其是否可能 cold-boot、需要 version pinning、由作者维护。
- 如果社区模型满足需求而官方模型不满足,创建 deployment 以获得一致 uptime。
- 图像生成和编辑的 prompting techniques 和任务特定指导:参考 [prompt-images](../prompt-images/SKILL.md) skill。
- 视频生成的 prompting techniques 和任务特定指导:参考 [prompt-videos](../prompt-videos/SKILL.md) skill。
适用边界 · 注意事项
- 不使用 Replicate 或没有 Replicate 账号/API 访问权限时。
- 已锁定单个模型,不需要在多个模型间比较成本、延迟、质量和能力时。
- 不能运行 test predictions 或不能接受对比产生的费用时。