数据与AI
已有 URL 时用 Firecrawl /scrape…
当应用已经拿到某个具体 URL,需要抓取该单页内容用于检索、摘要、富化或监控时使用。
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 38/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 55/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 60/100 ×0.15
适用场景
已有 URL 时用 Firecrawl 特定
解决思路
- 默认返回 markdown,除非功能确实需要其他格式。
- 对文章类页面使用 onlyMainContent,以去除导航和页面框架带来的噪声。
- 仅在页面确实需要时,才添加等待或其他渲染选项。
- Firecrawl 会复用最近索引的内容,这正是同一 URL 重复读取很快的原因;设置 maxAge(毫秒)来限制复用副本的最大年龄,或用 maxAge: 0 跳过索引复用以进行对新鲜度敏感的读取。
- 读取 metadata.cacheState 和 metadata.cachedAt,确认实际拿到的是什么内容。
- 一次成功的 scrape 只报告页面返回了什么;页面所描述的对象是否仍然有效,是代码需要根据具体来源做的判断。
- 参考 references/freshness-and-liveness.md 了解权衡、元数据和决策规则。
- 常见产品模式:从已知 URL 做知识摄取;从公司、产品或文档页面做富化;提取价格、变更日志和文档;做页面级质量检查或监控。
- 如果还没有 URL,先用 firecrawl-build-search。
- 如果内容需要点击、输入或多步导航,升级到 firecrawl-build-interact。
- 保持集成范围窄:一个功能、一个 URL、一份提取契约。
- 把 /scrape 当作下游 LLM 或索引管道的默认原语。
- 仅当消费方需要时才请求更丰富的格式,例如 links、screenshots 或 branding 数据。
- 写集成代码前,先阅读对应项目语言的 source-of-truth 文档:Node/TypeScript、Python、Rust、Java、Elixir、cURL/REST。
适用边界 · 注意事项
- 还没有目标 URL 时(应先用 firecrawl-build-search)。
- 内容需要点击、输入或多步导航时(应升级到 firecrawl-build-interact)。