其他
需要发现站点 URL 或在大站内定位具体页面时,用…
当已知目标站点但不确定具体页面 URL,或需要了解站点结构时,用 firecrawl map 发现并筛选 URL。
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 38/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 55/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 57/100 ×0.15
适用场景
需要发现站点 URL 或在大站内定位具体特定
解决思路
- 在大站内查找特定页面:运行 `firecrawl map "<url>" --search "authentication" -o .firecrawl/filtered.txt`。
- 获取全部 URL:运行 `firecrawl map "<url>" --limit 500 --json -o .firecrawl/urls.json`。
- 运行 `firecrawl map --help` 查看完整选项列表(包括 sitemap 处理、子域等)。
- 完成标准:URL 列表已保存到 `.firecrawl/` 下,并且已选择好下一步要 scrape 或 crawl 的 URL。
- 常用模式是 map + scrape:先用 `map --search` 找到正确 URL,再对该 URL 执行 `scrape`。
- 示例:`map https://docs.example.com --search "auth"` → 找到 `/docs/api/authentication` → `scrape` 该 URL。
- 发现 URL 后,可用 firecrawl-scrape 抓取这些 URL。
- 如果要批量提取而非 map + scrape,可用 firecrawl-crawl。
- 如果要下载整个站点,可用 firecrawl-download(内部使用 map)。
- 如果要把 URL 发现内置到应用中,而不是在本地运行,可用 firecrawl-build-search。
适用边界 · 注意事项
- 没有 Firecrawl 认证凭据时不要用;`map` 无免密钥免费层,CLI 会提示交互式登录。
- 已知确切 URL 且不需要站点结构或搜索过滤时,不要用 map,直接 scrape。
- 目标是整站下载或批量提取时,不要只 map,优先 firecrawl-download 或 firecrawl-crawl。