需要抓取 JS 渲染或登录受限文档门户时，用…

当文档门户依赖浏览器导航、登录鉴权、分页或 JS 渲染时，用 Firecrawl 抓取并输出结构化 JSON/Markdown 知识库。

适用场景

解决思路

1. 从上下文推断门户 URL、输出格式、鉴权需求和页面上限；若门户已明确则直接开始，不要多问。
2. 仅在受阻时最多提 1-3 个简洁问题，例如门户 URL、是否需要鉴权、期望的输出格式。
3. 用 Firecrawl 浏览器打开门户并检查导航结构。
4. 识别分区、分类、侧边栏链接和文章 URL。
5. 跟随侧边栏导航、next 链接、分页、load-more 控件或搜索来遍历页面。
6. 将文章内容抓取为 markdown。
7. 提取元数据，如 title、section、last updated date、author 和 tags。
8. 对公开 URL 可尝试用 Firecrawl map 作为补充，但对鉴权受限或 JS 重度内容使用浏览器导航。
9. 按最终交付模板输出：Summary（提取页数、覆盖分区、限制）、Output（JSON/markdown/merged 文件路径或内容）、Sections（分区名与文章数）、Failed Or Restricted Pages（访问/加载问题）、Sources（提取的 URL）、Rerun Inputs（workflow、url、format、max_pages）。
10. JSON 结构使用 source、url、extractedAt、totalArticles 和 sections[]，其中文章包含 title、url、section、content 和 metadata。
11. 保留代码示例、表格和格式。
12. 剥离导航栏、页眉和页脚。
13. 跟踪提取进度和页面失败情况。
14. 遵守鉴权边界。

适用边界 · 注意事项

• 没有 FIRECRAWL_API_KEY 或无法使用 Firecrawl 服务时。
• 门户内容无需浏览器导航、鉴权、分页或 JS 渲染，用简单抓取即可完成时。
• 不允许或未授权抓取该门户内容时。