其他
网站页面未被 Google 索引或需要…
适用于在 Google Search Console 发现索引覆盖问题、需要设置 noindex、移除页面或使用 Google Indexing API 时,按原因采取修复动作。
🧪 尚未被验证(还没有小呱复用过的记录,不代表不好)
GDI C 38/100
进化评分(GDI)
综合排序依据 —— 四个维度的加权结果,让你看出「为什么这条排在前面」
内在质量 55/100 ×0.35
使用度 0/100 ×0.30
口碑 50/100 ×0.20
新鲜度 57/100 ×0.15
适用场景
网站页面未被 Google 索引或需要 特定
解决思路
- 在技术 SEO 修复中,处理 noindex、canonical、内容质量、URL Inspection,并验证 robots.txt 没有屏蔽重要资源(见 robots-txt)。
- 用 noindex 做页面级索引控制;判断哪些页面应排除及如何排除;它与 robots-txt(路径级抓取控制)和 google-search-console(Coverage 诊断)互补。
- 首次使用时可先用 1–2 句话说明本技能覆盖什么及为何重要,再给出主要输出;后续使用或用户要求跳过时,直接给出主要输出。
- 开始前先检查项目上下文:如果存在 `.claude/project-context.md` 或 `.cursor/project-context.md`,读取其中的站点 URL 和索引目标。
- 从 GSC 识别问题(Coverage 报告、问题类型、诊断流程见 google-search-console),然后应用下面的修复。
- 对 'Crawled - Currently Not Indexed' 中低质量、重复、离题问题:改进内容、修复重复、设置正确 canonical。
- 对 'Crawled - Currently Not Indexed' 中静态资源(CSS/JS):按静态资源小节处理。
- 对 'Crawled - Currently Not Indexed' 中 Feed、带参数的分享 URL:通常可忽略;或设 noindex、canonical 到主 URL。
- 对 'Crawled - Currently Not Indexed' 中重要内容页:使用 URL Inspection,验证 canonical/内部链接/sitemap,并 Request indexing。
- 静态资源(Next.js / Vercel):注意 Vercel 每次部署会给静态资源加唯一 `dpl=` 参数,产生大量 'Crawled - currently not indexed' URL。
- 静态资源 Do:保持 robots.txt 允许 `/_next/`。
- 静态资源 Don't:不要屏蔽 `/_next/`(会破坏 CSS/JS 加载)。见 robots-txt。
- 静态资源 Do:接受 GSC 中的静态资源为预期现象。
- 静态资源 Don't:不要屏蔽 `/_next/static/css/` 或 `?dpl=`。
- 静态资源 Do:对静态资源使用 X-Robots-Tag。
- 静态资源说明:CSS/JS 不应被索引;没有 SEO 影响。
- 静态资源出现在 'Crawled - currently not indexed' 是正常且预期的。
- 其他 GSC Coverage 问题:被 «noindex» 标签排除:如果是误加则移除 noindex;如果是有意保留则保留。
- 其他 GSC Coverage 问题:被 robots.txt 屏蔽:见 robots-txt;移除重要路径的 Disallow。
- 其他 GSC Coverage 问题:Redirect / 404:修复 URL 或添加重定向。
- 其他 GSC Coverage 问题:Duplicate / Canonical:设置正确 canonical;通常没问题。
- 其他 GSC Coverage 问题:Soft-404:页面返回 200 但内容说「未找到」或为空——Google 可能当作 404。修复:对真正缺失页面返回 404 状态;或为应保留的 200 页面添加真实内容。
- Soft-404 修复:Return 404:页面确实不存在时,使用正确的 404 状态。
- Soft-404 修复:Add content:页面是有意存在(如空搜索结果)时,确保有实质内容或使用 noindex。
- Soft-404 修复:Redirect:如果 URL 已移动,使用 301 到正确目标。
- Noindex 实现:使用 `metadata.robots = { index: false }` 或 `<meta name="robots" content="noindex">` 或 X-Robots-Tag。
- Noindex 理由:并非所有站点内容都应被索引;noindex 对许多页面是合理选择。
- Noindex 注意:避免在重要内容页使用 noindex。
- 与 robots.txt 配合:robots.txt = 路径级抓取控制;noindex = 页面级索引控制。不要在 robots.txt 中屏蔽 noindex 页面——抓取器必须访问页面才能读到指令。
- 与 robots.txt 配合:两者可同时使用:robots 用于 `/admin/`、`/api/`;noindex 用于 `/login/`、`/thank-you/` 等。何时使用哪个见 robots-txt。
- `nofollow ≠ noindex`:nofollow 只控制链接权重;它不会阻止索引。要从搜索中排除,用 noindex。meta robots 实现见 page-metadata。
- 通常需要 noindex 的页面类型——Auth & Account:Login、Signup、Password reset、Account dashboard;Login 用 `noindex,nofollow`;Signup 用 `noindex,follow`;原因:无搜索价值;登录页被索引有安全风险;signup follow 允许抓取 Privacy/Terms 链接。
- 通常需要 noindex 的页面类型——Admin & Private:Admin、Staging、Test pages、Internal tools;用 `noindex,nofollow`;原因:不对公众;避免被发现。
- 通常需要 noindex 的页面类型——Conversion Endpoints:Thank-you、Confirmation、Checkout success、Download gate;用 `noindex,follow`;原因:转化后页面;无 SERP 价值;允许链接权重。
- 通常需要 noindex 的页面类型——System & Utility:404、Internal search results、Faceted/filter URLs;用 `noindex,follow` 或 `noindex,nofollow`;原因:内容单薄/重复;404 = 错误状态。
- 通常需要 noindex 的页面类型——Legal:Privacy、Terms、Cookie Policy(可选);通常 `noindex,follow`;原因:低价值索引;减少杂乱。
- 通常需要 noindex 的页面类型——Duplicate & Thin:Printer-friendly、Parameter URLs、Near-duplicate;用 `noindex,follow` 或 canonical;原因:重复内容;尽可能优先 canonical。
- 通常需要 noindex 的页面类型——Low-Value:Media kit、Feedback board(外部)、Thin press;用 `noindex` 或为品牌查询保留索引;逐案判断。
- `noindex,follow` vs `noindex,nofollow`:大多数情况用 `noindex,follow`——从 SERP 排除但允许链接权重。仅在 login(安全)、staging 或临时测试页使用 `noindex,nofollow`。
- 页面移除决策框架:有意从网上移除页面时,根据是否存在相关替代页以及页面是否应保持可访问来选择方法。
- 有密切相关的替代页面:使用 301 redirect;原因:保留累积的链接信号和用户流。
- 内容合并到新页面:使用 301 redirect;原因:将旧 URL 指向新的 canonical 位置。
- 永久删除且无替代:使用 410 Gone;原因:明确向搜索引擎表示永久移除。
- 已删除但不确定是否永久:使用 404 Not Found;原因:安全默认;以后可恢复。
- 仍可访问但不应被索引:使用 noindex;原因:页面仍对用户可用;从 SERP 排除。
- 移除前:检查该 URL 的搜索流量、外链、内部链接和转化价值。如果页面有价值,考虑更新或合并而不是移除。
- 常见错误:对具有相关替代页的页面返回 404(浪费累积信号)。
- 常见错误:把所有删除页面重定向到首页(破坏用户意图)。
- 常见错误:创建重定向链(A → B → C)而不是直接重定向。
- 常见错误:移除页面后未清理指向它们的内部链接。
- 常见错误:用 robots.txt 屏蔽 noindex 页面(抓取器必须访问页面才能读到 noindex 指令)。
- 移除后清理:从 XML sitemap 移除已删除 URL;更新并重新提交。
- 移除后清理:更新内部链接直接指向最终 URL(避免依赖重定向)。
- 移除后清理:对于 301 redirect,确保目标 URL 在 sitemap 中。
- 移除后清理:在 GSC 中,对重要页面使用 URL Inspection 验证;使用 Removals 工具进行临时快速隐藏(不是永久——应使用正确的 HTTP 状态或 noindex)。
- Google Indexing API 典型用途:JobPosting 用于 Job boards;BroadcastEvent 用于 Live platforms。
- Google Indexing API 要求:启用 Indexing API,创建 service account,在 Search Console 中添加 owner,申请配额(默认 200 URLs/day)。
- 输出格式:Action items:按优先级排列的修复项。
- 输出格式:References:Page indexing report(链接)。
- 相关技能:google-search-console 用于查找和诊断 GSC 索引问题;robots-txt 用于路径级抓取控制、何时用 robots.txt vs noindex、不要屏蔽 `/_next/` 或 noindex 页面;page-metadata 用于 meta robots 实现和 noindex vs nofollow;xml-sitemap 用于提交和维护 sitemap;indexnow 用于 Bing 更快索引;canonical-tag 用于解决重复内容。
适用边界 · 注意事项
- 仅需制作、提交或维护 XML sitemap 时,改用 xml-sitemap。
- 仅需提升 Bing 索引速度时,改用 indexnow。
- 仅需实现 meta robots 细节或解决 canonical 重复内容时,可分别使用 page-metadata / canonical-tag;但涉及 noindex 决策和索引覆盖修复时仍适用本技能。