当网页被删除、修改或404时…

在页面被删除、改动或无法访问时，通过 Wayback Machine、CDX API、archive.today、Common Crawl 和 Memento 等归档来源恢复历史网页内容并固定证据。

适用场景

解决思路

1. 按情境选择归档来源：当前404的URL先用Wayback再用archive.today；想知道某站点在X之前说过什么用Wayback CDX加collapse=digest；JS重的页面或社交帖子用archive.today；Wayback提示URL被排除时用archive.today再试Common Crawl；不知道的路径和子域用CDX的matchType=domain；Wayback从未抓取的URL用Common Crawl；地区性或国家顶级域内容用Memento聚合器再查国家档案馆；不能丢失的证据先自行抓取再提交到两个归档。
2. 用CDX API做枚举而非查询：curl -s 'http://web.archive.org/cdx/search/cdx?url=example.com/*&output=json&fl=original&collapse=urlkey' | jq -r '.[1:][] | .[0]' | sort -u，用output=json避免文本格式对含空格引号URL的破坏，注意第一行JSON是表头不是抓取记录，故用.[1:]。
3. 掌握四个关键参数：matchType取exact/prefix/host/domain，matchType=domain会返回主机及所有子域，常能发现已从DNS消失的staging、legacy和内部主机；filter=<field>:<regex>可用!取反并可组合，如statuscode:200筛出有内容的抓取、!mimetype:text/html隔离文档和配置文件；from/to接受任意精度的时戳前缀如from=2019、from=201903以框定事件窗口；collapse抑制相邻共享某字段的行，collapse=urlkey是枚举惯用法，collapse=digest最关键。
4. 用collapse=digest把页面历史压缩为内容真正发生变化的抓取：digest对抓取载荷做哈希，四百次抓取可缩为六行，这六个日期就是故事本身，例如curl -s 'http://web.archive.org/cdx/search/cdx?url=example.com/about/team&output=json&collapse=digest&fl=timestamp,digest,statuscode'。
5. 区分回放与原始抓取：web.archive.org/web/<timestamp>/<url>是重建页面，会注入工具栏、重写链接和资源引用，并从各自最近的抓取拉取资源，可能与你请求的HTML相隔数月，渲染出的页面可能从未存在过。
6. 在时戳后加id_获取无注入无重写的原始归档响应：curl -s 'https://web.archive.org/web/20190412093000id_/http://example.com/pricing' > pricing-2019.html，凡是要解析、哈希、diff或引用的内容都用id_；回放为空白页可能其实抓取完好，先取原始响应再下结论，但归档的JS在浏览时调用的API没有数据，因为API响应从未被抓取，这类页面天生是空壳。
7. 从collapse=digest列表取两个日期的原始抓取做文本对比，删除的部分就是证据：团队页面上被删掉的人是一次有日期范围的离职，也是不再有忠诚理由的find-anyone线索。
8. 实际可恢复的内容包括：员工和团队页面（现站列现在的人，归档列所有曾在的人，含头衔、简介和改用联系表单前的直邮邮箱）；先前定价和条款（收费、承诺、争议开始日的退款政策，以及被删除的帖子、新闻稿、合作、融资或客户）；旧联系方式（电话、街道地址、具名联系人，接入whose-number-is-this）；删改前文案（将全文发布的页面与其编辑后的版本diff，可见花钱请律师删掉的具体字词）；被遗忘的文件（文档路径、备份文件名、管理界面）；域名的前所有者（域名易主会在归档历史中显示不同业务，是识别洗白声誉收购的最快方式）。
9. 先保全再深入：任何发现都可能被移除，调查本身有时会引发移除，先抓取后分析。把实时URL提交到Internet Archive的Save Page Now（https://web.archive.org/save/）和archive.today，让两个独立机构持有你未创建的带时戳副本。
10. 自行留存记录：用wget --warc-file=evidence-001 --page-requisites --no-parent https://example.com/pricing抓取WARC以保留含头部的完整HTTP交换，再用sha256sum evidence-001.warc.gz | tee evidence-001.sha256记录哈希，并记录UTC抓取时间、请求的确切URL和哈希；仅截图很弱（易伪造、无头部），第三方归档URL加自己的哈希WARC才强，因为二者互相印证且其一不受你控制。
11. 验证抓取真实性：任何人都能向归档放入内容，Save Page Now和archive.today都接受匿名提交的任意URL，抓取只能证明该URL在彼时向该爬虫提供了该内容，不能证明谁控制了该URL。
12. 识别常见伪造途径：伪造归档页面截图（绝不要接受归档截图，要从归档URL本身重新抓取）；通过URL注入内容（反射型查询参数、用户生成内容路径或开放重定向可让攻击者在看似合法的域名上归档自选文本，逐字符读original字段，注意?或#之后的内容、陌生路径段、相似主机名）；域名易主后的抓取（该域名属于买家而非原业务，用who-owns-this-domain核对转移日期与抓取时戳）；选择性抓取（真实页面只上线十一分钟，由发布者本人归档）。
13. 按强度排序做印证：确认该记录在CDX索引中独立存在且statuscode为200并有digest；寻找由归档自身爬虫而非按需提交产生的相邻抓取，爬虫抓取更难伪造；核对同一日期附近的第二个独立归档；核对其与站点其他历史的一致性。孤立的按需抓取且无邻居，只是提交者的断言。
14. 避免常见错误：缺失不等于证据（无抓取可能意味着未链接、被robots屏蔽、需登录、太冷门未被爬或已被移除，而非页面从未存在，写“无记录”前先查两个归档）；排除看起来像缺失（明确的排除通知意味着有人采取了行动，普通404则什么都不意味着，是不同的事实，要注明你得到的是哪种）；追溯性移除（Wayback历史上曾将站点当前的robots.txt应用于其全部归档历史，新的Disallow可能一次拉走多年抓取，使购买过期域名加限制性robots.txt成为廉价洗白站点历史的方式，当历史看起来太干净时去archive.today和Common Crawl）；合成渲染（混合日期的资源意味着渲染页面是重建，引用HTML抓取时戳而非“当时的样子”）；抓取时间不等于发布时间（3月首次抓取的页面可能1月就已发布，抓取只给出日期上界）；动态和个性化内容（爬虫只看到一种变体——一个地理、一个A/B桶、未登录，价格和可用性尤其如此）；稀疏采样会掩盖一切（一年抓两次的页面可能变化又复原而无痕迹，collapse=digest显示的是观察到的变化而非所有变化，时戳是UTC，忘记这点会让时间线差一天）。
15. 按置信度分级：Confirmed为爬虫发起的statuscode:200抓取、用id_取原始、URL经核实属于目标主体、并有第二个归档或同一爬取序列中相邻抓取印证；Probable为单个格式良好的Wayback抓取且无第二来源，或与站点其他历史一致的archive.today抓取；Unconfirmed为无邻居的按需抓取、带查询参数或用户生成内容路径的URL、截图、从合成回放而非原始响应读取的内容；Rejected为URL在该日期不受目标主体控制的抓取，或域名转移后取得却当作前所有者内容的抓取。
16. 引用时给出完整归档URL含时戳、原始URL、UTC抓取时间和获取方式，没有时戳的归档引用不算引用。
17. 参考工作示例：某供应商网站声称有行业认证，客户签约前要求核实。对认证页面做collapse=digest返回六年内九次内容变化，最近一次前后的原始抓取显示认证机构名称变了——从受认可的认证方变为名称相似的实体，且无公告。死胡同：认证方自己的登记册无论哪种都无实时条目，其归档成员列表回放为空壳，用id_取回显示原因——列表由客户端从API调用渲染，爬虫抓到的页面没有数据，无可恢复。随后对matchType=domain做CDX枚举发现一个staging主机存有原始证书的归档PDF，其元数据带有比当前网站声称覆盖期早两年的到期日，并用secrets-in-file-metadata从同一文件取得作者名。评级：措辞变化为confirmed（两次爬虫抓取、原始、均已读取），失效为probable（一份文档，认证方未确认）。
18. 按pivots表转向：前员工姓名、头衔、简介转find-anyone、pattern-of-life-from-socials；表单前联系页的邮箱转what-an-email-reveals；电话和街道地址转whose-number-is-this；CDX枚举出的子域和主机转find-hidden-subdomains、who-owns-this-domain；归档文档和PDF转secrets-in-file-metadata；归档图片转find-the-original-image、geolocate-from-pixels；被遗忘的路径和暴露文件名转google-like-a-spy、secrets-in-git-history；域名的前公司身份转x-ray-a-company、who-really-owns-it；编辑和删除的时间线转write-the-intel-brief、graph-the-network。
19. 注意法律与处理：读归档是被动的，只接触归档服务器而非目标服务器；对实时站点抓取恢复的路径不是被动的，会落入目标日志，要有意识地决定在做哪一种。归档的个人数据仍是个人数据，因被遗忘权请求而移除的内容可能仍存于归档，重新发布可能产生该移除本欲消灭的责任，要权衡调查需要与移除原因并按ETHICS.md最小化。在发布报告中复制大量归档内容是独立于作为证据使用的版权问题。批量检索会加重非营利机构基础设施负担：对枚举和原始抓取限速，索引只拉一次而非反复拉取。

适用边界 · 注意事项

• 当页面从未被任何归档抓取且无独立爬虫覆盖时，本技能无法恢复内容，缺失不等于页面不存在。
• 当需要证明的是页面在特定时刻对特定用户（如登录后、特定地理或A/B桶）的呈现时，归档只保存爬虫看到的一种变体，不能作为该呈现的证据。
• 当涉及被遗忘权移除的个人数据时，重新发布归档内容可能产生该移除本欲消灭的法律责任，需先权衡调查必要性与移除原因。