示意图:一条搜索结果从标题、地址到摘要的字段结构
阅读口径

本篇讲的是索引形成的通用机制,适用于任何搜索词。文中不提供任何站点地址,也不对具体页面的存废作判断。

第一环:抓取,先要有人把门打开

爬虫沿着链接走,遇到一个页面就取回内容。这一环漏掉的东西比多数人想的多:没有任何外链指向的孤立页面,爬虫几乎不会主动发现;需要登录才能看的内容,爬虫看到的是登录页;被站点自己用 robots 协议挡住的目录,压根不会被请求;纯前端渲染且没有服务端输出的页面,可能只被抓到一个空壳。所以“网上有”与“搜索引擎知道有”是两件事,中间隔着一道发现机制。对新站来说,这一环的瓶颈通常是链接,而不是内容质量。

第二环:收录,抓到了也未必留下

抓取只是取回,收录是决定把它写进索引。判断依据包括页面是否重复、是否有实质内容、是否是低质聚合、是否被标记为不索引。同一段文字在几十个镜像站上重复出现时,引擎通常只保留一个主版本,其余归入重复内容,不单独建条目;页面主体是导航、广告或几句套话时,也可能被判定为无价值而不收录。这就解释了一种常见现象:某个页面明明能直接打开,用站内搜索也能找到,但在外部引擎里搜标题却搜不到——它被抓过,只是没被收录。

第三环:保留,收录之后还会消失

索引是有寿命的。页面返回 404 或 410,条目会在若干次抓取失败后被移除;站点整体不可访问超过一段时间,条目会被批量清理;页面内容大改、主题漂移,旧的关键词匹配会失效;站点迁移没做好跳转,新地址要重新排队。此外还有一层常被忽略:索引是分层的,热门页面更新快,冷门页面可能几周才回抓一次,所以你看到的快照与线上内容本来就可能不同步。三个环节叠加,结果就是任何一次搜索都只是某个时间点上的抽样。

可执行检查单

  1. 01想确认某页是否被收录,用站点限定检索(如 site: 加域名)看该页是否出现,而不是只看关键词能否命中。
  2. 02页面上线后先确认返回状态正常、没有被 robots 或 meta 标记挡住,再看抓取与收录是否发生。
  3. 03内容大幅修改或更换域名后,预留一段观察期,不要当天就断言“搜不到就是没了”。

一个常见问题

结果数量写着几十万条,是不是说明真的有这么多相关内容?

那个数字是估算值,用于表达量级,不是精确计数。它通常包含大量重复、变体与低质页面,翻到后面往往迅速收敛甚至重复前面的条目。用它做“多不多”的粗略感受可以,用它做“有没有”“是不是真的”的判断不行。真正有意义的信号是前两三页里原始页面的比例,而不是那个总数。

把三个环节分开看,判断会稳很多

遇到“搜不到”时,先问是哪一环出的问题:没被抓到,抓了没收录,还是收录后被移除。三者的处理方式完全不同——第一种要补链接与站点结构,第二种要改内容与重复度,第三种要查状态码、服务器可用性与迁移配置。把它们混成一句“搜索引擎不行”,只会让人反复做无效尝试。同样,遇到“搜到了”也别急着当成结论,那只是说明这一环都通过了。