搜索引擎如何发现、理解并排名你的网站
这篇是 seo-basics 系列的第 2 课。很多人做 SEO 最大的误解，是把“页面上线了”当成“页面应该有排名”。现实并不是这样。页面要先被发现、被抓取、被收录，再进入排序竞争。理解这条链路，后面讲关键词、页面优化和技术 SEO 才不会变成碎片知识。
这节课解决什么问题
很多网站的问题不是“内容写得不够多”，而是搜索引擎根本没稳定看到、没真正理解，或者没有把你的页面当成值得展示的结果。这节课的目标，是让你建立一个最基础但最关键的 SEO 底层框架：抓取、收录、排名不是一回事，而且每一层都有自己的前提。
这节课的核心结论
页面存在，不代表页面能被搜索到。搜索引擎必须先找到你、看懂你、愿意留下你，最后才轮到排名竞争。
概念加深：抓取、渲染、收录、排名各自失败时，症状完全不同
社区里很多 indexing 问题其实卡在“把所有问题都叫没排名”。如果 Google 从没发现页面，这是发现问题；如果发现了但无法访问，这是抓取问题；如果 HTML 里关键内容要靠 JavaScript 才出现，这是渲染风险；如果页面被抓了但没进入索引，这是收录质量或规范化问题；如果已收录但没有展现，才更接近排名和需求竞争问题。
| 阶段 | 常见症状 | 先查什么 |
|---|---|---|
| 发现 | URL Inspection 显示 Google 不知道这个 URL | sitemap、内链、是否孤岛页面 |
| 抓取 | 被 robots、登录、服务器错误或重定向链挡住 | robots.txt、HTTP 状态码、服务器日志 |
| 收录 | 抓取过但未收录，或被选成其他 canonical | 页面质量、重复内容、canonical、搜索意图 |
| 排名 | 已收录但展现少、排名低、点击少 | 查询意图、竞争页面、标题摘要、内链支持 |
本课术语卡
| 术语 | 一句话解释 | 新手判断 |
|---|---|---|
| Crawl / 抓取 | 搜索引擎请求你的 URL 并读取返回内容。 | 先看 URL 是否能被访问、是否被 robots 或服务器错误挡住。 |
| Render / 渲染 | 搜索系统像浏览器一样执行页面资源，理解 JavaScript 后的内容。 | 关键内容不要只在复杂 JS 后才出现。 |
| Index / 收录 | 页面进入搜索引擎的索引库，具备展示资格。 | 被抓取不等于一定被收录。 |
| Rank / 排名 | 页面进入具体查询的竞争排序。 | 已收录后才谈排名竞争。 |
先建立整体框架：抓取、收录、排名是三件不同的事
很多新手会把这三个词混在一起。更准确地说，它们是一个链路上的不同阶段。某个阶段出问题，后面的阶段就根本不会发生。
搜索引擎处理页面的大致顺序
最常见的误判
- 页面能打开，不代表已经被抓取。
- 页面被抓取，不代表一定会被收录。
- 页面被收录，也不代表一定会有曝光和排名。
再补一个关键边界：抓取、渲染、收录不是同一个动作
很多基础教程只讲“抓取、收录、排名”，但现实里还隔着一个经常被忽略的阶段：渲染。尤其是页面严重依赖 JavaScript 时，这个边界非常重要。搜索引擎可能先拿到原始 HTML，再把页面放进渲染队列，等资源允许时再执行脚本、生成更完整的页面视图，然后才继续处理收录判断。
更接近现实的处理顺序
为什么这个边界重要
- 页面“被访问到了”，不代表搜索引擎已经看到了你真正想展示的内容。
- 如果核心正文、链接、标题信号强依赖前端渲染，理解和收录可能会变慢，甚至出错。
- 所以很多看起来像“没收录”的问题，根源其实是“抓到了，但渲染后的有效内容不稳定”。
第一步：搜索引擎如何发现你的页面
页面要进入搜索系统，前提是搜索引擎先知道它存在。最常见的发现方式包括站内链接、站点地图和外部链接。对大多数网站来说，最稳定的起点是：让页面出现在清晰的站内结构里，而不是做成孤岛页。
如果页面没有从导航、栏目页或相关文章被链接到，它更容易成为孤岛页。
但 sitemap 更像“建议清单”，不能代替清晰的站内结构。
但新手不该把这当作最初级的主路径。
页面被更快发现的概率通常会更高。
常见错误
- 新增页面后，没有从任何重要页面链接过去。
- 页面只存在于后台或搜索结果里，没有稳定入口。
- 站点地图有页面，但导航和内链完全不支持它。
第二步：抓取时，搜索引擎到底在看什么
抓取就是搜索引擎访问页面、读取内容和相关信号。它会尝试理解页面主题、结构、链接关系，以及页面是否能正常访问。如果页面打开慢、结构混乱、重定向异常或内容极薄，抓取质量通常也会变差。
抓取时最常被读取的信号
现实理解
抓取不是简单“访问一下”。抓取的意义是让系统积累足够信号，判断这个页面值不值得留、适合回答什么问题、应该放进哪个主题环境里。
对新手最实用的理解
如果你的页面在关闭 JavaScript 后几乎只剩一个空壳，那你至少要知道：搜索引擎后面还要多走一步渲染流程，才可能真正看到正文和链接。基础课阶段不要求你深入做 JavaScript SEO，但你必须知道这类页面天然比纯 HTML 或服务端直接输出内容的页面更容易出现“看得到页面，却看不全内容”的问题。
第三步：为什么有些页面被抓了，但还是不被收录
收录不是自动发生的。搜索引擎通常会判断一个页面是否独特、是否有价值、是否和网站整体结构契合。如果页面极薄、重复、低价值，或者本来就不值得单独存在，它很可能被发现也被抓取，但不被稳定收录。
| 页面状态 | 常见原因 | 说明 |
|---|---|---|
| 已抓取但未收录 | 内容过薄、价值不足、重复度高 | 系统看到了，但不认为值得留在索引里 |
| 重复页面未收录 | 有 canonical、参数页、近似内容页 | 系统可能只保留其中一个版本 |
| 本不该收录 | 筛选页、测试页、极弱帮助页 | 并不是所有页面都应该追求收录 |
成熟一点的判断
SEO 不是“页面越多越好”。很多站点真正的问题，不是页面太少，而是低价值页面太多，稀释了整体结构和质量信号。
第四步：进入排名竞争后，系统会怎么看你
当页面被收录后，才有资格进入具体搜索词的排序竞争。这个阶段，搜索引擎会判断你的页面和搜索意图是否匹配、内容和结构是否足够清晰、页面是否比当前结果更值得展示，以及用户是否可能更愿意点击你。
页面类型和内容形式必须对得上。
还是只是表面提到了关键词。
这些都可能间接影响表现。
为什么网站结构会直接影响 SEO
对搜索引擎来说，网站不是一堆互相独立的页面，而是一个有层级、有关系的结构。如果你的网站结构清晰，页面之间的主题关系和优先级就更容易被理解。结构混乱时，页面容易变成孤立资源，整个站点也更难形成稳定的主题信号。
更友好的结构通常长这样
结构常见问题
- 文章很多，但彼此之间没有任何逻辑连接。
- 重要页面只能通过站内搜索找到。
- 一个主题被拆成很多很薄的小页面，互相竞争又互相削弱。
为什么内链比很多人想象中更重要
内链的意义不只是“让用户多点几下”。它还能帮助搜索引擎发现页面、理解页面之间的主题关系，并判断哪些页面在站内更重要。新页面尤其需要靠内链进入整体结构，而不是孤零零地挂在那里。
内链至少要承担这 3 个任务
- 帮搜索引擎发现新页面。
- 帮系统理解页面之间的主题关联。
- 帮用户自然走向下一个更相关的页面。
新站和老站为什么会表现不同
很多人用成熟站点的表现来要求新站，这是不现实的。老站通常有更多历史页面、更多被发现的入口、更多已有信号，而新站在搜索系统里几乎是从零开始建立可信度和结构感知。
更需要清晰结构、稳定更新和基础技术正确。
典型问题是重复页面、老结构、低价值内容累积。
更实用的心态
新站要先解决“能不能稳定被发现和理解”；老站则更常需要解决“结构有没有混乱、低价值页面有没有太多、旧信号有没有拖后腿”。
执行清单
学完这一课，先检查这些点
- 你能清楚区分抓取、收录、排名的区别。
- 你知道抓取、渲染、收录不是同一个动作。
- 你知道页面上线不等于页面会被搜到。
- 你知道站内结构和内链会直接影响页面发现和理解。
- 你知道并不是所有页面都值得追求收录。
- 你知道新站和老站在 SEO 上面对的问题并不一样。
课后作业
今天就可以做的 3 个动作
下一步读哪篇
继续往下学
现在你已经理解了搜索引擎处理页面的基本链路，下一节建议继续读 关键词入门：用户会搜索什么，怎么找。因为只有先知道用户会怎么搜索，你才能判断哪些页面值得建、哪些页面应该优化，以及该让哪种页面去承接哪种需求。