许多站长努力地去更新自己的内容，但是这些被更新的内容仍然没有得到收录的机会，而问题并不在于“做的不够多”，而是在于已经做出的内容本身就触及到了“不能被收录”的底线。搜索引擎的索引库空间以及抓取资源都是有限的，并且有一些类型的内容，在开始的时候就并不打算被收录到其中去。把所有的“从不想要被收录到”页面种类都列出，并且帮助大家进行对照检查，避免走冤枉路。

　　一、低质采集页面：网络上有大量的类似页面

　　第一种情况就是采集、抄袭、伪原创拼接而成的网页。

　　搜索引擎把某个网页收录进来的前提就是该网页具有一定的“收录价值”。如果同一种信息已经在互联网上有成百上千个版本了，那么再收录一个就完全是浪费索引资源的行为。最糟糕的情况是大量的数据收集会使整个站点的评分降低，从而影响到原创页面被收录的可能性。

　　对伪原创工具进行提示：把同义词替换成其他词语，改变句子顺序等方式得到的文章，在表面上看来是“原创”的内容，并没有实质性的信息增量，被质量评价系统的算法所检测到并予以标记。还不如认真的写出一篇能够帮助到用户的短文——五百字的价值大于五千字的文字。

　　二、空壳页面：有框架但是没有内容

　　第二种就是内容空洞的“壳”页面了，典型的例子如下：

　　大标题、小内容：一个很大的标题配上几行简短的文字，在点击进去之后什么都没有得到;

　　只有图片或者只有视频而没有文字的情况：蜘蛛不能够理解到视觉的内容所代表的意义，并且在没有任何文字帮助的情况下浏览一个网页基本上就是一片空白;

　　搜索结果页面和标签聚合页面的内容很少：在一个标签里面只有几篇或者一篇文章，而聚合页面就变成了无用的重复列表;

　　“正在建设中”状态下的半成品页面：上线之后不要挂上空白页面，可以设置为不公开浏览的状态。

　　页面价值密度为收录评价的主要内容之一。同一种题材的内容充实的文章可以抵过空洞的文章十篇之多。

　　第三种是欺骗性的网页，碰到就触电

　　第三种就是企图蒙混搜索引擎的网页了，这属于性质最为恶劣的一种：

　　桥页/跳转页：给一个词语批量地创建出网页来，当用户来到这里的时候就会直接跳到别的地方去;

　　隐藏的文字是：把关键词用和背景一样的颜色的小号字体藏到网页里面去;

　　关键词堆积：不考虑句子是否通顺，强行加入很多相同的词语;

　　标题党、内容不符：标题写着A，但是内容却说B，用户点击之后马上就会跳出来。

　　这样的页面一般不会被收录，“不收录”是其中的一种情况，在这种情况下，该页面会被收录但是会被识别出来，并且有可能会受到删除的影响，甚至会影响到整个网站的排名下降。现在的搜索引擎反作弊系统非常完善，所有的侥幸心理最后都会受到惩罚。

　　第四种是技术性的屏蔽页面：蜘蛛根本就无法进入

　　第四种并不是产品质量问题，而是在技术上门的时候没有打开页面：

　　被robots规则屏蔽的页面：规则错误地写了整个网站或者某个分类都被遮挡了;

　　带有noindex标签的页面：在代码中已经明确定义了不要被收录，所以蜘蛛会遵守这个规定;

　　要登录之后才可以查看的内容，在权限墙后面被蜘蛛所不能触及;

　　返回错误的状态页：软404、大量的5xx错误，在抓取的时候就会出错;

　　加载速度非常缓慢，在移动设备上也会出现混乱的情况：用户体验评价不达标，被收录的愿望大大减弱了。

　　这些问题一般都是无意中造成的，在一次修改页面或者一个插件设置的时候就会出现这样的情况，从而导致整个网站被封锁。经常进行技术检查要比一味地发布内容更加重要。如果是自己查找不到的话，可以找专业网站优化的服务来做一次技术体检是比较实际的做法，在此过程中要让对方把问题清单以及修复方案都讲解清楚了，自己也得大致了解一下才行，不能真的当作甩手掌柜来处理。

　　第五大类就是大量的重复页面，只有一份就可以了

　　第五种就是站内的高度重复页面：

　　同一个产品的不同筛选排序页面;

　　使用具有不同参数但是内容完全一样的URL;

　　只改变地区名称而内容不变的一批网页。

　　搜索引擎对于重复出现的内容只选择一个“标准版”进行收录，其他的则会被直接忽略掉。更加麻烦的是大量的重复将会分散抓取预算以及权重，从而影响到有价值的网页表现。

　　解决方案：使用canonical标签来标明规范版本;或者利用robots屏蔽参数页面，集中精力在具有实质性差别和价值的内容上面。

　　六、反过来说就是：搜索引擎要收录哪些类型的网页呢?

　　列出“黑名单”之后还要知道方向。搜索引擎愿意收录到的结果中所具有的共性只有三个：

　　对于用户有帮助的是能够回答一个问题或者解决某个问题的需求;

　　原创并且有一定深度的内容，并非是网络上已经存在的复制版，而是自己具有新的信息增量;

　　访问通畅：没有遇到任何的技术问题，在加载速度上也很快捷，在移动设备上的使用效果也很不错。

　　把以上几点做好了，收录自然就会顺其自然地完成了。许多公司建立线上平台的时候，并不是一开始就做好了网站建设优化工作——页面设计简洁明了、内容原创严谨认真、技术架构规范，在开始的时候就不再制造那些永远不会被收录的页面了，之后所有的努力都将会事半功倍。

　　七、结语

　　搜索引擎不愿意收录的一些网页可以归结为以下几种情况：别人的已经存在了(抄袭)，空洞的没有内容(空白页);造假的虚假信息、欺骗和作弊等行为;无法访问或者被屏蔽的内容。对照自查，把资源从那些没有价值或者已经被别人抄袭过的页面中转移出来，并集中到一些真正有价值、具有创造性的原创内容上来，那么收录的数量也就自然而然地慢慢增加了起来。

　　优化的根本目的并不是要“想方设法地躲避搜索引擎”的审查”，而应该是“不断地创造出能够被收录的价值内容””。如果方向正确的话，那么每一项都是有效的;走错路了，越是拼命就越被动。