SEO常见问题

网站抓取异常

字号+ 作者:团子 来源:原创 2015-10-08 22:44 我要评论()

蜘蛛在抓取网站的时候常常会遇见抓取异常情况,出现这样的情况对于网站来说损害很大,那么常见的抓取异常都有哪些情况呢? 1、服务器异常。服务器异常就会使得网站在连接的过...

    蜘蛛在抓取网站的时候常常会遇见抓取异常情况,出现这样的情况对于网站来说损害很大,那么常见的抓取异常都有哪些情况呢?
    1、服务器异常。服务器异常就会使得网站在连接的过程中出现无法连接的情况,这个时候蜘蛛就不能正常访问网站,从而更不能很好的抓取网站,这个时候需要检查你的ip是否和和服务商给的一样,检查服务器是不是正常,还是蜘蛛被屏蔽了。
    2、ip封禁。这个是两种原因造成的,一个是百度的ip被用户封禁了,在前期的网站优化中很多站长都把蜘蛛进行了屏蔽,这个屏蔽一般是通过robots进行的,还有少部分是供应商屏蔽的,如果是自己的rboots屏蔽的,那么自己在robots中取消屏蔽,如果是空间供应商,那么就联系供应商取消掉屏蔽。
    3、网站出现404页面,网站出现404的时候,也会出现网站抓取异常,这个时候就先要检查网站的页面404,消除掉,或者是进行死链接提交,去掉这些死链接,让蜘蛛不能抓取了。
    4、UA封禁。UA封禁是指,网站的文件中出现了封禁的情况,如屏蔽掉某个搜索引擎的蜘蛛,禁止抓取或者访问,这个也一般是出现在网站的robots中的,这个时候在自己的robots中去掉Disallow,这样就可以解除掉对于某一个蜘蛛的解封。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

98%的人还看了
网友点评