什么是抓取异常?网站抓取异常的原因

3117次阅读

什么是抓取异常?

指的是蜘蛛无法正常抓取页面,网站出现抓取异常。

 

网站抓取异常的原因:

1、服务器异常

服务器连接异常最大的可能是网站服务器过大,超负荷运转,通过检查浏览器是否正常访问。服务器异常会导致蜘蛛无法连接网站服务器,导致出现抓取失败。

2、域名到期

域名过期网站肯定不能访问,域名解析会失效,如果存在这类情况请与域名注册商联系。

3、网络运营商异常

电信和联通这两种都是属于网络运营商,蜘蛛无法访问的网站。

如果是因为网络运营商出现问题,与网络服务运营商联系,或者空间或者购买CDN服务。

3、robots.txt文件设置

robots.txt的功效主要是一些不重要的文件屏蔽掉告诉搜索引擎这些些页面可以不抓取,可能会存在把重要的页面也给屏蔽了,可以检查下robots文件设置。

4、死链接

原本正常的链接后来失效了就是死链接,死链接发送请求时,服务器返回404错误页面。

死链的处理方案可以通过百度站长平台提交死链文件。具体的操作方法文章(为什么要使用死链工具?死链工具的使用方法)

5、网站被挂马

网站被挂马,要查询挂马文件在哪里并删除,恢复网站,更改登录名和密码,安全密保要从新设置,防止下次被挂马。

 

如果网站出现抓取异常的现象,访问网站的用户没有得到想要的东西,用户的体验感就会下降,搜索引擎对网站的评价降低。

阅读本文的人还可以阅读:

Xenu-死链接检测工具

black hat-黑帽SEO是什么意思?

本文由夫唯SEO特训营编辑整理,最后修订时间:2018-12-18

搜外专注SEO培训和SEO周边Saas服务解决方案,10年来超过五万学员在此获得技术提升和人脉圈子。

SEO课程包含移动搜索、零基础建站、群站SEO思维、搜外6系统、SEM入门等。

6月01日167期A班开始招生,报名课程,请添加招生客服小沫微信:seowhy2021。 微信扫码添加客服人员

我们的目标是:让非技术人员轻松学会互联网技术。

  • 搜外会员SEO交流群(免费)

    微信扫码添加客服人员
  • 小程序运营交流群(免费)

    微信扫码添加客服人员
  • 搜外会员SEM竞价交流群(免费)

    微信扫码添加客服人员
  • 夫唯学员SEO交流群(VIP)

    微信扫码添加客服人员

跟夫唯老师系统学习群站SEO
成为互联网运营推广大咖

掌握SEO技巧、建站前端、群站霸屏、SEM入门、新闻源推广……
Processed in 0.300396 Second , 43 querys.