网站主体内容过长为什么会影响蜘蛛抓取

1507次阅读

主体内容过长(通常网页源码长度不能超过128k),文章过长可能会引起抓取截断。

 

举个例子:某网站主体内容都是JS生成,针对用户访问,没有做优化;但是网站特针对爬虫抓取做了优化,直接将图片进行base64编码推送给百度,然而优化后发现内容没有被百度展示出来;页面质量很好,还特意针对爬虫做了优化,为什么内容反而无法出现在百度搜索中;

 

主体内容过长影响蜘蛛抓取原因如下:

1、站点优化后将主体内容放于最后,图片却放于前面;

2、网站针对爬虫爬取做的优化,是直接将图片base64编码后放到HTML中,导致页面长度过长,网站页面长度达164k;

3、爬虫抓取内容后,页面内容过长被截断,已抓取部分无法识别到主体内容,最终导致页面被认定为空短而不建索引。


阅读本文的人还可以阅读:

网站主体内容太短为什么会被判断无价值内容

本文由夫唯SEO特训营编辑整理,最后修订时间:2019-02-23

搜外专注SEO培训和SEO周边Saas服务解决方案,10年来超过五万学员在此获得技术提升和人脉圈子。

SEO课程包含移动搜索、零基础建站、群站SEO思维、搜外6系统、SEM入门等。

8月01日169期A班开始招生,报名课程,请添加招生客服小沫微信:seowhy2021。 微信扫码添加客服人员

我们的目标是:让非技术人员轻松学会互联网技术。

  • 搜外会员SEO交流群(免费)

    微信扫码添加客服人员
  • 小程序运营交流群(免费)

    微信扫码添加客服人员
  • 搜外会员SEM竞价交流群(免费)

    微信扫码添加客服人员
  • 夫唯学员SEO交流群(VIP)

    微信扫码添加客服人员

跟夫唯老师系统学习群站SEO
成为互联网运营推广大咖

掌握SEO技巧、建站前端、群站霸屏、SEM入门、新闻源推广……
Processed in 0.191466 Second , 44 querys.