Baiduspider - 百度蜘蛛

89,520次阅读

Baiduspider - 百度蜘蛛:

百度是如何收录到那么多网页的呢?这个百度用以抓取互联网上数以亿计的网页的程序,就叫做Baiduspider - 百度蜘蛛。

它是一个程序,夜以继日得在互联网上找寻新的URL,接着抓取URL上的内容,返回到百度的网页暂存数据库。

百度用来抓取网页内容的程序,叫做Baiduspider,抓取其他内容的蜘蛛,则是新的名字:

产品名称                 对应user-agent

网页搜索                Baiduspider
无线搜索                Baiduspider-mobile
图片搜索                Baiduspider-image
视频搜索                Baiduspider-video
新闻搜索                Baiduspider-news
百度搜藏                Baiduspider-favo
百度联盟                Baiduspider-cpro

不少朋友会在自己的网站日志里看到这个蜘蛛Baiduspider-cpro,现在我们明白它是百度联盟蜘蛛,用以百度联盟程序匹配相应的广告。

阅读本文的人还可以阅读:

怎样算搜索引擎优质网站

SEO是什么?如何做好SEO?

如何从SEO的角度选择好的域名

SEM是什么?SEM和SEO的区别?SEM和SEO哪个好?

作者:夫唯学院SEO培训  修订1.1  2018-12-06

搜外专注SEO在线系统培训,10年来超过五万学员在此获得技术提升和人脉圈子。

SEO课程已融入到移动搜索、零基础建站、群站SEO思维、搜外6系统、SEM入门等。

欢迎添加助教微信:seowhy2018,马上获得优秀学员案例。

与本文相关文章

  1. ALT-代替属性(214880 次阅读)
  2. Cloaking-障眼法(55761 次阅读)
  3. Backlinks-导入链接(77060 次阅读)
  4. Anchor Text-链接锚文本(192085 次阅读)
  5. Alexa排名是什么?(183682 次阅读)
  6. CMS模板开发应该注意什么?(363 次阅读)
  7. BreadcrumbNavigation-面包屑导航(376 次阅读)
  8. Core keywords-核心关键词(357 次阅读)
  9. Blackbody and italic-黑体及斜体(347 次阅读)
  10. Clear navigation-清晰导航(243 次阅读)