​robots是什么?robots mate和​robots有什么区别

2456次阅读

robots是什么

robots是网站跟蜘蛛间的协议,当访问站点时,它首先检查机器人是否存在于站点的根目录中。如果找到,蜘蛛就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那么搜索机器人就沿着链接抓取。一定要注意txt文件必须放在站点的根目录中,文件名必须为小写。

robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分,或者指定搜索引擎只收录指定的内容。因此,机器人的优化将直接影响到搜索引擎对站点的收录。

只有在需要禁止抓取某些内容时,才写robots。一些服务器设置是问题:当机器人文件不存在时,它返回200个状态代码和一些错误消息,而不是404页面,这是因为搜索机器人误读了robots文件信息。


robots mate是什么

robots meta标签主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样, robots meta标签也是放在页面的head>中,专门用来告诉搜索引擎机器人如何抓取该页的内容。


follow指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

robots meta标签的缺省值是index和follow;

index指令告诉搜索机器人抓取该页面;

robots meta标签中没有大小写之分,name=“robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=“ baiduspider' content部分有四个指令选项index、noindex、follow、nofollow,指令间以“,”分隔。


Robots和robots mate的区别

目前来说,所有的搜索引擎都支持和遵守robots.txt的规定,但是支持robots mate的却比较少,大家可以酌情使用。


阅读本文的人还可以阅读:

与网址导航站交换链接,行吗?

描述标签到底应该怎么写?

如何使用标签阻止网页被收录? 

robots.txt文件有什么必要? 

本文由夫唯SEO特训营编辑整理。

搜外专注SEO培训和SEO周边Saas服务解决方案,10年来超过五万学员在此获得技术提升和人脉圈子。

SEO课程包含移动搜索、零基础建站、群站SEO思维、搜外6系统、SEM入门等。

188期B班报名时间3月15日-3月31日,请添加招生客服小沫微信:seowhy2021。 微信扫码添加客服人员

我们的目标是:让非技术人员轻松学会互联网技术。

  • 搜外会员SEO交流群(免费)

    微信扫码添加客服人员
  • 小程序运营交流群(免费)

    微信扫码添加客服人员
  • 搜外会员SEM竞价交流群(免费)

    微信扫码添加客服人员
  • 夫唯学员SEO交流群(VIP)

    微信扫码添加客服人员

扫码获取资源

微信扫码添加客服人员
  • SEO技术实战微信群

    微信扫码添加客服人员
  • 大站流量总监群(审核身份)

    微信扫码添加客服人员
  • Google独立站英文SEO群

    微信扫码添加客服人员
  • SEO团队KPI管理表格

    微信扫码添加客服人员
  • 工业品网站友情链接群

    微信扫码添加客服人员
  • 本地生活服务业友链群

    微信扫码添加客服人员

跟夫唯老师系统学习群站SEO
成为互联网运营推广大咖

掌握SEO技巧、建站前端、群站霸屏、SEM入门、新闻源推广……
Processed in 0.132109 Second , 41 querys.