robots.txt:如何让搜索引擎不要抓取没用的页面

1269次阅读

robots.txt.

| 什么是robots文件?

Robots是站点与spider沟通的重要渠道,是网站与搜索引擎爬虫之间的协议,告知哪些可抓取哪些不允许。


| 为什么要做robots文件?

网站上总有一些页面是禁止蜘蛛抓取的。例如:搜索页面、筛选页面、后台登录地址等。


| 如何制作 robots文件?

编写robots.txt文件并上传到网站根目录。

 

| 制作 robots.txt注意事项

● 所有搜索引擎则用星号表示

● Allow(允许)和Disallow(不允许)优先级

● 至少屏蔽一个,可以屏蔽:搜索结果页面/404页面

● 记得将sitemap放到Robots文件中

● 可以陆续放入更多,而不是一次性决定所有

● 网站后台地址/图片地址/下载文件地址/错误链接

 

本文的视频课程地址:https://ke.seowhy.com/play/9492.html

阅读本文的人还可以阅读:

什么是robots文件?设置搜索robots协议的后果

robots.txt文件用法举例,百度官方资料截图版

robots.txt概念和10条注意事项

Robots.txt 文件应放在哪里?

如何使用Robots避免蜘蛛黑洞?

本文由夫唯SEO特训营编辑整理,最后修订时间:2021-11-04

搜外专注SEO培训和SEO周边Saas服务解决方案,10年来超过五万学员在此获得技术提升和人脉圈子。

SEO课程包含移动搜索、零基础建站、群站SEO思维、搜外6系统、SEM入门等。

173期1班报名时间12月1日-12月5日,请添加招生客服小沫微信:seowhy2021。 微信扫码添加客服人员

我们的目标是:让非技术人员轻松学会互联网技术。

  • 搜外会员SEO交流群(免费)

    微信扫码添加客服人员
  • 小程序运营交流群(免费)

    微信扫码添加客服人员
  • 搜外会员SEM竞价交流群(免费)

    微信扫码添加客服人员
  • 夫唯学员SEO交流群(VIP)

    微信扫码添加客服人员

扫码获取资源

微信扫码添加客服人员
  • SEO技术实战微信群

    微信扫码添加客服人员
  • 大站流量总监群(审核身份)

    微信扫码添加客服人员
  • Google独立站英文SEO群

    微信扫码添加客服人员
  • SEO团队KPI管理表格

    微信扫码添加客服人员
  • 工业品网站友情链接群

    微信扫码添加客服人员
  • 本地生活服务业友链群

    微信扫码添加客服人员

跟夫唯老师系统学习群站SEO
成为互联网运营推广大咖

掌握SEO技巧、建站前端、群站霸屏、SEM入门、新闻源推广……
Processed in 0.203422 Second , 51 querys.