robots里这样写,就能避免蜘蛛爬这个“index.htm”这个首页?

94次阅读

robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页?

User-agent: *
Disallow: /index.htm


11-30.

我的index.htm是现在默认的首页,想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档,主要是规避备案巡查

我的网站和我备案的不一样,服务器那边要求改,我就整了个htm文档来规避下。

写法没有问题。但正常的不建议屏蔽首页地址,,“index.htm”这个后缀地址是需要处理掉的。

当然,如果只是应付备案短暂需求,,就只能这样处理。

后续备案处理后,尽快处理后缀“index.htm”。同时robots修改回去。


robots设置方法视频


本文由夫唯SEO特训营编辑整理,最后修订时间:2021-11-30

搜外专注SEO培训和SEO周边Saas服务解决方案,10年来超过五万学员在此获得技术提升和人脉圈子。

SEO课程包含移动搜索、零基础建站、群站SEO思维、搜外6系统、SEM入门等。

1月15日162期B班开始招生,报名课程,请添加招生客服小沫微信:seowhy2021。 微信扫码添加客服人员

我们的目标是:让非技术人员轻松学会互联网技术。

  • 搜外会员SEO交流群(免费)

    微信扫码添加客服人员
  • 小程序运营交流群(免费)

    微信扫码添加客服人员
  • 搜外会员SEM竞价交流群(免费)

    微信扫码添加客服人员
  • 夫唯学员SEO交流群(VIP)

    微信扫码添加客服人员

跟夫唯老师系统学习群站SEO
成为互联网运营推广大咖

掌握SEO技巧、建站前端、群站霸屏、SEM入门、新闻源推广……
Processed in 0.143146 Second , 49 querys.