文章分类

robots里这样写，就能避免蜘蛛爬这个“index.htm”这个首页？

887次阅读

我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？

User-agent: *
Disallow: /index.htm


11-30.

我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查

我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。

写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。

当然，如果只是应付备案短暂需求，，就只能这样处理。

后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。


robots设置方法视频


上一篇：蜘蛛抓取有好多动态链接是否有影响？要怎么处理？
下一篇：站内站的关键词布局是要与主站的关键词不同吗？

本文由夫唯SEO特训营编辑整理。

搜外专注SEO培训和SEO周边Saas服务解决方案，10年来超过五万学员在此获得技术提升和人脉圈子。

SEO课程包含移动搜索、零基础建站、群站SEO思维、搜外6系统、SEM入门等。

189期A班报名时间4月1日-4月15日，请添加招生客服小沫微信：seowhy2021。 微信扫码添加客服人员

我们的目标是：让非技术人员轻松学会互联网技术。

与本文相关的文章

  1. 百度收录一会是带www域名，一会是不带www的域名，是什么原 ...(2385 次阅读)
  2. 两套独立的模板代码，，在选站点类型时，应该选哪个？(801 次阅读)
  3. 官网首页结构变了，会不会有影响SEO优化？(866 次阅读)
  4. 站内站的关键词布局是要与主站的关键词不同吗？(929 次阅读)
  5. robots里这样写，就能避免蜘蛛爬这个“index.htm ...(887 次阅读)
  6. 蜘蛛抓取有好多动态链接是否有影响？要怎么处理？(881 次阅读)
  7. 百度搜索结果中，首页快照对应的缩略图，可以自己优化吗？(967 次阅读)
  8. 怎么样才能同步PC端的排名给手机端呢？(998 次阅读)
  9. sitemap的三种格式，TXT、XML及HTML区别是什么 ...(932 次阅读)
  10. 页面有多个链接指向同一个页面会分散权重吗？是否加nofoll ...(805 次阅读)

  • 搜外会员SEO交流群(免费)

    微信扫码添加客服人员

  • 小程序运营交流群(免费)

    微信扫码添加客服人员

  • 搜外会员SEM竞价交流群(免费）

    微信扫码添加客服人员

  • 夫唯学员SEO交流群(VIP)

    微信扫码添加客服人员

扫码获取资源

微信扫码添加客服人员

  • SEO技术实战微信群

    微信扫码添加客服人员

  • 大站流量总监群(审核身份）

    微信扫码添加客服人员

  • Google独立站英文SEO群

    微信扫码添加客服人员

  • SEO团队KPI管理表格

    微信扫码添加客服人员

  • 工业品网站友情链接群

    微信扫码添加客服人员

  • 本地生活服务业友链群

    微信扫码添加客服人员

跟夫唯老师系统学习群站SEO
成为互联网运营推广大咖

掌握SEO技巧、建站前端、群站霸屏、SEM入门、新闻源推广……
了解SEO课程目录了解SEO课程目录 马上咨询客服咨询客服
Processed in 0.146357 Second , 41 querys.