Robots.txt 文件应放在哪里?

33022次阅读

robots.txt 文件必须放在网站的根目录。

放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。

如:

https://www.seowhy.com/robots.txt    是有效的。

https://www.seowhy.com/a/robots.txt  是无效的。


以下3种情况需要注意:

1、如果手机网站采用的是m.的二级域名,要给手机网站设置robots.txt的话,robots.txt要放在m. 这个二级域名的根目录下,而不是www的根目录。

2、给网站添加了一个站内站,如果要屏蔽某链接,是在www根目录下的robots里屏蔽,而不是给站内站创建独立的robtos.txt文件。

3、网站有多个二级域名的话,应该每个二级域名设置一个robots.txt。搜外问答的例子,点击查看


扩展阅读:

robots.txt概念和10条注意事项

本文由夫唯SEO特训营编辑整理。

搜外专注SEO培训和SEO周边Saas服务解决方案,10年来超过五万学员在此获得技术提升和人脉圈子。

SEO课程包含移动搜索、零基础建站、群站SEO思维、搜外6系统、SEM入门等。

188期B班报名时间3月15日-3月31日,请添加招生客服小沫微信:seowhy2021。 微信扫码添加客服人员

我们的目标是:让非技术人员轻松学会互联网技术。

  • 搜外会员SEO交流群(免费)

    微信扫码添加客服人员
  • 小程序运营交流群(免费)

    微信扫码添加客服人员
  • 搜外会员SEM竞价交流群(免费)

    微信扫码添加客服人员
  • 夫唯学员SEO交流群(VIP)

    微信扫码添加客服人员

扫码获取资源

微信扫码添加客服人员
  • SEO技术实战微信群

    微信扫码添加客服人员
  • 大站流量总监群(审核身份)

    微信扫码添加客服人员
  • Google独立站英文SEO群

    微信扫码添加客服人员
  • SEO团队KPI管理表格

    微信扫码添加客服人员
  • 工业品网站友情链接群

    微信扫码添加客服人员
  • 本地生活服务业友链群

    微信扫码添加客服人员

跟夫唯老师系统学习群站SEO
成为互联网运营推广大咖

掌握SEO技巧、建站前端、群站霸屏、SEM入门、新闻源推广……
Processed in 0.137772 Second , 40 querys.