robots.txt文件有什么必要?

57,816次阅读

什么是robots.txt文件?

搜索引擎机器人通过链接抵达互联网上的每个网页,并抓取网页信息。搜索引擎机器人在访问一个网站时,会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录,我们可以通过设置robots.txt文件告知搜索引擎机器人。

如果网站上没有禁止搜索引擎收录的内容,则不用设置robots.txt文件,或设置为空。


robots.txt文件有什么必要?

从SEO的角度,robots.txt文件是一定要设置的,原因:

1、网站上经常存在这种情况:不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。

2、网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。

3、一些没有关键词的页面,屏蔽掉更好。

4、一般情况下,站内的搜索结果页面屏蔽掉更好。


阅读本文的人还可以阅读:

Robots.txt 文件应放在哪里?

robots.txt

作者:夫唯学院SEO培训  修订1.3  2018-12-25

搜外专注SEO在线系统培训,10年来超过五万学员在此获得技术提升和人脉圈子。

SEO课程已融入到移动搜索、零基础建站、群站SEO思维、搜外6系统、SEM入门等。

与本文相关文章

  1. robots.txt(98869 次阅读)
  2. Robots.txt 文件应放在哪里?(31760 次阅读)
  3. Robots.txt 文件应放在哪里?(31760 次阅读)
  4. robots.txt(98869 次阅读)
我要加群
微信扫码添加客服人员
  • 搜外会员SEO交流群(免费)

    微信扫码添加客服人员
  • 小程序运营交流群(免费)

    微信扫码添加客服人员
  • 搜外会员SEM竞价交流群(免费)

    微信扫码添加客服人员
  • 夫唯学员SEO交流群(VIP)

    微信扫码添加客服人员
获取资源 联系获取
微信扫码添加客服人员
  • 本地生活服务业友链群

    微信扫码添加客服人员
  • 工业品网站友情链接群

    微信扫码添加客服人员
  • SEO团队KPI管理表格

    微信扫码添加客服人员
  • 网络推广执行细案

    微信扫码添加客服人员
  • 客户跟踪记录表

    微信扫码添加客服人员
  • 关键词分析模板

    微信扫码添加客服人员
  • SEO软文的编辑技巧

    微信扫码添加客服人员
  • 高效管理SEO团队策略

    微信扫码添加客服人员

快来夫唯学院学习SEO知识吧!
十年SEO经验,倾囊相授

关键词、长尾词、群站、算法......
: