Robots.txt文件用法举例说明

Robots.txt文件正常放于根目录下,包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:

 "<field>:<optional space><value><optionalspace>"

 

Robots.txt文件用法举例说明如下:

robots.jpg

robots1.jpg

阅读本文的人还可以阅读:

什么是百度抓取异常?抓取异常对网站的影响有哪些

robots.txt

Robots.txt 文件应放在哪里?

如何使用Robots避免蜘蛛黑洞?


这里的每个问题都曾卡住某一位同学很长时间,我们整理出来方便更多同学,如发现Bug,欢迎通过客服微信反馈。

夫唯于2024年12月停止百度SEO研究和培训。道别信: 夫唯:再见了百度SEO!

2025年1月正式启动Google SEO培训课程,一千零一夜带领大家一起出海。

感兴趣的同学,请添加招生客服小沫微信:seowhy2021。 微信扫码添加客服人员

Processed in 1.462542 Second , 585 querys.