通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图：
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。
在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$ Disallow: /*.php$ Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。
参考搜外的robots.txt文件写法，点击这里
扩展阅读：
本文由夫唯SEO特训营编辑整理。
搜外专注SEO培训和SEO周边Saas服务解决方案，10年来超过五万学员在此获得技术提升和人脉圈子。
SEO课程包含移动搜索、零基础建站、群站SEO思维、搜外6系统、SEM入门等。
189期A班报名时间4月1日-4月15日，请添加招生客服小沫微信：seowhy2021。
微信扫码添加客服人员
我们的目标是：让非技术人员轻松学会互联网技术。
微信扫码添加客服人员
微信扫码添加客服人员
微信扫码添加客服人员
微信扫码添加客服人员
微信扫码添加客服人员
SEO技术实战微信群
微信扫码添加客服人员
大站流量总监群(审核身份）
微信扫码添加客服人员
Google独立站英文SEO群
微信扫码添加客服人员
SEO团队KPI管理表格
微信扫码添加客服人员
工业品网站友情链接群
微信扫码添加客服人员
本地生活服务业友链群
微信扫码添加客服人员
