快捷搜索:  88888  test  88888e360  88888JyI=  88888[.](,.)(  88888 aNd 8=8  teste360  test!(()

云南seo:教你怎样书写robots.txt

云南seo:教你怎样书写robots.txt,有点小细节要重点告诉大家,特别是seo新手,避免在书写robots.txt大错误没有小错误不断.并且找不到错误的地方
 
robots.txt语法
一、基础知识
 
User-agent 定义协议的搜索引擎。
 
Disallow 不允许抓取
 
Allow 允许抓取
 
* 通配符,代表所有
 
$ 结束符(使用通配符,一定要有结束符。不然可能导致正常的路径被屏蔽。)
 
?动态路径
 
二、重点注意
 
1、每一行的第一个英文字母必须大写:User-agent、Disallow、Allow(很多同学犯这个错误)
 
2、:是英文半角状态下的
 
3、:后面有个英文半角状态下的空格
 
4、?也是英文半角状态下的
 
哪些情况下需要使用robots.txt
1、统一路径
 
在我们的网站中,指向页面的路径一定是有且只有一个。一旦多途径指向一个页面(一个动态路径一个伪静态),会导致百度不知道收录那个页面。所以我们只要屏蔽了一个,让百度收录我们想让收录的。
 
2、标签路径
 
如果我们网站有标签页面,这个标签页面就是中文的链接,中文链接百度不认识,所以要屏蔽。如果你觉得你的标题tag很重要就给他做个英文别名(wp支持tag别名,须手动修改)。
 
3、搜索路径
 
如果我们网站中有搜索框,那么我们就要把搜索结果页面给屏蔽掉。目的就是为了防止有人使用这个搜索框捣乱。
 
4、js文件
 
对于js文件或者其他无意义的文件,我们都可以屏蔽掉。
 
注意事项
User-agent: *
 
Disallow: / 屏蔽全站
 
不要随便屏蔽整站
 
不要随便屏蔽整站
 
不要随便屏蔽整站
 
一些新手同学在做网站的时候,没有规划,且网站不能一下子做好,经常做个半截,使用wp搭建好就把默认不允许搜索引擎抓取那个按钮勾选了(快去检查下你的站是否勾选了)。如果你真的这么做了,那么我要恭喜你,蜘蛛很有可能在未来的两个月中不来访问你的网站。即便是你去请蜘蛛也不会来。凡哥建议你在域名备案时期内就应该把网站整体规划好。第一个把链接统一化,然后着手写robots.txt文件把你网站不想被搜索引擎蜘蛛抓取的页面做个合理的优化。
 
云南seo:教你怎样书写robots.txt
 
robots.txt的生效时间
robots是我们和搜索引擎之间的一个单方面的协议,不是我们今天写上,明天百度就会遵守。想让百度遵守是需要一个过程的,一般情况下是两个月。但是也不排除当天写,当天生效。所以在更改robots的时候,一定要小心小心再小心。一旦你的robots错了,对整个网站的影响是巨大的。

您可能还会对下面的文章感兴趣: