WordPress的Robots.txt正确写法

很多WordPress的Robots.txt的写法,发现不允许搜索引擎访问博客页面第一页的写法都是Disallow: /page/1

这样写的人都杯具了,你没有发现你的/page/11,/page/12,/page/13这些页面都被禁止了吗?

这样写是为了防止page的第一页和首页重复,但是10-19页,100页-199页也被禁止了啊。

这一句的写法应该是 Disallow: /page/1$

写完以后自己到百度测试一下

 » 本站地址:http://www.gomoth.com

标签: