http://www.seoask.com.cn/seozixun/robots-txt/ 陈剑博客,关注SEO,SEM,互联网评论及产品,致力于为学习科学的SEO方法和技巧 Tue, 07 Feb 2012 15:53:41 +0000 hourly 1 http://wordpress.org/?v=3.3.1 http://www.seoask.com.cn/seozixun/robots-txt/comment-page-1/#comment-5394 中国蚕丝网 Wed, 08 Sep 2010 17:20:34 +0000 http://www.seoask.com.cn/?p=405#comment-5394 天书 天书

]]> http://www.seoask.com.cn/seozixun/robots-txt/comment-page-1/#comment-3333 Cee Tue, 27 Oct 2009 01:15:05 +0000 http://www.seoask.com.cn/?p=405#comment-3333 之前公司的站改版写了一个robots，2周后，百度收录200+减少至50以下.. 直接抓取之前的索引了 之前公司的站改版写了一个robots，2周后，百度收录200+减少至50以下.. 直接抓取之前的索引了

]]> http://www.seoask.com.cn/seozixun/robots-txt/comment-page-1/#comment-3330 广州新里程培训 Sat, 24 Oct 2009 03:55:48 +0000 http://www.seoask.com.cn/?p=405#comment-3330 是允许和不允许整个文件目录。如果对某个特定的URL不允许抓取可以用nofollow. 是允许和不允许整个文件目录。如果对某个特定的URL不允许抓取可以用nofollow.

]]>