robots.txt是什么,robots.txt限制指令怎么写?

编辑:老岛营销

robots.txt就是网站和搜索引擎事先约定好的一种类似协议的东西,每个搜索引擎蜘蛛在抓取一个站点时,首先就会先访问robots.txt文件,然后按照文件上的规则来确定搜索蜘蛛的访问路劲和范围。
 
robots.txt主要作用就是允许或禁止搜索引擎蜘蛛爬取某些文件。
 
 

例如:
 
仅禁止某个搜索引擎的访问(例如:百度baiduspider)
 
User-agent: BaiduSpider
 
Disallow:/
 
允许所有的robots访问,无任何限制。
 
User-agent: *
 
Allow: /seo
 
百度官方给出了robots.txt详细的写法:http://zhanzhang.baidu.com/college/courseinfo?id=267&page=12
 
具体到网站SEO实践中可解决很多网址规范化问题。
 
比如:
首页收录多个地址需要剔除一部分
原网站为动态地址,后期做了伪静态、
一些不想被收录的页面,比如后台地址等
 
根据robots.txt的写法可以做多种组合,从而解决SEO中很多棘手问题。