robots.txt协议写法教程，教你如何调教安徽网络推广蜘蛛程序

robots.txt协议能够保护我们的网站敏感内容不会被搜索引擎直接收录，站长们也可以通过robots.txt协议从而有效的控制蜘蛛程序的爬取路径，为我们网站创造安徽网络推广的必要的条件。

robots.txt协议的主要使用还是我们网站刚刚建立，尚未完善，或者有其他敏感的内容不便被蜘蛛程序索引。

robots.txt文件是网站的一个纯文本文件，它是给搜索引擎蜘蛛看的。搜索引擎蜘蛛爬行是我们的网站首先就是抓取这个文件，根据里面的网站内容来决定对网站文件访问的范围。
　　

robots.txt文件应该放在网站根目录下。
　　

在一个站点上只能有一个"/robots.txt"文件，而且文件名的每个字母要求全部是小写。
　　

robots.txt文件用法举例
　　

例1.禁止所有搜索引擎访问网站的任何部分
　　

下载该robots.txt文件User-agent:*
　　

Disallow:/
　　

例2.允许所有的robot访问
　　

(或者也可以建一个空文件"/robots.txt"file)
　　

User-agent:*
　　

Disallow:
　　

例3.禁止某个搜索引擎的访问
　　

User-agent:BadBot
　　

Disallow:/
　　

例4.允许某个搜索引擎的访问
　　

User-agent:baiduspider
　　

Disallow:
　　

User-agent:*
　　

Disallow:/
　　

比如该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。

需要注意的是对每一个目录必须分开声明，而不要写成"Disallow:/cgi-bin//tmp/"。
　　

User-agent:后的*具有特殊的含义，代表"anyrobot"，所以在该文件中不能有"Disallow:
　　

/tmp/*"or"Disallow:*.gif"这样的记录出现。
　　

User-agent:*
　　

Disallow:/cgi-bin/
　　

Disallow:/tmp/
　　

Disallow:/~joe/