robots.txt是一个很简单的txt文件，可以告诉搜索引擎哪些页面可以收录，哪些不允许收录。
1.如何看自己网站的robots.txt：一你可以用ftp打看自己网站的根目录，里面就有这个文件，传送到本地就可以看，二你可以在自己网站的域名后加上/robots.txt就可以看了，如果打不开，说明这个文件没有正确放置。如：www.pcook.com.cn/robots.txt 就可以看到。
2.要点：一般情况下，robots.txt里只写着两个函数：User-agent和 Disallow。User-agent: *后面加星号说明允许所有搜索引擎收录;有几个禁止，就得有几个Disallow函数，每行一个进行描述;至少要有一个Disallow函数，如果都允许收录，则写: Disallow: 如果都不允许收录，则写:Disallow: /(注：两者只相差一个斜杆)。
3.必须命名为robots.txt，不然就白做了，而且必须为小写英文。
