与世无争 - 2012/7/2 13:09:00
现在下载的包中都没有 robots.txt 规则，管理员能不能给写一个。
有robots.txt 不仅可以阻止搜索引擎收录一下后台的文件，另外阻止一些无用的抓取，只以让蜘蛛更有效地抓取有用的内容
xiyou - 2012/7/2 14:36:00
User-agent: *
Disallow: /master
直接打开计事本写这两行进去保存为robots.txt 就可以了
paullee - 2012/7/14 9:47:00
当然，你也可以把淘宝的拿来用，人家就写了一句话：
- User-agent: Baiduspider
- Disallow: /
- User-agent: baiduspider
- Disallow: /
直接保存为robots.txt！