剑宇工作室 - 2009/12/7 23:59:00
各位大侠好，小弟想修改robots
User-agent: *
Disallow: /master/
Disallow: /order/
Disallow: /install/
Disallow: /backup/
Disallow: /member/
在最后多加了这个，行不？似乎不起作用，这是会员资料吧，为什么开放访问呢？
apple - 2009/12/8 8:46:00
写不写都可以,会员没有登陆也访问不了
我认为robots.txt就是多余的,不过为了节约不必要访问资源,告诉搜索引擎不要爬行而已
剑宇工作室 - 2009/12/8 12:59:00
你好，谢谢你的指导，可是我害怕的是我的会员信息泄露！
而且，我在google的工具箱中，把Disallow: /member/
填写，却显示我语法错误，怎么回事？