产品使用及交流论坛

注册

 

QQ登录

只需一步，快速开始

返回列表
发新话题 回复该主题
查看: 3331|回复: 3

管理员能不能给写一个robots.txt [复制链接]

与世无争
头像

  • PageAdmin入门
  • 12
  • 27
  • 2011-04-14
1#
t T
发表于 2012-07-02 13:09 |显示全部
现在下载的包中都没有 robots.txt 规则，管理员能不能给写一个。
有robots.txt 不仅可以阻止搜索引擎收录一下后台的文件，另外阻止一些无用的抓取，只以让蜘蛛更有效地抓取有用的内容
分享 转发
TOP
与世无争
头像

  • PageAdmin入门
  • 12
  • 27
  • 2011-04-14
2#
t T
发表于 2012-07-02 16:02 |显示全部

回复 2# xiyou 的帖子

谢谢
TOP
上一主题| 下一主题
返回列表
发新话题 回复该主题
高级编辑器高级编辑器