PageAdmin网站内容管理系统(CMS)交流论坛

注册

 

QQ登录

只需一步，快速开始

返回列表
发新话题 回复该主题
查看: 3070|回复: 3

管理员能不能给写一个robots.txt [复制链接]

与世无争
头像

  • PageAdmin入门
  • 12
  • 27
  • 2011-04-14
1#
t T
发表于 2012-07-02 13:09 |只看楼主
现在下载的包中都没有 robots.txt 规则，管理员能不能给写一个。
有robots.txt 不仅可以阻止搜索引擎收录一下后台的文件，另外阻止一些无用的抓取，只以让蜘蛛更有效地抓取有用的内容
分享 转发
TOP
xiyou
头像

  • 管理员
  • 16341
  • 27138
  • 2015-11-29
2#
t T
发表于 2012-07-02 14:36 |只看该用户

User-agent: *
Disallow: /master
直接打开计事本写这两行进去保存为robots.txt 就可以了
PageAdmin CMS-想到就能做到！
TOP
与世无争
头像

  • PageAdmin入门
  • 12
  • 27
  • 2011-04-14
3#
t T
发表于 2012-07-02 16:02 |只看楼主

回复 2# xiyou 的帖子

谢谢
TOP
paullee
头像

  • PageAdmin熟手
  • 295
  • 506
  • 2010-08-13
4#
t T
发表于 2012-07-14 09:47 |只看该用户

回复 1# 与世无争 的帖子

当然，你也可以把淘宝的拿来用，人家就写了一句话：
  1. User-agent: Baiduspider
  2. Disallow: /

  4. User-agent: baiduspider
  5. Disallow: /
复制代码
直接保存为robots.txt！
TOP
上一主题| 下一主题
返回列表
发新话题 回复该主题
高级编辑器高级编辑器