产品使用及交流论坛

注册

 

QQ登录

只需一步，快速开始

返回列表
发新话题 回复该主题
查看: 5382|回复: 5

网站根目录一定要放robots.txt文件 [复制链接]

xcrane
头像

飞雨鹤

  • PageAdmin熟手
  • 524
  • 819
  • 2010-07-18
1#
t T
发表于 2010-08-07 19:25 |只看楼主
网站今天基本完成，并到各大搜索引擎提交网站，随后检查LOG日志文件，发现YAHOO、Google、bing返回404错误代码，原因是没有在根目录下放robots.txt文件，至于收录情况我还不是很了解，不够百度返回的200代码，表明成功收录。
07:16:41 67.195.37.91 GET /alliance.asp 404 Mozilla/5.0+(compatible;+Yahoo!+Slurp/3.0;+http://help.yahoo.com/help/us/ysearch/slurp)
09:17:10 203.208.60.88 GET /robots.txt 404 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
09:17:10 203.208.60.88 GET /base.asp 404 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
09:17:15 207.46.199.42 GET /robots.txt 404 msnbot/2.0b+(+http://search.msn.com/msnbot.htm)
分享 转发
青良涂装设备  http://www.sh-qingliang.com
TOP
gearfox
头像

小栩

  • PageAdmin熟手
  • 366
  • 547
  • 2010-05-20
2#
t T
发表于 2010-08-08 10:28 |只看该用户

其实如果怕麻烦听说可以放个空的robots的.
但是我没那样做。
我是全部allow了
TOP
xcrane
头像

飞雨鹤

  • PageAdmin熟手
  • 524
  • 819
  • 2010-07-18
3#
t T
发表于 2010-08-08 11:22 |只看楼主

回复 2# gearfox 的帖子

我增加了一个，是这样写的
User-agent: *
Disallow:/master/
Disallow:/bin/
Disallow:/datebase/
Sitemap:http://www.sh-qingliang.com/sitemap.xml
不知道效果会怎么样
青良涂装设备  http://www.sh-qingliang.com
TOP
xcrane
头像

飞雨鹤

  • PageAdmin熟手
  • 524
  • 819
  • 2010-07-18
4#
t T
发表于 2010-09-08 00:06 |只看楼主

这个很重要，我的网站不再提示出差了
http://www.sh-qingliang.com
青良涂装设备  http://www.sh-qingliang.com
TOP
ch7213851
头像

  • PageAdmin入门
  • 21
  • 32
  • 2010-08-06
5#
t T
发表于 2010-09-08 08:25 |只看该用户

如何各大搜索引擎提交网站？
虽身在江湖，江湖却没有我的传说
TOP
xcrane
头像

飞雨鹤

  • PageAdmin熟手
  • 524
  • 819
  • 2010-07-18
6#
t T
发表于 2010-09-08 22:47 |只看楼主

http://www.webmasterhome.cn/seo/addurl.asp
这个是各大搜索引擎的入口
提交很简单的，只有提交一下就可以了，注意不要重复提交
不过GG的复杂点，需要注册账号，验证网站归属，做好sitemap.xml文件才能提交
上海青良涂装设备
青良涂装设备  http://www.sh-qingliang.com
TOP
上一主题| 下一主题
返回列表
发新话题 回复该主题
高级编辑器高级编辑器