网站根目录一定要放robots.txt文件 - 安装及使用交流-PageAdmin论坛

我的中心

产品使用及交流论坛 » 产品使用交流区 » 安装及使用交流 » 网站根目录一定要放robots.txt文件

返回列表

发新话题

回复该主题

查看: 5385\|回复: 5	网站根目录一定要放robots.txt文件 [复制链接]

发送短消息 UID 12590 精华 0 1532299812 查看公共资料搜索主题搜索帖子 xcrane 飞雨鹤组别PageAdmin熟手生日帖子524 积分819 性别注册时间2010-07-18	1^# 字体大小: t T 发表于 2010-08-07 19:25 \|显示全部网站今天基本完成，并到各大搜索引擎提交网站，随后检查LOG日志文件，发现YAHOO、Google、bing返回404错误代码，原因是没有在根目录下放robots.txt文件，至于收录情况我还不是很了解，不够百度返回的200代码，表明成功收录。 07:16:41 67.195.37.91 GET /alliance.asp 404 Mozilla/5.0+(compatible;+Yahoo!+Slurp/3.0;+http://help.yahoo.com/help/us/ysearch/slurp) 09:17:10 203.208.60.88 GET /robots.txt 404 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) 09:17:10 203.208.60.88 GET /base.asp 404 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) 09:17:15 207.46.199.42 GET /robots.txt 404 msnbot/2.0b+(+http://search.msn.com/msnbot.htm)
	分享转发青良涂装设备 http://www.sh-qingliang.com

	TOP

发送短消息 UID 12590 精华 0 1532299812 查看公共资料搜索主题搜索帖子 xcrane 飞雨鹤组别PageAdmin熟手生日帖子524 积分819 性别注册时间2010-07-18	2^# 字体大小: t T 发表于 2010-08-08 11:22 \|显示全部回复 2# gearfox 的帖子我增加了一个，是这样写的 User-agent: * Disallow:/master/ Disallow:/bin/ Disallow:/datebase/ Sitemap:http://www.sh-qingliang.com/sitemap.xml 不知道效果会怎么样
	青良涂装设备 http://www.sh-qingliang.com

	TOP

发送短消息 UID 12590 精华 0 1532299812 查看公共资料搜索主题搜索帖子 xcrane 飞雨鹤组别PageAdmin熟手生日帖子524 积分819 性别注册时间2010-07-18	3^# 字体大小: t T 发表于 2010-09-08 00:06 \|显示全部这个很重要，我的网站不再提示出差了 http://www.sh-qingliang.com
	青良涂装设备 http://www.sh-qingliang.com

	TOP

发送短消息 UID 12590 精华 0 1532299812 查看公共资料搜索主题搜索帖子 xcrane 飞雨鹤组别PageAdmin熟手生日帖子524 积分819 性别注册时间2010-07-18	4^# 字体大小: t T 发表于 2010-09-08 22:47 \|显示全部 http://www.webmasterhome.cn/seo/addurl.asp 这个是各大搜索引擎的入口提交很简单的，只有提交一下就可以了，注意不要重复提交不过GG的复杂点，需要注册账号，验证网站归属，做好sitemap.xml文件才能提交上海青良涂装设备
	青良涂装设备 http://www.sh-qingliang.com

	TOP

上一主题| 下一主题

发新话题

回复该主题