网站根目录一定要放robots.txt文件 - - Powered by Discuz!NT Archiver

xcrane - 2010/8/7 19:25:00

网站今天基本完成，并到各大搜索引擎提交网站，随后检查LOG日志文件，发现YAHOO、Google、bing返回404错误代码，原因是没有在根目录下放robots.txt文件，至于收录情况我还不是很了解，不够百度返回的200代码，表明成功收录。
07:16:41 67.195.37.91 GET /alliance.asp 404 Mozilla/5.0+(compatible;+Yahoo!+Slurp/3.0;+http://help.yahoo.com/help/us/ysearch/slurp)
09:17:10 203.208.60.88 GET /robots.txt 404 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
09:17:10 203.208.60.88 GET /base.asp 404 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
09:17:15 207.46.199.42 GET /robots.txt 404 msnbot/2.0b+(+http://search.msn.com/msnbot.htm)

gearfox - 2010/8/8 10:28:00

其实如果怕麻烦听说可以放个空的robots的.
但是我没那样做。
我是全部allow了

xcrane - 2010/8/8 11:22:00

我增加了一个，是这样写的
User-agent: *
Disallow:/master/
Disallow:/bin/
Disallow:/datebase/
Sitemap:http://www.sh-qingliang.com/sitemap.xml
不知道效果会怎么样

xcrane - 2010/9/8 0:06:00

这个很重要，我的网站不再提示出差了
http://www.sh-qingliang.com

ch7213851 - 2010/9/8 8:25:00

如何各大搜索引擎提交网站？

xcrane - 2010/9/8 22:47:00

http://www.webmasterhome.cn/seo/addurl.asp
这个是各大搜索引擎的入口
提交很简单的，只有提交一下就可以了，注意不要重复提交
不过GG的复杂点，需要注册账号，验证网站归属，做好sitemap.xml文件才能提交
上海青良涂装设备

产品使用及交流论坛