从网站日志分析SEO优化 观察搜索引擎蜘蛛的来访情况

通过观察日志中的信息，你可以看出你的网站被蜘蛛访问的频率，进而可以看出你的网站是否被搜索引擎青睐，这些都是SEO所关心的问题。
日志格式化工具已经集成了对搜索引擎蜘蛛的提示功能。常见搜索引擎的蜘蛛所使用的Agent列表如下：

Google蜘蛛

Mozilla/5.0 （compatible; Googlebot/2.1; +http://www.google.com/bot.html）

Baidu蜘蛛

Baiduspider+（+http://www.baidu.com/search/spider.htm）

Yahoo！蜘蛛

Mozilla/5.0 （compatible; Yahoo！ Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp）

Yahoo！中国蜘蛛

Mozilla/5.0 （compatible; Yahoo！ Slurp China; http://misc.yahoo.com.cn/help.html）

微软Bing蜘蛛

msnbot/2.0b （+http://search.msn.com/msnbot.htm）

Google Adsense蜘蛛

Mediapartners-Google

有道蜘蛛

Mozilla/5.0 （compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/; ）

Soso搜搜博客蜘蛛

Sosoblogspider+（+http://help.soso.com/soso-blog-spider.htm）

Sogou搜狗蜘蛛

Sogou web spider/4.0（+http://www.sogou.com/docs/help/webmasters.htm#07）

Twiceler爬虫程序

Mozilla/5.0 （Twiceler-0.9 http://www.cuil.com/twiceler/robot.html）’

Google图片搜索蜘蛛

Googlebot-Image/1.0

俄罗斯Yandex搜索引擎蜘蛛

Yandex/1.01.001 （compatible; Win16; I）

Alexa蜘蛛

ia_archiver （+http://www.alexa.com/site/help/webmasters; crawler@alexa.com）

Feedsky蜘蛛

Mozilla 5.0 （compatible; Feedsky crawler /1.0; http://www.feedsky.com）

韩国Yeti蜘蛛

Yeti/1.0 （NHN Corp.; http://help.naver.com/robots/）