Tenly前几天问起我,Google Analytics的流量统计中,是否包含了对搜索引擎的Robot(或者蜘蛛,或者Crawler)的访问。我确实曾经想过这个问题,当时我简单的认为,Google Analytics或者其他的工具会把这部分流量计算进去。
事实上,Florian告诉我,我的这个观点是错误的,WA工具会自动屏蔽掉这部分流量,以免污染实际Visitor的访问,因此在GA上不会看到Robot的访问情况。
不过Tenly的期望是,能够从这些工具中看到对于Robot的访问,因为他对SEO非常关注,而Robot访问的情况,一定程度上能够帮助他了解SEO的效果如何。 有没有朋友了解这个问题?给我一些建议吧!
融海咨询的CTO程实给我们了一个非常准确的回答,非常棒!
“Hi, Sidney, WebTrends有专门针对Spider(或Robot)的报告,因为WebTrends可以将Web Server的原始日志作为数据源,对其进行分析获取相应的信息。
除此之外,WebTrends还可以提供服务器端错误(HTTP CODE 5xx系列错误),客户端错误(HTTP CODE 4xx系列错误),页面无法找到(404错误)等其他来源于Web Server原始日志的报告。 以上报告需要客户购买安装了WebTrends产品。
当采用在页面中嵌码收集日志时(例如On-Demand Service)是无法获取该类报告的,其他分析工具(如Google Analytics)因为只有页面中嵌码一种日志来源,因此均不能提供该类报告。
我知道WebTrends里有这部分流量的统计。可以咨询程实(cheng(at)ronghai.com)
发布者 武勇 (未验证) (http://blog.sohu.com)
2008-04-14 18:30 回复
谢谢武勇!我这就咨询他。
发布者 中国网站分析-从基础到前沿 (http://webanalytics.blog.sohu.com/)
2008-04-14 21:14 回复 |
融海咨询的CTO程实给我们了一个非常准确的回答,谢谢你!
“Hi, Sidney,
WebTrends有专门针对Spider(或Robot)的报告,因为WebTrends可以将Web Server的原始日志作为数据源,对其进行分析获取相应的信息。
除此之外,WebTrends还可以提供服务器端错误(HTTP CODE 5xx系列错误),客户端错误(HTTP CODE 4xx系列错误),页面无法找到(404错误)等其他来源于Web Server原始日志的报告。
以上报告需要客户购买安装了WebTrends产品。
当采用在页面中嵌码收集日志时(例如On-Demand Service)是无法获取该类报告的,其他分析工具(如Google Analytics)因为只有页面中嵌码一种日志来源,因此均不能提供该类报告。
Best regards,
程实 Cheng Shi | CTO of WebTrends China | Ronghai Consulting
”
发布者 中国网站分析-从基础到前沿 (http://webanalytics.blog.sohu.com/)
2008-04-15 14:34 回复
赞!
发布者 tenly (未验证) (http://hi.baidu.com/tenly)
2008-04-15 15:06
蜘蛛的流量分析跟日志分析或者在线分析没有太多关系。在线分析系统也可以实现蜘蛛的分析,关键看机制和指标定义。
另外,用蜘蛛的流量分析SEO的效果有点勉强。
回复John:
一般而言,网站分析工具如果使用tag方法(页面嵌入tag)是无法监测到蜘蛛流量的,因为他们基于cookie。log分析工具分析SEO则没有问题。
利用google analytics追踪搜索引擎蜘蛛(spider/robots)的爬行日志 在一定条件是可以实现的
http://www.robinli007.com/archives/271
利用google analytics追踪搜索引擎蜘蛛(spider/robots)的爬行日志http://www.robinli007.com/archives/271
在一定条件是看一点