Avinash – 卓越分析系列1：统计学意义

　　Sidney的翻译前言：从今天开始，将逐步介绍Avinash在网络营销分析方面的一个系列帖子，叫做Excellent Analytics Tip（即“卓越分析的小贴士”），目前他一共撰写了11篇。这个系列的帖子不求语多惊人，但求实用可操作，是难得的好帖子。各位看官，我会抽出时间慢慢翻译，并且试着加入一些我的理解。

　　当然，非常感谢Avinash大师为网站分析所做的巨大贡献。

【译文正文】

　　我们都希望我们最重要的那些公司内的伙伴——商业决策的制定者能够大量利用网站分析的数据去进行决策。那么，我们要如何让我们的建议/决策更加令人信服呢？我们如何让我们的工作不仅仅是堆砌数据呢？解决这些问题的关键之一是把有用的信号从噪声中分离出来，并且使我们能够更容易的区分开二者的区别。

　　这就是卓越的分析第一篇的由来，也是这个系列帖子的开篇。这里我们将利用统计学的力量。

[译文版权归译者Sidney Song所有，转载请事先声明并得到许可]

　　假设有如下场景（场景A）：

　　你发送了两种报价给潜在消费者，下面则是消费者反馈的结果：

• 报价1：有5300个消费者收到报价，反馈订单46个。因此转化率（Conversion Rate）是0.87%
• 报价2：有5200个消费者收到报价，反馈订单55个。因此转化率（Conversion Rate）是1.06%

　　是不是第二个报价要比第一个更好呢？第二个的确有“更好的”转化率，高出第一个0.19%。你能根据这两个报价每一个只获得了大约四五十个订单就做出决策吗？你可能会说，报价2毕竟比报价1还要少100个消费者，却得到了多出9个的订单。

　　通过统计学技术，我们得到了答案。这两个转化率之间，只有0.995的标准差，并不具备统计学意义。或者换句话说，我们并不能给予这个结果很大的信心，因为很有可能是一些噪音造成的二者之间的转化率差异。

[译文版权归译者Sidney Song所有，转载请事先声明并得到许可]

　　再假设第二个场景（场景B）：

　　你再次发送了两种报价给潜在消费者，下面则是消费者反馈的结果：

• 报价1：有5300个消费者收到报价，反馈订单46个。因此转化率（Conversion Rate）是0.87%
• 报价2：有5200个消费者收到报价，反馈订单63个。因此转化率（Conversion Rate）是1.21%

　　统计学技术告诉我们，这一次，二者之间的标准差是1.74，因此这个结果有95%的统计学意义。95%的统计学意义是一个非常强的信号。基于此，这样一个5k的样本加上60个订单回馈，我们能够认为报价2更为成功。

　　计算标准差是不是很难？不难！用这个excel文件就能轻松搞定：StatCalc.xls。

　　你要做的就是把相应的数字填入蓝色的格内，然后你就得到统计学意义的结果了。这个方法论能够非常方便的实施在我们分析研究的很多方面，包括：

• 搜索引擎市场营销
• 各种直复营销和提供报价方案
• 带百分号的度量（即比率性的度量）
• 研究A/B测试和多变量测试结果之间的差异

　　你也能利用上面的数据表计算绝对数之间的统计学意义。（意思是，你可能想知道不同页面PV/V和不同人群的Time on site的值是否有统计学意义）

[译文版权归译者Sidney Song所有，转载请事先声明并得到许可]

　　研究统计学意义而不仅仅只看转化率的好处在于：

1. 你把自己从坑中挖了出来。如果你能告诉客户：“根据统计学分析，我们可以认为这个结论……”
2. 把精力集中到信号的定性研究上，这意味着我们比那些仅仅给我们分析数据的人要更聪明。
3. 你能够把你的思想和问题从等式中取出来。如果某个结果具有统计学意义，我们就采取行动，反之，我们就试试其他情况。不是数据报告，而是实实在在的具体行动。

　　下面是两个很好的工具/数据表，你能够通过它们挖的更深。

• http://www.mwrms.com/wwwRMS/DirectMarketing/MarketingCalc2.asp
• http://www.analyticalgroup.com/sigtest.html

　　两个小提示：

1. 一般而言，如果可信度高于95%才能算“最佳实践”。虽然并不是必须的，但是建议达到这个数值才算具有统计学意义。
2. “统计学就像一件比基尼。露出来的部分只不过是一些暗示，遮住的部分才是关键。”——Aaron Levenstein。

　　同意吗？或者不同意？不算是一个卓越的分析提示吗？请通过留言分享你的想法吧！