Avinash – 卓越分析系列2：实验和测试启蒙

　　原帖地址见：http://www.kaushik.net/avinash/2006/05/experimentation-and-testing-a-primer.html

【译文正文】

　　这篇文章是一个带你进入多姿多彩的测试和实验世界的一个启蒙。这些测试和实验例如A/B测试，多变量(Multivariate)测试，以及一个对我来说崭新的名字：体验测试(Experience Testing)。现在已经有很多网站介绍A/B测试和多变量测试，所以我只想谈一谈这些实验和测试的基本原理，然后再就运用每种小技巧的方法说说我自己的观点。

　　我在Emetrics Summit 的演讲中专门谈到了实验和测试，下面是这次演讲的一些文字总结：

　　要么做实验，要么回家去吧，这是因为：

• 顾客总是不断嚷嚷着给我们提出各种问题（只要他们给我们打电话或遇到我们），他们是“杂种”，因为他们从来都只会嚷嚷，而不会提出任何解决办法；
• 我们的老版总是认为他自己就能代表网站的访问者，而且他们总是越俎代庖地做网站设计（此后还让我们迅速实施这些设计！）
• 今天最常见的那些网站访问体验到了明天就不会那么吸引人了
• 80%的情况下，你对一个顾客在网站上想要什么/期待什么的估计都是不正确的

　　最后一点很难被我们承认，毕竟我们都是如此自负。但是现实是，我们并不是我们网站的顾客，我们离公司、产品以及公司网站太近了，这会根本上影响我们的判断。实验和测试能帮助我们既快速又持续的发现错误。如果你是这么想的，那么对顾客和雇主来说，都是一个福音。

　　长期进行实验和测试能够代替那些最传统的收集网站用户定性数据的方法，例如，这些测试和实验能够取代“模拟用户使用感受的试验（Lab Usability）”。模拟用户使用感受（在实验室或者在家中进行或者远程控制进行）本身没问题，但是如果我们的顾客有一些私密的上网习惯，难道也要请他们演示出这些私密的习惯吗？

　　有一点很重要，实验和测试听起来既空洞又复杂，实则不然。这是因为，我们很幸运的生活在一个提供了各种选择的时代里，这些选择使我们能够按照我们所期望的程度尽可能深入的去测试，也能够更广范围的做测试，而付出的代价并不是那么夸张。一般而言，有三种普遍采用的测试方式，其中下面的前两种是最常见的。

　　A/B 测试：A/B测试这个名词常常被做为一个无所不包的范畴而被滥用。不过，A/B测试在这里是指测试一个网页的多个不同版本。每个版本通常必须与其他版本有明显的区别，而且跟其他版本不相互链接，目的是为了通过测试看哪个版本的页面更有效果。例如，创建三个版本的网站首页或是产品页面，或是服务支持FAQ页面等等。通常，利用A/B测试，你只需要衡量一个最终的结果（点击到下一页的点击量或是转化情况等），如果你不需要看其他的情况，做A/B测试就是很合适的。

　　如何做A/B测试：让你的网站设计/开发者创建一个页面的几个不同版本，然后根据你网站平台的能力，你能把这些版本同时放上去开始测试，或分别放上去测试它们。当你不能同时测试它们的时候，你可以把它们一周一换，然后尽可能地让每一周的访问者的情况和网站的外部因素都保持一致。

• A/B测试的优点：
  • 它可能是最廉价的测试方式了，因为你拿着现成的资源和工具就能实现；
  • 即使不想真的做测试，这也是一个很好的方法让你的团队做点儿什么并且能从中找到乐趣；
  • 我的提示是：头几次的测试，你应该让大家下点儿赌注，赌哪个页面更好，然后找出获胜者。你一定会惊讶于最后的结果。
•   A/B测试的缺点：
  • 存在难以控制的外部因素（外部促销、搜索流量、新闻影响以及淡旺季影响等），因此你不能100%的保证结果是由网页造成的（因此下结论前先给一个70%的置信度吧！）
  • 只能测试有限的几种事物，而且这些被测对象都很简单。如果想要了解一个页面版本内部各元素之间的联系和相互促进与否，用这个方法就很困难了。

　　多变量测试：现在坊间的“酷玩”，引发了许多的炒作和话题。在前面所说的A/B测试中，你需要创建多个页面。而多变量测试则是利用“模块化”的思维方法——你的页面（被划分成多个模块）在测试时不需要额外做多个版本，而是直接动态地分配页面的这些模块，让不同的页面模块组合显示给不同的访问者。这样，就能通过一些相对复杂的数学工具来研究页面各部分之间的关系和相互作用，而不仅仅只是哪个页面的版本更有用。

　　例如，在我的博客中，我把核心内容页面、top header、左边导航区的每一个元素（比如页面导航，分类，链接和搜索等等）都作为“模块”。在一个多变量测试中，我能通过单独变换每一个模块的内容来看哪一种组合方式更有效。

• 多变量测试的优点：
  • 多变量测试能够让你更快的做更多的事情。我这么说有如下原因：
    • 有很多的服务提供商如Offermatica, Optimost, SiteSpect 以及 Kefta，能够帮助你很快地实现多变量测试。因为他们能够远程为你提供host在他们主机上的所有功能（实际上就是ASP或SAAS模式），这些功能包括内容设定，测试属性设定，分析功能以及统计功能等等。
    • 你不需要依靠你的IT/开发团队。他们需要做的只是放几行JavaScript代码在页面中就行了。这对于节省时间而言大有裨益。
  • 它也是一个能够不断为你提供研究素材的测试方法
• 多变量测试的缺点：
  • 古老的计算机格言：小心GIGO（garbage in, garbage out，垃圾进，垃圾出。意思是输入的东西没用，输出的肯定也没用，译者注）。你需要有一个清晰的思路，这个思路得来源于对顾客抱怨点的清晰了解，或是来源于一个战略性的目标。优化一堆没有用的东西很多时候都是又快又容易的，但毫无用处。
  • 网站的访问体验对于大多数网站而言是复杂的多页面体验。对于一个电子商务网站而言，从进入网站到成功的购买商品的一个完整过程得经历12到18个页面访问的过程。而对于一个服务支持性的网站，可能有更多页面过程（因为我们有时候为了一个答案得不停地翻找各种页面！）。通过多变量测试，我们只能优化一个页面，而无论这个页面多么优化，它对最终效果的影响也都是有限的。这不过是优化整个网站的最初一两步而已。

　　做多变量测试的时候请一定要明白它的这些局限性（当然，服务提供商总是告诉你这东西能包治百病。你倒是应该细细琢磨到底多变量测试能给你带来什么）。

　　体验测试（Experience Testing）：这是一个我杜撰出来的词。我用这个词表明那些能够通过使用一些特殊的网站平台功能（例如ATG，Blue Martinique等），来完全的改变一个顾客访问网站体验的测试方式。你不仅能够改变某个页面上的内容，例如改变左边的导航区或者一段文字等，你还能改变网站访问者在访问你网站的一切体验。

　　例如，如果你的网站是卖电脑硬件的。那么利用这个方法你能创立两个完全不同的网站版本，一个完全是支持Windows的产品，另一个完全是支持Macintosh的产品的。或者一个只显示给新来的顾客，另一个则显示给老顾客。或者一个用紫色的页面白色的字体，且不加左边的导航条；另一个则是用一个微笑的美女取代那些产品包装的照片。

　　通过体验测试，实际上不需要单独做几个不同的网站，而是利用你的网站后台轻易地在你的网站上创建两个或者三个长期存在的不同体验方式。你可以据此研究哪一个方式能带来更好的反响，反正你可以用网站分析搜集多个方式的网站数据，分析方法则是完全一样的。

• 体验测试的优点：
  • 这种测试是理想境界的测试。你能够让顾客在自己的环境中接受不知不觉的测试（想想前面所说的“私密环境”吧！），并且能够搜集那些接近于客户真实想法的数据；
  • 如果你能整合你的定量研究方法，你就能“逐字逐句”地读懂他们对于每一种体验的想法；
  • 你能获得的结果比用其他方式来的有力10倍。
• 体验测试的缺点：
  • 你需要找一个能够支持这种测试的网站后台，比如ATG；
  • 需要花费的时间也要远长于其他两个；
  • 显然，这个方法也需要耗费更多的脑力。

　　体验测试是相当有前景的，不过现在很多公司才刚刚接触它。不过，迟早（其实我相信是早，而不是迟）会有更多的服务提供商会在这一块拓展他们的空间。

　　同意吗？或者是不同意？你的意见是什么？在评论区分享吧！:)