【前言】
我的老同事谢总忽然给我电话,问我如果他们公司的各个部门都在争夺首页资源,并且打得不可开交的时候,应该怎么协调首页的资源,以确保能够让公司的整体业务有最大的产出。老谢的公司是一家自营+平台的电子商务网站,首页目前更多提供给了平台上的第三方商家,以获取广告收益,但自营部门纷纷要求削减第三方在首页上的侵占,并拿出看似十分具有说服力的论据——加盟商家的广告费可能没有我们自营商品换取的利润多,而且他们还弱化我们公司的品牌。
我忽然意识到这是一个非常重要的问题,首页,一个网站的门面、各个部门都要争夺的利益焦点,服从于政治意志并不能产生组织利益最大化,是否有一种方法能够帮助我们科学的协调各方的意愿,且能够产生具有说服力的结果?在我之前所在的公司,同样会发生经久不息的首页争夺战,只不过这家公司虽没有平台和第三方商家,但内部部门相互之间仍纷争频仍,颇有剑拔弩张的时候。首页,因此无法按照最优化的方式进行内容的组合,而不得不屈从于政治妥协。我曾经说过,首页的焦点图大约就是政治妥协的结果。
在电话中,我给他解释,我们有很多方法来帮助判断首页的策略,这些策略都可以用定量化的结论来说明,以帮助他说服利益攸关的各方接受现实。电话了30分钟,我们都深知仅仅是通过电话无法说清楚这个问题,于是我应承下来,我说,我应该有一篇文章。
【正文】
首页问题难以解决的原因存在于如下几个方面。
首先,首页是一个信息集合体,它的作用及目标的指向性其实要比其他所有页面都模糊,这使优化首页变得有些“无的放矢”。这意味着,在对首页资源进行分配和优化前,我们必须要搞清楚,我们到底要让首页达成什么样的目的?就这个问题,我仔细询问了老谢,我问他,你们是否尤其在意公司的品牌形象、公司销售产品的调性(是否高端或者至少不低端),或是需要特别凸显你们在业界一流的水准和权威性?如果答案是“是”,那么,我们简单使用一些“功效性”的指标来衡量首页就不再适宜,而必须考虑到首页所起到的“公益性”价值。这类似于我们在进行互联网营销时候的“效果营销”和“品牌营销”的分野——如果你的目的是品牌,那么不以销售或转化效果为导向,甚至以牺牲相当部分的转化效果为代价,都是可以理解的。这种情况下,你可能会觉得“政治”的因素在左右你的首页,而优化首页的目标、过程与结果也不再那么“定量化”,但目标如此,也就没有什么想不通的了。不过,如果首页的目标是为了最大化现时的经济利润,事情就会好办的多,我们可以清晰的定义需要采用的度量,有条不紊的进行我们的测试,并且给出足够证明结果与影响因素的分析与结论。
因此,在下面的讨论中,我们全部假定首页的目标是“功利的”,即为了实现现时经济利益的最大化。
一般方法:谁更有产出?
解决首页问题的一般方法并不会超出大家的预料——业绩说话。平息争论最好的方法是“是骡子是马拉出来溜溜”。对于老谢公司的问题,似乎完全可以承诺:“我们现在的这个星期会保持以第三方商家广告在首页,而下一个星期,我们则会放上内部自营部门的商品推荐。”两个星期后,我们看数据说话。
我们最后看的业绩数据当然是收入数据(对于第三方平台部门是收取的营销广告收入,对于自营部门则是销售毛利)。如果你们的情况跟老谢不同,而跟我之前的公司类似——没有第三方平台业务,而全部是自营,首页的争夺是不同品类事业部之间的争夺——那么业绩数据比较则更简单,即比较不同部门在规定时间首页亮相之后,谁贡献的毛利更多。
我相信大部分运营朋友能想到的方法都会是这样,这种方法直观,操作也简单,而且似乎也容易说服大家接受。
且慢!
如果你真的准备采用这个方法,我担心最终的情况是十有八九无法落地。
问题不在于我们设置产出作为比较关键点是否合理。一般而言这么设置是正确的,无可厚非。问题在于:比较不同首页设置所需要花费的时间是一个很大的现实障碍。一般而言,积累数据怎么着也需要一周时间,而进行两个不同的测试最少也要两周——两周的时间,企业各部门根本没有这样的耐心。就算有耐心,时间仍然是问题,因为谁也不能保证在这段时间环境不发生变化,例如在第二周公司突然进行了全场范围的折扣促销,那么第二周的绩效就与第一周不能相提并论了。总之,时间变化了,环境一定会发生变化,这不是apple to apple的比较,肯定不能达到你期望的公平比较的效果。
那么,怎样做才能帮我们得到公平有效的比较结果?
A/B测试优于分时测试
我们必须进行A/B测试。如有可能,互联网营销的所有比较都应该采用AB测试而非分时测试。A/B测试避免了上面分时测试的尴尬——AB测试是同时的(消除了时间造成的环境变化),样本是随机的(降低了样本偏差),过程是可控的(我可以随时停止),结果也能够实时反映。这些都注定了这种方法意义重大。
常做A/B测试的电子商务公司,往往具有更高的运营水平。关于什么是A/B测试,请看几眼这篇文章:Avinash – 卓越分析系列2:实验和测试启蒙。
如果使用Google Analytics,它已经自带了A/B测试的工具(是整合了之前独立的Google Website Optimizer工具),在比较我们希望看到的产出效率上,只需要简单设置即能够实现我们的需要。例如下面这样的设置,“Transactions”是指你测试的两个首页各自带来的交易的数量,而25%是指你做测试的时候所选取的流量为到达首页的总流量中的25%,即分别统计的两个首页的流量为12.5%和12.5%——事实上其中一个首页肯定获得了87.5%的流量,但A/B测试工具统计时也只随机选取了其中的12.5%。显然,选择越小的比例越安全,但是积累数据所花费的时间就越长。
A/B测试几乎是唯一能够最终平息争吵的方法。但A/B测试需要新的页面,有点麻烦。如果只需要对首页中的部分内容做测试,例如只是首页的顶通(leaderboard)是争吵的焦点,那么有些朋友会考虑选择多变量测试。这种方法与A/B测试极为相似,但不需要设计多个页面,而只是把页面中的局部分成A、B版本进行替换——二者思想是完全一致的。对于首页的优化,多变量测试看起来不用增加页面,省去了一些工序,似乎效率更高,但麻烦的地方也正在于此,因为后面你将会知道,专门增加一个B页面其实还有大用。另外,多变量测试的工具几乎都是付费的。
世界上最多使用的付费网站分析测试工具是Optimizely和Adobe Test & Target,二者的拥趸几乎相当,使用起来其实并不简单。快速部署实现测试的方式,更适合利用Google Analytics的Experiments工具。
AB测试和多变量测试在原本是为实现单个指标的测试而设计的,即,我与你打赌,A首页比B首页能带来更好的转化率,那么转化率就是这个赌局(测试)的唯一指标。不过,我们的目的是为了优化网站首页的资产配置,我们很多时候还要兼顾其他的绩效,因此目的也就必然不那么单纯。我们接着往下看如何解决这个问题。
产出之外的其他重要行为的指针
如果仅仅只是按照工具的模块去做一个只有一个指标的测试,那么真是有些糟蹋了测试这个“牛X”的方法。A/B测试最有价值的地方,不是在于它给了赌局一个结果,更重要的在于,它能够随机把流量分配到两个(或多个)目的相同而设计不同的页面上去。而这两个页面的所有用户行为,又都能够被网站分析工具忠实的记录下来供你进行详细的分析。真是太美妙了!(由此可知,事实上,就算没有一个A/B测试的工具,只要你的网站前端工程师愿意帮你实现流量随机在两个首页上的分流,你手中又有网站分析工具的话,你一样可以做出非常可靠的A/B测试。)
现在,你有了这两个武器——A/B测试工具实现的自动随机分流和网站分析工具,你还能做什么呢?
分析不同资产配置的首页的关键绩效指标(KPI)能够很大程度满足我们的好奇心,并且让我们知道不同资源配置的首页到底如何影响了网站访问者的行为。这些KPI包括跳出率(bounce rate)、测试区域的点击率(CTR)、点击分布(点击热图)和页面价值(Page Value)等。但我没有把页面停留时间囊括在KPI中,因为在首页上停留时间长短很难说明什么,如果A页面的停留时间比B页面停留时间平均多了5秒,或许只是合理范围内数据本身的扰动。而首页A/B测试时所体现的相差甚远的平均停留时间我从来就没有遇到过。
上面这些KPI中,我认为最最重要的仍然是跳出率(bounce rate)。如果A首页的bounce rate比B首页多出了10%以上,我们有充分的理由怀疑A首页的效果确实降低了。即使最终的A首页流量的转化率比B首页高(这种逆天的情况极少出现),我们也不能就此下论断就认为A比B好,而只能说,可能是A首页推荐的商品品类更容易说服部分人掏钱购买,并因为该局部的提升而使整体转化率得到提升。
举一个最简单化了的例子。假设一个电子商务网站的首页的顶部有一个各个部门争夺的推荐商品展示位,为了平息争议,网站部门进行了一次A/B测试。建立的A、B页面只是推荐位推荐的商品不同。测试结果如下表所示:A首页的bounce rate是60%,B首页是50%。假设两个页面分别迎来了1,000个访问,而且对于没有bounce掉的visit,购买其他非推荐商品的几率是一样的。A页面有600个访问bounce掉,剩下400个中有50个购买了A首页推荐的商品,20个购买了其他商品;而B页面有500个访问bounce掉,剩下的500个中有30个购买B首页推荐的商品,25个购买了其他商品。那么A页面的最终转化率是7%,而B页面是5.5%。
这种情况说明了A首页推荐的商品对那些喜欢这类商品的人来说实在太好销了(400人中80人购买),但其他的人则可能因为这个商品的影响而对这个首页兴趣下降(跳出率为60%)。A首页更好?抑或是不好?结论完全取决于你们自己的评判标准(例如加入其他的关键指标,比如产生的销售额或是利润)。但如果我们只是用Google Analytics的Experiments功能做了一个A/B测试,并且设置转化率为衡量标准,那么我们就只能得出结论——A首页好于B首页。但事实情况是,A首页并不见得比B首页更好,虽然它推荐的商品更受部分人追捧,但却降低了页面整体的表现,并影响了其他的销售机会。
因此我不是特别喜欢一赌定江山的单纯测试。我更想知道两个不同页面究竟引发了人们何种行为上的差异,以及为什么发生这样的差异。
研究测试区域(首页上被改动的区域)的点击率变化是最直观的观察人们因为首页改变而行为改变的指针。这个点击率的定义是:首页该区域链接被点击的次数(实际上是首页该区域链接被点击后打开页面的PV数)除以首页的访问数。一个区域发生变化后,若它自身的点击率显著提升,且其他区域的点击率并未明显降低,显然说明这个变化是有价值的。在下面的例子中,BCD三个新的首页分别对原始首页做了修改,同样区域内,内容不同,点击率也相应不同,而左侧的链接的点击率实际上没有发生明显变化,很显然D首页的效果最好。这个例子四个版本其实卖的是一种商品,但我们完全可以想象它分别推广的是四个不同部门的商品,各个部门的表现各有千秋,最终D部门在吸引人们注意力上胜出(测试区域的点击率最高)。
不过,如果首页整体发生了明显的调整,单独测试区域也就不再存在了。这时我们更常用的做法是通过分析两个首页的点击热图,来判断人们的兴趣因此发生了何种改变。下面这个网站是一个UK的工作介绍类专业网站,首页在一片争吵中定下来第二版。原始版本(A版)的拥护者认为,访问者除了想要知道相关工作需求的信息,还想要了解其他的能够帮助他们学习如何找工作的相关技能和经验,因此页面中放置更多信息是必要的。第二版(B版)的支持者则反对这个观点,他们希望更纯粹的首页,即明确的帮助人们找与他们专业对应的工作,而把更细分的分类和信息,交由点击相关分类或导航之后的页面来完成。
我们先看看这里说的A版和B版都是什么模样:
A版首页如下:
B版首页如下:
现在,两版首页被放置在AB测试的舞台上,等着观众们的投票。我不想给大家悬念,最后的结论是B版页面的Engagement(关于engagement的详细解释看这篇文章:http://www.chinawebanalytics.cn/web-marketing-key-metrics-and-logic-2/)以超过A版21%而胜出。但原始版本改变为第二版之后,用户的行为发生了什么样的改变?下面的点击对比图展示了一些现象。所有的数字为假设两个页面均获得了1,000个访问,相应区域所获得的点击数。
A版页面的访问者似乎稍微更依赖于导航找寻他们想要的内容,A页面的导航点击相比B更多。A页面在找工作的分类上(页面上方的Accouting、Banking、Consulting、Law和More的五块分类区域)倾注了更多细节,却反而比B页面获得的点击更少——这说明信息多并不一定能获得更多点击。有限空间的信息总是很难周详,没有放上去的信息反而容易被用户误认为缺乏该信息,造成用户反而放弃点击查看究竟;相反,仅仅给出大的分类和吸引眼球的大图,反而更容易引发用户探索的愿望。A页面的相关下载资源(左页26个点击的区域)也并未在首页得到赏识,但事实上这些下载是网站中最受欢迎的内容之一——首页功能的多重化分散了人们的注意力,也忽略了人们接收信息的先后次序,人们未必需要在刚看到首页还没有回过神的时候就进行下载。
B首页因此而获得更好的点击效果,1,000个访问的总点击数量是776,比A首页的639个点击多出了21%。信息和视觉元素的集中与精简对人们心态和行动的影响,在点击热区图上被清晰的展现出来。
【待续……】
在上半部分中,重点为大家说明了,采用什么样的方法是最适宜的数据判断方法,以决定什么首页更适合组织所追求的效果(AB测试和多变量测试)。以及,除了关注最终的指标外,我们还应该关注哪些用户行为指针以进一步帮助我们分析当首页资产配置发生改变后,首页效用的升高还是降低。在第二部分,大家将看到一些更“高端洋气”的方法,以及另外一些优化首页的常见方案和它们的效果。请大家期待!现在文章写的少了,但承诺大家,要么不写,要写就写出干货!
感谢宋星老师国庆节给力分享!
期待下一篇“高端洋气”的方法 :)
很好的分享, 目前我也在為公司的註冊頁面做A/B Testing,效果理想。
但還沒有到宋星老師的深度,學習中。
首页给谁要看谁的转化率高,还有就是看成交额!
哈哈,你遇到的问题我们一直在有。但是问题却不是这么解决的。我们的平台跟文章中的情况类似,所以基于类似的需求,我的观点如下: 1.所谓的平台看销售额、自营看毛利的说法只会让有竞争力的品类越来越好,新品类越来越差。这跟平台本身的属性有关,比如红孩子是母婴品类起家,这些品类必然是平台和自营里面的卖的最好的,你让她去卖大家电,必然卖不过母婴。所以,单纯看销售的情况没法落地,老大会说你不支持新业务发展。 2.对于A/B测试,都是理论上的。就像文章说的,业务真的没有时间去听你说那些理论,更没有时间去花2个周等结果,另外,基于随机用户分配的测试效果必然大于基于时间的测试,但TnT的实施需要技术去做开发,而且基于已有CMS的开发难度较大,所以技术开发时间+走流程时间+等待测试时间+分析报告的时间 就会太久太久了,所以随机测试基本上很难实现。 3.页面板块、产品之间是有管理销售的,单纯某个商品或某类商品销售最大化不是最终目标,公司的最终目标是整体利益最大化,只考虑某个品类的最发是欠妥的。 那我们是怎么做的 ? 1.首页资源位的分配要看各资源的效果,最终评定指标是整个首页利润(商品总毛利+总提成点)的最大化——这是根本。 2.考虑首页品类组合利润的最大化,把交叉沟通(如果有)或最佳销售单品拿出来。通过分析历史数据做积累。 3.有些商品虽然利润高,但不一定需要上首页。比如类似于IPone这样的单品,不管放在哪都好卖。 4.需要根据公司战略考虑新品类的情况,所以即使他销售不好,也需要支持——好的资源位也要照顾劣势品类。 5.对比不同品类的效果差异比如对比品类本身的差异,建立品类本身上架KPI,通过不断调整KPI找到最佳平衡点,达到KPI可以增加资源,KPI完成不了削减资源。——同比和环比的纵向对比更适合品类差异比较大的平台。
回复Tony:感谢回复!你的观点和实践对我很有启发,相信对其他读者朋友们也大有裨益!
首页之争,其实就是利益之争。
回复Tony:我已经把你的评论放在微博上,并且期待更多的朋友参与这个话题。这个话题很有意思,不单纯是数据,更多是如何应用数据下的运营。
感谢宋星的推荐,的确如你所说,业务数据的问题很多不是数据的好与坏就会驱动决策的。数据永远最多只有一条腿,另一条腿是业务实际。
“现在文章写的少了,但承诺大家,要么不写,要写就写出干货!”
看到这句话,真开心啊~~真给力!
菜鸟飘过~~~
关于第二点,我这里也说一下: A/B测试时除了原来的页面还得创建一个新的页面,并在原来的页面上添加测试代码,基于原来的CMS进行A/B测试的实施需要技术去做一些开发工作,但这些开发工作其实并不是很复杂,开发时可尽量考虑其复用性,后期则可以继续沿用,后期再要进行新的测试时配置实施流程就会简单许多,我们之前的实施也大体是这样的。关于第三点,根据网站业绩目标,页面要有其整体的KPI,如转化率或单次访问价值,各个板块也要有其相应的KPI,我们要关注其相关的点击产生的效益,以配合达成网站或首页的业绩目标。不过要找到KPI的最佳平衡点会比较困难,这个需要经验的积累,并不断测试不断优化。
首页到地方放些什么 的确值得琢磨!
A/B分析法收下了,另外求指教网站(www.cnycs.com)百度快照不更新是怎么回事呢?
内容基本原创吖
太复杂了,
可以看看韩都衣舍的方式
小组模式,每个小组有启动资金,然后开始对内出售首页资源,各种首页资源,包括自己的独立网店,天猫店,淘宝店,各种第三方商城店,这种首页资源需要每个小组自己用自己的资源来购买,销售了本组的衣服后,又有新的提成,可以卖更多的首页资源,那些用不好资源的小组最终会被淘汰。为了防止强者恒强,新组会有扶持。。。。。
宋星老师,我是个新手,我发现在在案例中提到的是多个部门在争首页资源,但是AB测试只能针对两个版本的测试,难道要针对多个部门的产品进行多次AB测试吗?
回复henry qu:AB测试支持对无数个版本同时进行测试。只要有那么多的版本。AB只是一个代词,实际上是ABCDEFG……
哦,这样啊,受教了,谢谢宋老师