网络营销效果衡量的核心指标及我们用什么样的逻辑思考（3）

【前言】

这篇文章的诞生简直是命运多舛。

一般而言，博客中的文章现在总是在上下班的时候在地铁中慢慢完成的。这个第三篇，经过了好十几次地铁来回（现在坐地铁上下班已经没有那么多，所以这十几次地铁，更是花了一月有余的时间），已经快要完成的时候，被我不慎重装系统后完全删除了。

各位看官，若是你们也有类似遭遇，那你们便会懂得这是一种什么样的挫折感。但，一个系列从诞生到最终的结束必须是一篇一篇慢慢道来的，所以，既然已经有了开篇的一、二两个文章，那就必须让它继续下去，不能成为烂尾的系列。

所以，我重新振作精神，忽然发现如果我重新写来，也许能够比丢失的第一遍写得更好，于是便欣然重头来过。

【正文】

　　前一篇文章我们讲了什么是engagement，engagement包含哪些指标，如何定义这些指标，以及如何通过技术方式监测到这些指标。这一篇文章我们则要考虑一些更深层次的问题。一部分问题是，我知道衡量engagement十分具有价值，但是这种衡量应该用到哪些业务领域呢？即engagement的适用性问题。另外一些问题则是前一个问题的延伸，即在适用engagement的领域，又应该采用何种具体的方法呢？即engagement的方法逻辑。很多朋友向我咨询这样的问题，几乎每一个engagement的具体指标都被询问过，这种面对业务不知用何种指标去剖析，或者面对指标不知应该如何应用的茫然失措我感同身受，而我所做的工作其实一直就是试图把它们联系起来，这使我觉得在核心指标的这一系列文章中，同大家一起解决这个问题的意义重大。

Engagement的应用能够解决什么问题？

由于Engagement的灵活性，它至少在三个领域具有极高的研究价值。其一，它对于衡量总体（宏观）效果的达成有帮助；其二，在确知流量质量的情况下，它衡量网站对影响用户的程度（即一般我们所称的网站的质量）；其三，在确知网站质量的情况下，它衡量网站流量的质量。

　　这三个问题，几乎是我们进行营销分析的核心领域了。我们先来看第一个问题：如何通过Engagement指标衡量总体（宏观）效果的达成。 

Engagement衡量总体（宏观）效果的三种方法

Engagement衡量宏观效果的方法，基于这样的一种假设：大量用户看似混沌的各种行为，实际上均反映了网站对用户的影响（吸引）程度。用户行为的量和度越大，表明网站对用户的影响越强烈。这么说不难理解，同样的两个新闻站，A站平均每个用户访问看10条新闻，B站只有5条新闻，很明显A站对用户的吸引程度更大。Engagement本质上即是用于描述各种用户混沌行为，因此engagement的数量和强度，与网站影响用户的能力是等同的。

　　那么如何衡量Engagement的数量和强度呢？

通常有三种简单的方法衡量宏观Engagement。第一种方法，是观察全局性的Engagement指标，这些指标既可以是标准指标，也可以是自定义指标。第二种方法，是把单个的Engagement指标按照自定的重要性程度加权汇总起来，形成Engagement Index加以衡量。第三种方法，则是按照用户行为与营销目标之间的数学关系定义各个指标的重要程度，然后再加权汇总成Engagement Index。只要对用户行为的监测得当（关于Engagement具体指标的监测，请参看本系列的第二篇文章：网络营销效果衡量的核心指标及我们用什么样的逻辑思考（2）），三种方法操作起来都不会有什么困难。

方法一：全局性Engagement指标的分析

第一种方法，观察全局性的Engagement指标，最常见的便是观察Bounce Rate，PV/V，或者Time on Site。关于Bounce Rate，大家心怀的问题最多。几乎在所有的课堂上，当我讲解Bounce Rate相关的知识的时候，就会有同学提问——Bounce Rate到底多高算好？我可以简单的答复，如果你的Bounce Rate没有超过65%，那么还真是值得庆贺。但这样的答案并不是我喜欢的（所有一刀切的做法都值得怀疑，比如说在几十年前自上而下决定的那些绝对的善或是绝对的恶），如果京东的bounce rate是65%，那么他们一定会顿足捶胸的痛苦。不过，若是在营销活动中，网站的Bounce Rate真的高于80%，那我们该得出什么样的结论呢？

结论A：该死，这真是一次全然失败的活动，流量糟透了，网站也稀烂。

结论B：网站是成功的，但是流量存在极大的问题。

结论C：流量肯定没问题，但网站很糟糕。

这三个结论，哪一个会是正确的？答案是，都有可能。不过，在具体的情况下一定只有一个可能性。我们如何判断Bounce Rate高，到底说明了哪种情况？

我的方法很简单——按照流量来源细分Bounce Rate，然后判断到底是流量除了问题，还是网站出了问题。解决这个问题我将引入参照系的概念，即流量中可以作为参照系的标准流量来源。我们都知道，网站流量来源多种多样，其中质量最好的流量是自然搜索流量（organic）。或许你会失望，问为什么不是direct（直接流量），原因是direct并非真正的直接流量，而是对于这个网站分析工具而言所有无法判断来历的流量，因此direct可能杂糅了很多流量（预知详细，请看这篇文章：Direct Traffic真的是直接流量吗？如何辨识真正流量来源？），这些流量的质量几乎可以肯定不如自然搜索流量。你会问，为什么organic是质量最好的，其实很简单，organic流量不是作弊流量，而且反映了真正的用户访问需要。如果一个网站没有什么organic流量，那么流量质量第二好的流量是付费搜索引擎流量。这两种流量可以作为我们衡量bounce rate的参照系。现在，我们来观看下面的几种情况，你又会分别得出什么结论：

情况A：Organic流量的bounce rate不错，只有40%左右，但网站整体的bounce rate是80%。

情况B：Organic流量的bounce rate和网站整体的bounce rate几乎一样高，都高达80%。

　　相信你看到这两种情况，心中已经有数了。A情况，说明网站对那些真实有兴趣的用户的吸引力还是不错的，40%的bounce rate水准不错，但网站仍然有高达80%的bounce rate，说明其他流量很可能并非你希望获取的人群。B情况，如果连Organic流量都有极不理想的bounce rate，那么说明这个网站真心做的差点意思。流量参照系给了我们一个很明确判断到底是流量还是网站出问题的方法，但使用这个方法有一个前提，就是Organic的流量不能太少，如果Organic流量很少，可做替换的流量是Paid Search。但如果没有什么Search的流量，那就找那些你认为质量可靠的流量来源。不过，无论参照系流量的表现如何，一次营销活动，如果整体的Bounce Rate高于80%，就肯定不是一个特别理想的状况，要么是流量或者网站存在问题，要么是存在营销费用的浪费。

　　PV/V和Time On Site相对bounce rate而言，更难有benchmark。不过，就我看来，几乎可以确定一个网站的PV/V和Time On Site越高，说明营销受众受到网站影响的程度越深。过去我曾经认为有一些网站PV/V或者Time On Site太大是不好的——比如政府的服务类网站，太高的PV/V或者Time On Site说明了人们或许没有找到该找的内容。但追踪了太多的网站，我发现国人的耐心其实非常有限，若是一个网站不容易找到他们需要的内容，即使是重要的网站，他们也会转而求助于百度，而不会在这个体验糟糕的网站中疯狂追寻。平均PV/V大于3，或者平均Time On Site大于2分钟，才能说明网站本身对用户有起码的吸引力。

　　观察全局性的，自定义的Engagement指标在这里则更加常用，例如，在一次促销活动中把用户点击促销商品的点击数量（或者打开促销商品详情页面的次数）作为一个全局性的Engagement来看待，并将最终达成的实际数量与预先设定的目标进行比较，从而观察营销的效果是否达成。这样的方法很快捷，但也很粗放。如果Bounce Rate高于90%，但很幸运的，促销商品的点击数量却超过了预先设定目标的两倍，那么这次营销活动到底是好还是不好呢？单个看待每一个指标，总会碰到一些让人难受的取舍问题，而且总是难以真正照顾全面。这时我们就必须要考虑其他的新方法。

方法二：单个Engagement指标的加权汇总

第二种方法——把单个的Engagement指标按照自定的重要性程度加权汇总起来，弥补了第一种方法的部分不足，毕竟，宏观的Engagement是由具体的一个一个的Engagement的指标综合而成的结果。这个方法有三个步骤，首先，列出所有的Engagement的具体指标，然后根据你“心目中”的每个指标的重要程度，给各个指标指定一个权重，最后把每个指标乘以权重，加总起来。加总起来的值，即Engagement Index。这种方法在我很早的一篇文章中有专门的论述，请见：网站分析的最基本度量（8）——Engagement。除了这篇文章的页面分区方法，你也可以按照行为的类型对指标权重进行计算，例如，注册成功页面一个PV是10个权重，购物车添加成功页面为20个权重等。

不同类型的营销选用的具体指标和权重的安排肯定不一样。下面的两个例子，分别对应效果营销和品牌营销：

　　第二种方法比第一种方法全面，但是权重的分配很主观，而且一些常用的全局指标，比如Bounce Rate，PV/V，或者Time on Site，反而不能囊括进入，不得不成为两套并列的衡量。后者不是大问题，但是自作主张的权重分配却似乎很容易被老板和客户challenge。不过，事实上，这种方法是目前最多被采用的方法，因为它相对简单，而且对于一个广告主而言，固定一些常见行为的权重值有很多好处，它很明确地指明了营销活动应该努力的方向，而且也助于campaign不同阶段或者相似的campaign之间的横向比较。

​方法三：转化关系核定下的Engagement指标的加权汇总

　　第三种方法，对第二种方法做了一些改进，它基于这样一个思想：在营销活动中，用户看似混沌的各种行为，实际上与最终目的达成（如转化）的终极目标有相当确定的比例关系。尽管对各类营销活动，以及各个网站而言，这些比例关系并无相同的值，但对于一个确定的活动或网站，这些比例却相对稳定。例如，对于很多电子商务网站而言，除非是品类结构发生大的变动，否则它们的“购物车到实际购买之间的转化概率”是比较稳定的，例如在40%的基准上左右浮动。那些不需要销售商品的品牌推广营销，其实也适用这种关系，因为这些营销几乎都有明确的希望用户采取的行动作为最终目的（例如申请试用，分享给朋友等），这些具体的行动与电子商务网站的购买行为其实并无本质的差别。现在，我们假设一个电子商务网站有如下的转化规律：每100个新注册会产生4个订单；每100个IPV会产生（对应）18个订单；每100次把商品放入收藏夹会产生20个订单……，我们可以得到下面的一个表格：

　　为了后面的计算关系，我们把每个Engagement指标都变成1为基准，于是我们得到了下面一个表格，值虽然不同，但是比例关系是完全一样的（同比变化）：

　　有了这个对应关系，我们可以很容易的给转化发生之前的所有重要事件定义Engagement的权重。如果我们以1个转化为100分计算，那么我们得到下面的表格：

　　有了权重，按照各个不同的行为的实际值，计算出各指标的Engagement Index完全轻而易举。如下表所示：

　　第三种方法相对于第二种方法看起来更为科学一些，Google Analytics的Page Value的设置也是类似于这种方法。但这种方法并不能说是现实的完全真实的反馈，它还是存在一定的问题。由于此方法基于所有的行为都对最终的转化有直接的贡献作用 的假设而设立，但转化必然是一个过程，在转化过程的不同阶段用户的不同行为之间其实有相互的关系（正面的促进或者负面的干扰），而这个方法并未把这些情况涵盖在内。

有意思的是，对于这个方法，你会发现——由于网站内部的转化也是一步一步发生的，不同过程对最终转化的价值并不一定一样，因此似乎也完全适用于Attribution Modeling的方式，采用不同的modeling（如线性，还是递减，或是中间高两边低）的方式，对用户不同行为的赋权值也就不一样，你完全也可以采用Attribution Modeling模型的思想根据实际情况去为不同的Engagement指标赋权，这样可以更接近于你期望的业务实际。不过操作难度看起来相当不乐观。;)

尽管三种方法都并非100%对用户的Engagement真实程度的再现（可是完全再现真实只是理想状态），但对于我们期望的定量化的Engagement却是很有帮助的。对于一次营销campaign，利用这些的方法能够告诉我们从过程的角度看，是否它沿着我们预期的路线在前进。下面这个真实的案例即采用了上面的方法。

案例

这是一个分为三个阶段的较为长期的营销活动。在不同阶段中，采用了不同的着陆页面。三个阶段分别产生的Engagement如下图所示：

　　仅仅从数值上看，第二阶段是非常不错的。不过毕竟每个阶段的目的和目标不一样，而且推广时长也不同，采用的营销手段也许也不一样，因此单纯比较数据其实反而容易误导我们。第二阶段真的是最好的阶段吗？

如果这个营销活动每个阶段都有确定的Engagement Index的目标（往往这个目标在营销活动之前都会做设置，设置的方法真的是一个大学问，但其实总结起来也就是四个字——经验积累），那么我们倒可以看看哪个阶段更好些：

　　第二阶段看起来完成的Engagement Index很多，但是对这个阶段的期待却是最高的。而第一阶段超出了目标不少。从这个意义上看，第一阶段或是达成情况最好的。不过，我们有时候也会反思，是不是我们在设定目标值的时候不尽合理呢？

目标设定具有的不确定性并不会给我们带来严重的困扰，毕竟我们可以用其他更多的维度来衡量一个营销活动是否“靠谱”。在这个案例中，细心的你会发现，其实每个阶段的时间长度是不同的，而各个阶段对于流量的投入，肯定也是不同的，那么我们可以通过比较同样花费带来的Engagement数量的情况，以及每个流量产生的Engagement数量的情况。

　　上面这两张图显示了在一个营销活动在不同阶段采用了不同Landing Page（LP，即着陆页）和营销方式时吸引用户Engagement的效率。在第一个月，每产生一个Engagement需要消耗大约0.2美元，但第二阶段Engagement的获取成本则一下子提升了两倍有余，第三阶段看起来与第一阶段差不多。而从营销活动吸引访问者的效率上看，第二阶段明显是最差的——在第一阶段，每个visit还能产生2个多的Engagement Index，而第二个阶段更换了着陆页之后，却一落千丈，最终在第三阶段重新回到正轨。

通过对Engagement Index进行简单的计算和分析，我们即能对一次营销活动有一个很快的整体把握。不过，对于第二阶段的表现为什么不尽如人意，可能有多种可能性，一种是，流量质量在第二阶段大幅度下降，另外一种则可能是第二阶段更换了相当不理想的Landing Page。为了确知到底是什么原因所致，我们还需做进一步探究。（待续……）

这一篇文章为大家介绍了Engagement衡量总体（宏观）效果的方法。下一篇则会接着介绍Engagement的另外两个重要作用：在确知流量质量的情况下，它如何衡量网站对影响用户的程度；以及，在确知网站质量的情况下，如何通过Engagement衡量网站细分流量的质量。敬请期待。最后，欢迎大家留言，任何问题，建议和你的思考。:)法、案例与实战！