专业成就职业

在大多数公司，大多数产品经理在做AB测试的时候，会以为Ab测试就是分两个组，开流量，上线看数据。

(相关资料图)

其实并不是，一次专业，科学的ab测试远比这个复杂和完善，今天跟大家聊一下如何做一次专业，科学的AB测试。

我会通过正确的做法和错误的做法对比，并且说明一下正确做法的优势。

01 AB测试的必要性

就是你需要判断你的需求是否需要上线AB测试。为了能够量化我们的需求收益，原则上所有需求都需要做AB测试，但是有几种除外：政策类需求、战略性需求、以及产品必备需求，这类需求无需做ab实验。

政策类需求通常是关系到民生的一些需求，比如我们之前做的老龄化改造，很多做C端的同学应该都做过，这个过程必然涉及到诸如：放大字体，砍功能，减有效信息等需求，即使对线上业务指标有影响也是必须要上线的。

战略类需求则是企业考虑到长期收益做的一些事情，这些需求不看短期收益，也因此不会去做AB实验去衡量具体指标的变化。

产品必备需求，也就是用户为了完成基本业务流程所必需的功能，逻辑等，这类需求也无需做AB测试。

02AB实验核心指标确定

做AB实验之前需要确定一个核心指标作为AB结果的衡量指标。很多时候我看到有些产品经理没有唯一核心指标，实验过程中看到有指标收益较大，即认为Ab实验有效，这是不科学的。

正确的做法：1个核⼼指标， 多个观测指标；统计该指标在一定时间内的方差；

错误的做法：观察多个指标或者无指标，AB测试做成了灰度测试；

优势：目标明确，结果可量化，且可拆解，有利于明确增长因子。

正如我昨天视频号直播讲的：做AB实验可以在任意时间看数据，但是不要随意做决策，做决策是有前提条件的。

03 计算AB实验前置条件参数

Ab实验的条件参数最基本的包括预期提升值，最小样本量，实验时长。

对于预期提升值：

正确的做法：根据预期的效果和前期的数据调研，设定最⼩预期提升值。例 如最⼩提升5pp

错误的做法：⽆收益预估， 边⾛边看的⽅式，导致业务收益波动，甚⾄产⽣损失

优势：精⼒聚焦，可以避免试⼀试的⼼态，平衡成本和收益

对于最小样本量

正确的做法：根据试验指标⽅差，提⽬标以及置信度来计算本次试验所需要的最⼩样本量

错误的做法：没有明确的⽅法， 凭经验和惯⽤的流量⽐例去做

优势：避免流量浪费，给到其他试验，避免在统计功效不⾜的情况下给出错误结论

对于实验时长

正确的做法：根据试验的性质以及本身的影响程度，结合最⼩样本量和试验桶例来计算最终试验时⻓不到规定的时⻓，不提前下结论

错误的做法：不提前设定时长，凭经验来设定。每天看数据，提前或者延后下结论，期望满⾜⾃⼰预期的结果出现

优势：综合考虑了统计功效 、可接受⻛险，时间效应等关键因素，不错⻓期正确的版本避免重复检验，导致⼀类错误概率激增，置信度下降

另外，这些指标都有科学的计算方法。

比如最小样本量=16X指标方差/最小预期提升值的平方。

04配置实验

配置流量，分组，上线实验。以上条件参数计算好以后便可以进行Ab实验配置，通常会有对应的Ab平台进行。

包括流量分配，分组设置等等。

05 数据统计

回收AB数据，并且进行结果分析，这个时候我们需要看如下几个指标：核心指标diff、P值，同时也可以参考最小样本量，MDE等来进行数据诊断。然后结合最终结果进行决策。

以上就是如何做一个正确的Ab实验五个步骤。

最后，如果你现在是策略产品，但是做的比较野路子，不成体系，或者你现在是C端，B端产品经理，希望转到策略方向，欢迎来我的训练营看看，24期预报名当中，现在报名可以享受将近1500优惠，好好学，达到拿offer的水平没问题。关于效果和具体介绍见

报名联系小助理