#产品知识库

最近看搜索团队文档,经常会遇到一个没听过的概念:反转实验
什么是反转实验?
反转实验是A/B实验的一种执行手段。
在A/B实验中,当一个新策略的实验组指标足够正向,且显著置信,通常就会全量上线这个新策略。
但在字节,每天线上跑着上万A/B实验,产品高频迭代,每个业务都想快速验证自己的想法是正确的,根本没时间等实验数据置信,通常就是短暂观测后,认为实验结果正向,就把流量推全了。
但这种短期正向,确实没法充分证明新策略是有效的。很可能过了一段时间,新策略会让指标波动甚至变差。而反转实验则能在一定程度上帮助产品经理观察策略的长期收益
具体操作上,反转实验,要求我们从原A/B实验的对照组(也就是新策略没触达的用户)中,再开一次A/B实验。这个实验中,对照组用户接触的是上线的新策略,而实验组则仍旧是没接触过新策略的用户。这时新A/B实验中的实验组和对照组,和原实验是反过来的,所以叫做“反转实验”
借助反转实验,即使新策略上线,我们也可以长期保留一小部分未体验过新策略的流量,和其他受新策略影响的流量对比,持续跟踪两部分流量对业务指标的影响。理想情况下,反转实验的对照组指标应该是正向的。
 
 
Back to Top