五分钟讲清楚A/B测试系统

何处生才 2023-01-16 16:48:55

A/B 测试是互联网行业比较热门的功能,通常是用于测试功能、页面样式、文案等的多版本优劣,并根据数据择优采纳。A/B 测试是一个相对比较复杂的系统,今天我来跟大家分享一下 A/B 测试系统的运作方式,方便有需要的朋友作为参考。

什么是 A/B测试

A/B 测试的本质是分离式组间实验,也叫分组对照实验。详细地来说,A/B 测试实际上是:在产品正式迭代发版之前,为同一个目标制定两个(或以上)可行方案,将用户流量分成几组,在保证每组流量在控制特征不同而其他特征相同的前提下,让用户分别看到不同的方案设计,根据几组用户的真实数据反馈,科学地帮助产品进行决策。简单理解地话,就是高中课本也提到过的控制变量对照实验。

A/B 测试通常由以下几个模块组成:

分组模块(分流模块)

实验管理模块

业务接入模块

行为记录分析模块

分组模块

分组模块,也叫分流模块,就是将流量分成多组。 好的 A/B 分组方案可以让流量分配得更均匀随机,同时需要具备根据用户、地域、时间、版本、系统、渠道、事件等各种维度来对请求进行分组的能力,并且保证分组的均匀性和一致性。

一般来说,通用分流服务的用户唯一 ID 会根据不同终端采用不同的用户标识,目前通用做法为 Web 端 ( 含 PC 以及 APP 端内的 H5 ) 采用 Cookieid,APP 端采用设备 ID ( 设备 ID 不同公司有各自生成算法,一般来说 iOS 会用 IDFA,安卓采用 Mac 地址 +AndroidID+IMEi ),小程序端采用 openID 作为唯一标识符。

如果需要做到多端联动,则需要通过用户的注册 ID 等其他信息进行 ID Mapping,建立平台真正的统一用户标识。

如果要设计分组模块,那么需要注意两个一致性:

①必须确保样本一致性:确保分配到不同实验方案的用户样本特征是一致的,在统计上控制单一变量原则,即所谓“随机均匀”;

②确保分流一致性:在分配到不同版本时应确保随机均匀分布,并且确保分流一致性(即同一客户多次进入同一个试验,访问的实验版本相同)。

实验管理模块

实验管理模块,主要就是指支持产品经理或运营等人员管理用户分组、变量、实验版本等的模块。

业务接入模块

接入模块的主要目的是方便在产品迭代优化的各个阶段整合 A/B 测试能力,对优化点做各种 A/B 测试。一般通过提供一个 A/B 测试 SDK 或者 A/B 测试 Restful 接口的形式供业务方使用。目前市面上对于业务接入模块有三种解决方案:

可行方案 1:通过定制的 A/B Test SDK 来处理 A/B 测试业务

该方案需要开发 A/B Test SDK,并将 SDK 整合到前端,A/B Test SDK 会根据用户标识将用户划分到某个组,然后带着分组标识和服务端进行交互,进而完成 A/B 测试相关服务。

具体 A/B 测试服务与业务接口的交互实现方式可以是如下两种之一:

∙ A/B 测试服务下发两个不同的接口给 A/B 测试 SDK,当用户请求时,根据用户的分组,分别调用不同的接口。

∙ A/B 测试服务下发同一个接口给 A/B 测试 SDK,但是不同的分组对应的参数不同,当用户请求时,根据用户所在的分组,选择不同的参数来访问该接口 (该接口会根据不同的参数获取不同的数据)。

可行方案 2:在后端业务层增加相关组件来做 A/B 测试

该方案通过在后端接口层增加相关组件来处理 A/B 测试需求,该组件通过与 A/B 测试服务交互来完成 A/B 测试的功能,目前采用该方式的公司有 Google,百度等,通过后端统一 Router 模块来处理 A/B 测试相关请求。相当于前端只需要把所有的数据传给后端,由后端的 Router 来统一划分组别,并根据组别去调用不同的接口服务。

这个方案的优点是模块化,Router 解决所有与 A/B 测试相关问题,对 A/B 测试业务做调整不需要前端版本升级,只需要升级后端服务即可。但是 Router 层是整个 A/B 测试的核心,需要具备高并发高可用的能力,否则出现问题会影响 A/B 测试能力的发挥。

可行方案 3:通过在算法业务层跟 A/B 测试服务交互来实现 A/B 测试能力,不需要前端和接口层做任何处理

这种方案比较适合算法类 (推荐算法、搜索算法、精准投放等) 相关业务做 A/B 测试,这里不展开细说。

行为记录分析模块

行为记录分析模块包含 A/B 测试行为数据打点、数据收集、数据分析和数据可视化展示等子模块。行为记录分析模块需要能够支持分组查看数据、对比数据,这样才能更方便看出哪个组的数据表现更好。

A/B 测试系统运行流程

用户首先会被分流模块划分到某个分组里,然后根据分组 ID 会获取到不同版本的服务,与此同时也会产生不同的数据。(变体:也就是要测试的变量+固定的不变量)

写在最后

A/B 测试系统对于很多企业来说都是非常好用的工具,虽说市面上也有很多现成的分组测试工具,但出于数据安全、使用成本等考虑,建设内部的 A/B 测试系统才是一个长期受益的方法。

0 阅读:23

何处生才

简介:围绕 B 端产品经理能力模型讲知识