AB test是什么意思？

导读：关于A/B test的重要性无需多言，数据、产品等从业人员几乎必知，好的数据科学家我想一定是知道理解业务比模型更为重要，而A/B test就是伴随着业务增长的利器。

如果你心中的A/B test几乎都没有用到中心极限定理、假设检验、z分布、t分布等知识，建议详细阅读本文。

本文目录：

A/B test是什么A/B test工作原理进行A/B test的目的是什么A/B test流程

01 A/B test是什么

A/B测试（也称为分割测试或桶测试）是一种将网页或应用程序的两个版本相互比较以确定哪个版本的性能更好的方法。AB测试本质上是一个实验，其中页面的两个或多个变体随机显示给用户，统计分析确定哪个变体对于给定的转换目标（指标如CTR）效果更好。

02 A/B test工作原理

在A/B test中，你可以设置访问网页或应用程序屏幕并对其进行修改以创建同一页面的第二个版本。这个更改可以像单个标题或按钮一样简单，也可以是完整的页面重新设计。然后，一半的流量显示页面的原始版本（称为控件），另一半显示页面的修改版本（称为变体）。

当用户访问页面时，如上图灰色按钮（控件）和箭头所指红色按钮（变体），利用埋点可以对用户点击行为数据采集，并通过统计引擎进行分析（进行A/B test）。然后，就可以确定这种更改（变体）对于给定的指标（这里是用户点击率CTR）产生正向影响，负向影响或无影响。

实验数据结果可能如下：

03 进行A/B test的目的是什么

A/B test可以让个人，团队和公司通过用户行为结果数据不断对其用户体验进行仔细更改。这允许他们构建假设，并更好地了解为什么修改的某些元素会影响用户行为。这些假设可能被证明是错误的，也就是说他们对特定目标的最佳体验的个人或团队想法利用A/B test证明对用户来说是行不通的，当然也可能证明是正确的。

所以说 A/B test不仅仅是解决一次分歧的对比，A/B test可以持续使用，以不断改善用户的体验，改善某一目标，如随着时间推移的转换率。

例如，B2B技术公司可能希望从活动登陆页面提高其销售线索质量和数量。为了实现这一目标，团队将尝试对标题，可视图像，表单字段，号召性用语和页面的整体布局进行A/B测试更改。

一次测试一个变化有助于他们确定哪些变化对访问者的行为产生何种影响，哪些变化没有影响访问者的行为。随着时间的推移，他们可以结合实验中多次正向变化的效果来展示变体相对于控件的可测量的改进。

这样来说产品开发人员和设计人员可以使用A/B测试来演示新功能对用户体验变化的影响。只要目标明确定义并且有明确的假设，用户参与，产品体验等都可以通过A/B测试进行优化。

04 A/B test流程确定目标：目标是用于确定变体是否比原始版本更成功的指标。可以是点击按钮的点击率、链接到产品购买的打开率、电子邮件注册的注册率等等。创建变体：对网站原有版本的元素进行所需的更改。可能是更改按钮的颜色，交换页面上元素的顺序，隐藏导航元素或完全自定义的内容。生成假设：一旦确定了目标，就可以开始生成A/B测试想法和假设，以便统计分析它们是否会优于当前版本。收集数据：针对指定区域的假设收集相对应的数据用于A/B test分析。运行试验：此时，网站或应用的访问者将被随机分配控件或变体。测量，计算和比较他们与每种体验的相互作用，以确定每个用户体验的表现。分析结果：实验完成后，就可以分析结果了。A/B test分析将显示两个版本之间是否存在统计性显著差异。

无论的实验结果如何，需要利用试验结果作为学习经验生成未来可以测试的新假设，并不断迭代优化应用元素或网站的用户体验。