AB测试中的常用工具与数学公式

一、常用工具

1.1 实验前工具

用于实验前计算所需最小样本量的小工具：G*Power。

1.2 实验后工具

用于实验后计算显著性、置信区间、效应量、MDE 的 Excel 文件：AB实验小工具_实验后工具_v1.4.xlsx

todo: 补充其他程序语言的计算代码

二、符号说明与相关统计知识

2.1 符号说明

2.1.1 统计学中的常用符号

在统计学中，一般使用大写英文字母表示随机变量，使用小写英文字母表示对总体参数估计的样本统计量，使用小写希腊字母表示总体参数：

表 - 统计学中总体与样本的常用符号

2.1.2 A/B实验中的常用符号

两独立总体均值（或比率）之差的显著性假设检验，通常是将两总体均值（或比率）相等作为原假设：

• 原假设 \(H_0\)：\(|\mu_t-\mu_c|=0\)

• 备择假设 \(H_1\)：\(|\mu_t-\mu_c|\ne 0\)​

公式中的下脚标 t 为 treat 的首字母，\(\mu_t\) 指实验组的总体均值，c 为 control 的首字母，\(\mu_c\)​​ 指对照组的总体增值。

表 - 假设检验中的两类错误

表 - 假设检验中的两类错误所用符号及解读

表 - A/B 实验中常用的符号

2.2 统计量

【定义】统计量是样本的函数，并且要求函数中不含任何未知参数。例如，\(\overline{x}\)，\(s\)，\(\min\{x_i\}，\)\(\max\{x_i\}\) 都是统计量，而 \(\overline{x}/\sigma\) 是否是统计量则取决于 \(\sigma\)​​ 是否已知。

【作用】通过样本估计总体参数。

【优劣】衡量一个点估计统计量的好坏主要有以下两个方面：

1. 无偏性：统计量的期望等于所要估计的总体参数。例如，\(\dfrac{1}{n-1}\sum_\limits{i=1}^n(x_i-\overline{x})^2\) 是 \(\sigma^2\) 的无偏估计，但 \(\dfrac{1}{n}\sum_\limits{i=1}^n(x_i-\overline{x})^2\) 不是。

2. 有效性：统计量的方差越小越有效。例如当样本独立且样本量大于1时，\(x_1\) 和 \(\overline{x}\) 都是 \(\mu\) 的无偏估计，但 \(\mathrm{Var}(x_1)=\sigma^2>\mathrm{Var}(\overline{x})=\sigma^2/n\)，所以后者更有效。

【UMVUE】一致最小方差无偏估计：一个参数的无偏估计有无穷多个，其中方差最小的那个就是 UMVUE。

2.3 中心极限定理

2.3.1 独立同分布下的中心极限定理

林德伯格-莱维（Lindeberg-Lévy）中心极限定理：设 \(\{X_n\}\) 是独立同分布的随机变量序列，且 \(\mathrm{E}(X_i)=\mu\)，\(\mathrm{Var}(X_i)=\sigma\) 存在，记

\[ Y_n=\dfrac{X_1+X_2+\cdots+X_n-n\mu}{\sigma\sqrt{n}}=\dfrac{\overline{x}-\mu}{\sqrt{\sigma^2/n}}. \]

则对任意实数 \(y\)，有

\[ \lim_{n\rightarrow\infty}\mathrm{P}(Y_n\leqslant y)=\Phi(y)=\dfrac{1}{\sqrt{2n}}\int_{-\infty}^y \mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t. \]

从形式上，可记为：

\[ \dfrac{\overline{x}-\mu}{\sqrt{\sigma^2/n}}=\dfrac{\overline{x}-\mu}{\sigma_{\overline{x}}}={\color{blue}\dfrac{样本均值-总体均值}{标准误}\sim \text{标准正态分布} N(0,1)} \]

标准误是指统计量的标准差，例如样本均值 \(\overline{x}\) 的标准误为：

\[ \sigma_{\overline{x}}=\sqrt{\mathrm{Var}(\overline{x})}=\sqrt{\dfrac{\sum_\limits{i=1}^n \mathrm{Var}(x_i)}{n^2}}=\sqrt{\dfrac{n\sigma^2}{n^2}}=\dfrac{\sigma}{\sqrt{n}} \]

可见，当总体方差存在时，样本量越大，样本均值的标准误就越小。

2.3.2 独立不同分布下的中心极限定理

更一般的，不要求同分布，只要在和的各项中没有起到突出作用的项，或者说，各项在概率意义下“均匀地小”，那么标准化后的随机变量之和就服从正态分布。

设 \(n\) 个相互独立的随机变量 \(X_i\)（并不要求它们同分布），它们期望 \(\mu_i\) 和方差 \(\sigma_i\) 存在且有限，设它们的和为 \(Y_n=\sum_\limits{i=1}^n X_i\)，则有：

\[ \mathrm{E}(Y_n)=\mu_1+\mu_2+\cdots+\mu_n \]

\[ \mathrm{Var}(Y_n)=\sigma_1^2+\sigma_2^2+\cdots+\sigma_n^2 \]

记 \(B_n=\sqrt{\mathrm{Var}(Y_n)}=\sqrt{\sigma_1^2+\sigma_2^2+\cdots+\sigma_n^2}\)，则 \(Y_n\) 的标准化为：

\[ Y_n^*=\dfrac{Y_n-\mathrm{E}(Y_n)}{B_n}=\sum_\limits{i=1}^n\dfrac{(X_i-\mu_i)}{B_n} \]

林德伯格条件：如果对 \(\forall \tau>0\) 都有 \(\lim_\limits{n\rightarrow \infty}\mathrm{P}(\max_\limits{1\leqslant i\leqslant n}|X_i-\mu_i|>\tau B_n)=0\)。林德伯格条件保证了 \(Y_n^*\) 中的各项 \((X_i-\mu_i)/B_n\) “均匀地小”。

林德伯格中心极限定理：设独立随机变量序列 \(\{X_n\}\) 满足林德伯格条件，则对任意实数 \(y\)，有

\[ \lim_\limits{n\rightarrow \infty}\mathrm{P}\left(Y_n^*\leqslant y\right)=\Phi(y)=\dfrac{1}{\sqrt{2n}}\int_{-\infty}^y \mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t. \]

李雅普诺夫中心极限定理：设独立随机变量序列 \(\{X_n\}\)，若存在 \(\delta>0\)，满足

\[ \lim_\limits{n\rightarrow\infty}\dfrac{1}{B_n^{2+\delta}}\sum_\limits{i=1}^n\mathrm{E}(|X_i-\mu_i|^{2+\delta})=0 \]

则对任意实数 \(y\)，有

\[ \lim_\limits{n\rightarrow \infty}\mathrm{P}\left(Y_n^*\leqslant y\right)=\Phi(y)=\dfrac{1}{\sqrt{2n}}\int_{-\infty}^y \mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t. \]

2.3.3 二项分布的正态近似

棣莫弗-拉普拉斯（de Moiver-Laplace）中心极限定理：设 \(n\) 重伯努利试验中，事件 A 在每次试验中出现的概率为 \(0<p<1\)，\(q=1-p\)，记 \(S_n\) 为 \(n\) 次试验中事件 A 出现的次数，记

\[ Y_n=\dfrac{S_n-np}{\sqrt{npq}}. \]

则对任意实数 \(y\)，有

\[ \lim_{n\rightarrow\infty}\mathrm{P}(Y_n\leqslant y)=\Phi(y)=\dfrac{1}{\sqrt{2n}}\int_{-\infty}^y \mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t. \]

三、常用公式

3.1 统计量

3.1.1 两独立总体均值之差的统计量

按方差是否已知和是否相等，两独立总体均值之差的统计量公式共有以下 6 种形式（其中 \(\sigma^2\) 为总体方差，\(s^2\)​ 为样本方差）：

表 - 统计量（均值之差）

3.1.2 两独立总体比率之差的统计量

两个独立总体的阳性比率分别为 \(\pi_t,\;\pi_c\)，样本量分别为 \(n_t,\;n_c\)，阳性样本量分别为 \(x_t,\;x_c\)，则样本阳性比率为 \(p_t=x_t/n_t,\;p_c=x_c/n_c\)​。

表 - 统计量（比率之差）

3.2 置信区间

什么是置信区间：总体参数 \(\theta\) 的置信水平为 \(1-\alpha\) 的置信区间 \((LCI, UCI)\) ，其能以概率 \(1-\alpha\) 覆盖到真实的 \(\theta\)。

3.2.1 两独立总体均值之差的置信区间

表 - 置信区间计算公式（均值之差）

3.2.2 两独立总体比率之差的置信区间

表 - 置信区间计算公式（比率之差）

3.3 显著性（p 值）

按不同需求，检验可分为单尾检验（\(H_0:一个均值大于另一个均值\)）和双尾检验（\(H_0:两总体均值相等\)）两种。常用的显著性水平有 0.05 和 0.01。

首先根据原假设 \(H_0\) 确实是单尾还是双尾检验，然后在 3.1 节选择对应的统计量，代入样本计算出统计量的观测值，再参考下图即可得到 p 值。

3.4 效应量

当假设检验拒绝原假设时，表示参数与假设值之间差异显著，但这一结果并未告诉我们差异的大小（程度）。度量差异大小的统计量就是效应量（Effect Size），如果假设检验拒绝了原假设，一般应该给出相应的效应量。效应量描述 了结果的差异程度，Cohen 用以下公式计算效应量，记为 Cohen’s d：

\[ {\color{blue}\text{Cohen's}\;d=\dfrac{|\text{样本均值之差}-\text{假设均值之差}|}{\text{合并样本标准差}}} \]

其含意是参数与假设值之间相差几个样本标准差，例如当效应量为 0.90 时，表示样本均值与假设的总体均值相差 0.90 个标准差。

根据 Cohen（1988）提出的标准，独立样本t检验的小、中、大效应量对应的d值分别为 0.20，0.50，0.80：

• 当 \(d<0.20\) 时，为非常小的效应量；

• 当 \(0.20\leqslant d<0.5\) 时，为小的效应量；

• 当 \(0.5\leqslant d<0.8\) 时，为中等效应量；

• 当 \(d\geqslant0.8\)​​ 时，为大的效应量。

表 - 常见检验方法的效应量计算公式

3.5 灵敏度

MDE（Minimum Detectable Effect，最小检测效应）是用于衡量检验灵敏度的指标，相当于显微镜的分辨率，MDE 的值越小检验的灵敏度越高。例如，当两个总体均值之差为 0.25 时，使用 MDE = 5.20 的实验检验出的结果是不可靠，就好比是使用光学显微镜测量出了原子的直径。

MDE 的大小受以下5个因素影响：检验方法、犯第Ⅰ类错误概率 α（↓）、犯第Ⅱ类错误 β（↓）、方差（↑）、样本量（↓），括号中的箭头表示该指标对 MDE 的影响方向。

Z检验的 MDE 公式在形式上可记为：

\[ MDE={\color{blue}(z_{\alpha/2}+z_{\beta})\times\text{标准误}} \]

备注：一般取 \(\alpha=0.05,\;\beta=0.20\)，此时 \(z_{\alpha/2}+z_\beta=\)​ 2.8015852，更多置信水平和功效水平的上分位数参见附录。

表 - MDE 计算公式

3.6 样本量

虽然样本量越大 MDE 越高（值越小），但实验成本也越高。为平衡两者，在实验前需要先根据具体情况和需求（检验对象的方差、可接受的最大犯错概率）确定 MDE，然后根据 MDE 公式即可反推出实验所需要的最小样本量。

推荐使用免费工具 G*Power 来计算样本量。

四、FAQ

[不同结果的解读]

[不同样本量的二项分布与正态分布的误差]

[不同样本量的样本均值分布与正态分布的误差]

附录

表 - 常用正态分布上分位数

参考资料

• 贾俊平《统计学基于R》第5版，中国人民大学出版社，2023：勘误：P173-175，公式7.6、公式7.7、公式7.9、公式7.10分母中的减号均应为加号，公式7.8分母中的\(n_1+n_2-1\) 应为 \(n_1+n_2-2\)；

• Georgi Z. Georgiev. Statistical Methods in Online A/B Testing: Statistics for data-driven business decisions and risk management in e-commerce, 2019.

• 茆诗松《概率论与数理统计》第3版，高等教育出版社，2019；

• 贾俊平《统计学》第8版，中国人民大学出版社，2021；

• 刘启林. A/B测试(AB实验)的基础、原理、公式推导、Python实现和应用；

• Bloom, H.S, MINIMUM DETECTABLE EFFECTS: A Simple Way to Report the Statistical Power of Experimental Designs, 1995；

• 盛骤《概率论与数理统计》第4版，高等教育出版社，2008。