A/B 测试要先过假设、主指标、样本、变量和反证条件,再决定是否多试版本。低样本页面可以优化,但要把结果写成边界内的观察。
22 个部分 · 1 个检查点 · 免费 2 部分 / 会员 20 部分 →
要点 一句话
别把随机波动,当成胜利
- 产出: 实验优先级和统计纪律门槛
- 过关标准: 能判断测 / 观察 / 延后
- 下一课: 月度 CRO 路线图
Shopify A/B 测试怎么做:先定样本、主指标和停止规则
这篇内容适合正在排实验、担心样本太小,或不知道什么时候该停测的 Shopify 团队。先决定问题属于正式 A/B、方向性验证、定性验证还是直接修复,再读结果。
课堂案例:500 次访问下的 +20%
- 每个版本的访问数
- 500
- A 版加购数
- 40
- B 版加购数
- 48
- 多出的加购数
- 8
A 版 500 次访问带来 40 次加购,B 版 500 次带来 48 次:8.0% 对 9.6%,相对提升 20%,绝对只多 8 个加购。样本只有 500/版本时,这 8 个更可能是随机波动或同期活动差异,不能直接宣布页面版本获胜。
样本不足时可以优化,但不能叫正式 A/B 结论
先把这五条写清楚,团队就能把随机波动、活动变化、追踪变化和少量订单留在证据边界内,而不是包装成实验胜利。
样本不足时可以优化,但不能叫正式 A/B 结论
样本不足
- 规则
- 样本不足时可以优化,但不能叫正式 A/B 结论。
- 可以做
- 做受控修复、方向性观察、定性验证,或等到更稳定的样本窗口。
- 不要做
- 几单波动就写成统计显著、确定胜利,或对外说这个版本已经被证明更好。
不要偷看停测
- 规则
- readout date、runtime、stop rule 必须测试前写好。
- 可以做
- 当前实验流程默认固定窗口:中途监控追踪、分流和严重护栏伤害,不因普通检验暂时显著而宣布胜出。预先选定的序贯设计按其停止规则判断。
- 不要做
- 因为 B 今天领先、already significant、looks like winner 就提前停止或改观察窗口。
统计词说人话
- 规则
- MDE、power、baseline CVR 必须能用业务语言解释。
- 可以做
- MDE 是至少想看见多大变化,power 是有多大机会看见真实变化,baseline CVR 是原始转化水平。
- 不要做
- 团队说不清这些词时还强行开正式实验。
先排反证
- 规则
- 读结果前先查是不是别的变化造成了波动。
- 可以做
- 先查流量来源、折扣、库存、支付异常、页面速度和追踪口径变化。
- 不要做
- 广告、活动、库存、支付或 tracking 变了,还把结果全部归因给页面版本。
版本要冻结
- 规则
- 页面版本、事件定义、受众、促销和配送规则必须能复查。
- 可以做
- 保留实验 ID、variant marker、theme/component 版本、GA4 事件、Shopify 订单护栏和变更日志。
- 不要做
- 测试中途改页面、改折扣、改事件定义,最后还按干净实验读数。
不是所有优化,都配叫 A/B 测试
这节课先解释 A/B 测试、主指标、护栏指标、样本、观察窗口和反证条件。概念没写清,后面的 uplift 都可能只是噪音。
别把随机波动,当成胜利
- 必须写清
- 因为哪条证据,改哪个阻力,预期影响哪一步。
- 不合格信号
- 只写「提高转化率」。
- 处理方式
- 退回摩擦证据队列重写。
- 必须写清
- 一个主指标,最多两个护栏指标,测试前锁定。
- 不合格信号
- 看到哪个涨就用哪个解释。
- 处理方式
- 先定指标,不然不进入测试。
- 必须写清
- 基线、预计样本、运行周期、什么时候读结果。
- 不合格信号
- 每天看波动,临时宣布胜负。
- 处理方式
- 样本不足时降级为方向性验证。
- 必须写清
- 为单个机制优先只改一项;若比较整套方案,预先固定每组处理并只解释整体效果。
- 不合格信号
- 同时改变多个元素,却声称知道某一个元素的作用;或在试验中途不断改版。
- 处理方式
- 要分清单项作用就拆分测试;固定整套方案可做同期随机 A/B,只读整体效果。非随机前后上线才是观察。
- 必须写清
- 什么情况说明假设不成立,何时回滚。
- 不合格信号
- 只写成功,不写失败边界。
- 处理方式
- 补回滚规则和学习记录。
Pro · 第 3-22 部分 · 20 个部分
会员内容:完整练习与记录
这一部分包含
- 先过纪律门再开实验
- 把相对提升拆回绝对数量
- 写清停止规则与反证条件
1 道自测
Pro ¥120 / 月按年付费 ¥96 / 月
选择方案后,用邮箱或 Google 账号登录并完成支付即可立即开始使用。
- 解锁全部付费教程
- 高级工具与专属资源
- 会员定制课程与持续更新
- Pro 社群与优先支持
正在确认你的会员权限…
年付和月付有什么区别?
年付享受 20% 折扣,按年缴费更划算。月付灵活性更高,适合短期需求。
常见问题
- A/B 测试跑几天可以看结果?
不要只看天数。先看样本是否覆盖完整业务周期,比如工作日、周末、广告预算节奏、邮件发送、库存和配送波动。很多独立站至少要跑满一个完整周期;如果每个版本只有几十单,7 天内的 20% uplift 可能只是几单随机波动。
- 测试中途看到 uplift 很高,可以提前停止吗?
通常不要。提前停止会放大随机波动,尤其是样本小、订单少、活动或广告还在变化时。只有在护栏指标明显坏掉,比如支付失败、退款、客服投诉、AOV 或毛利明显恶化时,才应该提前停止或回滚。
实验纪律要接回证据和复盘节奏
- 行为证据:先把录屏变成可检验假设: 如果实验前只有“感觉不对”,先回到热图、录屏、反馈和漏斗证据。