跳到正文
Ecomwith

Shopify A/B 测试:实验优先级、样本量和停止规则

  • 进阶
  • 40分钟
  • Pro

A/B 测试要先过假设、主指标、样本、变量和反证条件,再决定是否多试版本。低样本页面可以优化,但要把结果写成边界内的观察。

要点 一句话

别把随机波动,当成胜利

  • 产出: 实验优先级和统计纪律门槛
  • 过关标准: 能判断测 / 观察 / 延后
  • 下一课: 月度 CRO 路线图

Shopify A/B 测试怎么做:先定样本、主指标和停止规则

这篇内容适合正在排实验、担心样本太小,或不知道什么时候该停测的 Shopify 团队。先决定问题属于正式 A/B、方向性验证、定性验证还是直接修复,再读结果。

课堂案例:500 次访问下的 +20%

每个版本的访问数
500
A 版加购数
40
B 版加购数
48
多出的加购数
8

A 版 500 次访问带来 40 次加购,B 版 500 次带来 48 次:8.0% 对 9.6%,相对提升 20%,绝对只多 8 个加购。样本只有 500/版本时,这 8 个更可能是随机波动或同期活动差异,不能直接宣布页面版本获胜。

样本不足时可以优化,但不能叫正式 A/B 结论

先把这五条写清楚,团队就能把随机波动、活动变化、追踪变化和少量订单留在证据边界内,而不是包装成实验胜利。

样本不足时可以优化,但不能叫正式 A/B 结论

  • 样本不足

    规则
    样本不足时可以优化,但不能叫正式 A/B 结论。
    可以做
    做受控修复、方向性观察、定性验证,或等到更稳定的样本窗口。
    不要做
    几单波动就写成统计显著、确定胜利,或对外说这个版本已经被证明更好。
  • 不要偷看停测

    规则
    readout date、runtime、stop rule 必须测试前写好。
    可以做
    当前实验流程默认固定窗口:中途监控追踪、分流和严重护栏伤害,不因普通检验暂时显著而宣布胜出。预先选定的序贯设计按其停止规则判断。
    不要做
    因为 B 今天领先、already significant、looks like winner 就提前停止或改观察窗口。
  • 统计词说人话

    规则
    MDE、power、baseline CVR 必须能用业务语言解释。
    可以做
    MDE 是至少想看见多大变化,power 是有多大机会看见真实变化,baseline CVR 是原始转化水平。
    不要做
    团队说不清这些词时还强行开正式实验。
  • 先排反证

    规则
    读结果前先查是不是别的变化造成了波动。
    可以做
    先查流量来源、折扣、库存、支付异常、页面速度和追踪口径变化。
    不要做
    广告、活动、库存、支付或 tracking 变了,还把结果全部归因给页面版本。
  • 版本要冻结

    规则
    页面版本、事件定义、受众、促销和配送规则必须能复查。
    可以做
    保留实验 ID、variant marker、theme/component 版本、GA4 事件、Shopify 订单护栏和变更日志。
    不要做
    测试中途改页面、改折扣、改事件定义,最后还按干净实验读数。

不是所有优化,都配叫 A/B 测试

这节课先解释 A/B 测试、主指标、护栏指标、样本、观察窗口和反证条件。概念没写清,后面的 uplift 都可能只是噪音。

练习 · 选一项

别把随机波动,当成胜利

必须写清
因为哪条证据,改哪个阻力,预期影响哪一步。
不合格信号
只写「提高转化率」。
处理方式
退回摩擦证据队列重写。

Pro · 第 3-22 部分 · 20 个部分

会员内容:完整练习与记录

这一部分包含

  • 先过纪律门再开实验
  • 把相对提升拆回绝对数量
  • 写清停止规则与反证条件

1 道自测

Pro ¥120 / 月按年付费 ¥96 / 月

选择方案后,用邮箱或 Google 账号登录并完成支付即可立即开始使用。

  • 解锁全部付费教程
  • 高级工具与专属资源
  • 会员定制课程与持续更新
  • Pro 社群与优先支持

正在确认你的会员权限…

查看 Pro 方案
年付和月付有什么区别?

年付享受 20% 折扣,按年缴费更划算。月付灵活性更高,适合短期需求。

本课完成情况

常见问题

A/B 测试跑几天可以看结果?

不要只看天数。先看样本是否覆盖完整业务周期,比如工作日、周末、广告预算节奏、邮件发送、库存和配送波动。很多独立站至少要跑满一个完整周期;如果每个版本只有几十单,7 天内的 20% uplift 可能只是几单随机波动。

测试中途看到 uplift 很高,可以提前停止吗?

通常不要。提前停止会放大随机波动,尤其是样本小、订单少、活动或广告还在变化时。只有在护栏指标明显坏掉,比如支付失败、退款、客服投诉、AOV 或毛利明显恶化时,才应该提前停止或回滚。

实验纪律要接回证据和复盘节奏

资料来源

版本与复核

  • 作者 卫染风
  • 发布
  • 更新
  • 复核
  • 下次复核

本次更新:补回常见问题。