公开预览

先读懂这节课解决什么问题

Pro 会员正文

A/B 测试先过实验硬规则：样本不足不叫正式结论，no-peeking 不提前停止，MDE / power / baseline CVR 用人话说清，再排除流量、折扣、库存、支付、速度和追踪反证，判断正式 A/B、方向性验证、定性验证或直接修复。

面向已经有流量但转化表现不稳定的 Shopify 团队，系统讲清转化漏斗、页面职责、产品页信任、集合页筛选、购物车与结账摩擦、落地页承诺匹配、用户行为证据、A/B 测试纪律和月度 CRO 路线图。

从前一课行为证据或 GA4/Shopify 断点写出一个可证伪假设。
判断这是不是实验问题，还是 bug、支付、折扣、隐私、tracking 或库存问题。
只锁一个主变量、一个主指标和 2 个以内护栏指标。
用 Sample Reality Calculator 摊开 weekly sessions、baseline、variant orders、expected lift 和 absolute conversion difference。
写清 traffic/source/campaign/price/stock/email/page version 的冻结规则。
预写 runtime、readout date、no-peeking rule、stop rule 和 rollback line。
读数时用 Decision Ledger 标记 clean win、guardrail conflict、inconclusive、directional learning 或 rollback。
把结论写进复制笔记和月度 CRO 路线图，附后台证据路径和负责人。

最近核验：2026-10-03

arxiv.orghttps://arxiv.org/abs/2312.10814
support.optimizely.comhttps://support.optimizely.com/hc/en-us/articles/4410284003341-Statistical-significance
www.optimizely.comhttps://www.optimizely.com/optimization-glossary/ab-testing/
certification.optimizely.comhttps://certification.optimizely.com/docs/concepts/experimentation/stats-engine-deep-dive/
support.optimizely.comhttps://support.optimizely.com/hc/en-us/articles/4410288998797-Experiment-types-in-Web-Experimentation
doi.orghttps://doi.org/10.1080/00031305.2023.2257237
arxiv.orghttps://arxiv.org/abs/2602.05997

适用范围：这份预览只适用于理解本课的公开问题、结构和操作边界；当前平台、账户和业务事实仍需单独核验。

限制：预览只保留受控摘要，不包含会员正文、定制互动数据或完整案例推导；来源页的当前状态仍需在执行前复查。

复核人：卫染风 · 下次复核：2027-04-01

Shopify A/B 测试：实验优先级、样本量和停止规则