展开知识库目录

A/B 文案测试怎样一轮只改变一个变量

同时改标题、图片、按钮和价格,即使结果变化也不知道原因。

先把问题看准

A/B 测试一轮只验证一个假设

同时改标题、图片、按钮和价格,即使结果变化也不知道原因。先写用户行为假设、唯一变量、主要指标、样本与停止规则,再制作版本。

填写项 1

测试假设

写什么用户在什么场景会因哪个变化产生何种行为,说明依据。

通过标准:可被结果否定

把主张对应到原始素材、采访、数据、链接和发布日期;示例与真实事实必须明确区分。

填写项 2

唯一变量

只改变标题、证据顺序、按钮文案或其他一项,其他内容与流量条件保持。

通过标准:结果可解释

确认“唯一变量”已经有可回查结果,再进入“指标与护栏”;依据仍然来自猜测时,把缺口单列并停在当前步骤。

填写项 3

指标与护栏

定义主要指标、转化窗口和负面指标,避免只挑最好看的数字。

通过标准:口径预先固定

确认“指标与护栏”已经有可回查结果,再进入“分流与周期”;依据仍然来自猜测时,把缺口单列并停在当前步骤。

填写项 4

分流与周期

随机或可比流量、设备、渠道、节假日和最小周期。

通过标准:两组环境可比

确认“分流与周期”已经有可回查结果,再进入“结果与决定”;依据仍然来自猜测时,把缺口单列并停在当前步骤。

填写项 5

结果与决定

报告效应、不确定性、异常和是否推广,不把一次波动写成永久规律。

通过标准:有明确下一步

每次修改只改变当前章节负责的问题,已经核实的数字、限定条件和引用不得顺手漂移。 完成后把证据归入“测试假设、版本和结果表”。

做到这里就可以停

测试记录保留失败版本

版本截图、假设、时间、流量、结果和决定都保存。没有显著变化也是结果,不反复换指标寻找胜者。

进一步核对

参考资料与核对入口