B2C Data

框架的下一部分着眼于预先选择成功标准。实验的主要 KPI 应在此处定义。这是您计算最小可检测效果并决定停止方案的 KPI。然后通过 MDE 计算设置持续时间。深入阅读有关 AB 测试的统计数据可以帮助您建立最佳停止方案。

在假设和上线阶段之间，您需要对实验进行优先排序。您可以使用多种优先级排序方法来执行此操作，但重要的是您要尽可能消除偏见并坚持使用相同的方法。优先级排序是实验中极其重要的主题，但同样，它略微超出了本文的范围。如果您想了解有关优先级排序的更多信息，可以在此处阅读。


这是你真正要检验假设的部分！我们可以在这里讨论很多内容，但我主要想指出一些 奥地利手机号码数据 在实验报告中需要注意的事项。

“窥视”是指您过早查看结果并对其做出判断。无论您使用哪种测试方法，都应坚持测试计划。如果您使用固定范围法，则应在需要时暂停。过早暂停测试可能意味着您的结果采样不足，因此结果无效。如果您想窥视，顺序方法可能适合您。CXL博客上的 Merrit Aho 的文章“窥视您的数据？如何避免顺序测试中的误报”值得一读。

当测试组的实际样本大小与预期比例明显不同时，就会发生样本比例不匹配 (SRM)。例如，您将测试设置为控制和变体之间的 50:50，但不知何故最终却变成了 70:30。SRM 可能表明您的设置、随机化过程、数据收集或影响流量分布的外部因素存在问题。它们会影响测试结果的有效性，因此务必注意它们。目前大多数实验工具都已对此进行了检查；但是，如果您的实验工具没有，您可以使用由 Luka Vemeer 开发的这个免费在线检查器。