验证定位细分和测试工具设置
Posted: Wed Dec 18, 2024 6:28 am
特伦特仔细检查您的测试受众是否定位正确，以及 A/B 测试工具的目标、定位和细分是否都设置正确。以下是我手动验证的三件最重要的事情：唯一参与者和转化计数：您手动推送到漏斗中的用户数量是否反映在仪表板的进入端和转化端？
这一点至关重要，因为归根结底，它是所有其他复杂因素的基础，也是您对实验的最终解读的基础。
分布：变体分组是否正确发生？有两种方法可以手动测试变体分配中的失败：强制变体分配和随机分布。
强制变体分配将快速揭示服务 美国手机号 器端逻辑中的任何明显问题，开发人员可以快速发现。
测试随机分布有点困难，而且拆分规则越复杂，测试就越困难。通常，我会倒一大杯咖啡，反复进行测试，大约 100 次迭代，确保我走的每条路径都使用新用户（如果我依赖 SDK，则使用隐身浏览器，或者让工程师在我测试时暂时丢弃任何身份持久性来帮助我）。
如果您在实验中使用任何加速功能，帮助您根据获胜变体更快地获得读数，我会确保将其关闭，以便我获得非常直接的随机化，然后在我准备启动时将其重新打开，因为该功能主要基于服务器端可能拥有的任何变体分配代码。
细分和排除：我的测试用户是否出现在正确的细分中或具有正确的属性以供我稍后进行细分？
在这里，我至少要确保数据存在并在仪表板中正确附加到用户。
如果这有效，我相信我将能够在仪表板中设置实验以排除用户或在准备执行测试时对其进行细分。
我发现，如果这三件事都按预期发挥作用，绝大多数破坏实验的问题都会得到解决。
— K2 Cyber 技术产品经理Ken Hanson
4. 检查竞争条件
始终寻找竞争条件（例如，在用户看到正在测试的元素之前，将用户放入实验中）。
— 卡尔基·吉莱斯皮
竞争条件可能是实验的隐形杀手。当事件的时间安排引起冲突时，就会发生竞争条件。
每台设备多次进行 QA。我们观察到有问题的测试代码，问题只是随机出现的。很多时候，这归结为 JavaScript 的竞争条件，尤其是在您可能动态交付内容的网站或在单页应用程序环境中。作为内部规则，我们对主要设备的每次体验至少进行 10 次 QA，以尽量避免这些部署问题。
— 科里·特伦特
5. 检查与动态元素或个性化的交互
想象一下：您的测试在 QA 中看起来很完美，但突然间您收到购物车损坏、按钮消失和分析混乱的报告。发生了什么？
Corey Trent 曾多次见过这种情况：
许多网络平台都很容易实现高度个性化的网站，这可能会导致测试代码在特定情况下在页面上的交互出现问题。
您可以快速回滚更改吗？
这一点至关重要，因为归根结底，它是所有其他复杂因素的基础，也是您对实验的最终解读的基础。
分布：变体分组是否正确发生？有两种方法可以手动测试变体分配中的失败：强制变体分配和随机分布。
强制变体分配将快速揭示服务 美国手机号 器端逻辑中的任何明显问题，开发人员可以快速发现。
测试随机分布有点困难，而且拆分规则越复杂，测试就越困难。通常，我会倒一大杯咖啡，反复进行测试，大约 100 次迭代，确保我走的每条路径都使用新用户（如果我依赖 SDK，则使用隐身浏览器，或者让工程师在我测试时暂时丢弃任何身份持久性来帮助我）。
如果您在实验中使用任何加速功能，帮助您根据获胜变体更快地获得读数，我会确保将其关闭，以便我获得非常直接的随机化，然后在我准备启动时将其重新打开，因为该功能主要基于服务器端可能拥有的任何变体分配代码。
细分和排除：我的测试用户是否出现在正确的细分中或具有正确的属性以供我稍后进行细分？
在这里，我至少要确保数据存在并在仪表板中正确附加到用户。
如果这有效，我相信我将能够在仪表板中设置实验以排除用户或在准备执行测试时对其进行细分。
我发现，如果这三件事都按预期发挥作用，绝大多数破坏实验的问题都会得到解决。
— K2 Cyber 技术产品经理Ken Hanson
4. 检查竞争条件
始终寻找竞争条件（例如，在用户看到正在测试的元素之前，将用户放入实验中）。
— 卡尔基·吉莱斯皮
竞争条件可能是实验的隐形杀手。当事件的时间安排引起冲突时，就会发生竞争条件。
每台设备多次进行 QA。我们观察到有问题的测试代码，问题只是随机出现的。很多时候，这归结为 JavaScript 的竞争条件，尤其是在您可能动态交付内容的网站或在单页应用程序环境中。作为内部规则，我们对主要设备的每次体验至少进行 10 次 QA，以尽量避免这些部署问题。
— 科里·特伦特
5. 检查与动态元素或个性化的交互
想象一下：您的测试在 QA 中看起来很完美，但突然间您收到购物车损坏、按钮消失和分析混乱的报告。发生了什么？
Corey Trent 曾多次见过这种情况：
许多网络平台都很容易实现高度个性化的网站，这可能会导致测试代码在特定情况下在页面上的交互出现问题。
您可以快速回滚更改吗？