View a markdown version of this page

关于对照和治疗 - AWS AppConfig

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

关于对照和治疗

在 AWS AppConfig 实验中:

  • 对照治疗代表一种稳定、广为人知的配置或体验,用作比较的基准。这通常是当前的默认行为,但可以是任何已知的良好状态。

  • 治疗代表正在对照对照组评估的变异。

每种处理都对应一个功能标志配置或值,您的应用程序使用该配置或值来确定向用户展示的体验。通过将治疗性能与对照组进行比较来评估实验结果。治疗可以代表:

  • 用户界面变更

  • 功能配置

  • 推荐算法

  • 应用程序行为

  • 操作设置

每种治疗都应与对照组有明确且可衡量的差异。

在中定义治疗时 AWS AppConfig,请提供对照和治疗的清晰描述。良好的描述可以帮助团队了解实验意图和结果。描述应解释:

  • 发生了什么变化

  • 用户将体验什么

  • 正在评估什么行为或结果

尽可能添加屏幕截图,记录与每种治疗相关的用户体验。屏幕截图可以提供帮助:

  • 验证实施

  • 澄清视觉差异

  • 改善团队之间的协作

  • 简化实验审查

屏幕截图对用户界面实验特别有用。

设计有效的治疗方法

保持治疗重点和可衡量。一次更改一个主要变量,避免将无关的变化合并为单一疗法。例如,在所有显示的商品下方实现 “添加到购物车” 按钮是一个很好的治疗选择。实现 “添加到购物车” 按钮,同时更改页面布局和推荐逻辑,将返回不确定的数据。较小的更改使结果更易于解释。

重要

在跑步期间不要修改治疗行为。在中期改变治疗行为会使实验数据失效,并使结果难以解释。如果你需要进行更改:

  • 停止运行

  • 修改治疗方法

  • 开始新的实验

  • 使用有意义的名称,明确标识新疗法或修订疗法的目的

确保用户在整个实验运行过程中获得相同的治疗分配。不一致的分配会影响用户体验和实验的有效性。

关于治疗分配覆盖

治疗分配替代允许您直接为治疗分配特定的实体 ID。覆盖绕过随机治疗分配,确保选定实体持续接受指定的治疗。Overrides 通常用于在向受众展示治疗方案之前对其进行测试。通过分配覆盖范围和设置 0% 曝光度,您可以:

  • 验证处理效果是否正确

  • 验证指标和日志记录是否按预期运行

  • 确认功能标志评估的行为正确

替代还允许您在不影响更广泛的受众的情况下为利益相关者预览治疗方案。您可以为包括对照在内的任何治疗分配实体 ID,这对于验证对照用户是否获得预期的基准体验非常有用。

覆盖可用于:

  • 产品评价

  • 设计验证

  • 高管演示

  • 质量保证验证

  • 测试特定场景

这是在增加暴露量之前测试实验的最安全方法之一。

使用实体 ID 配置覆盖。实体 ID 唯一标识在特征标志分配期间正在评估的用户或系统。实体 ID 可以是以下任何一种:

  • 用户 ID

  • 会话 ID

  • 设备 ID

  • 账户标识符

注意

替代用于测试和验证,而不是长期受众细分。在不再需要时将其删除,并将受众规则用于制作定位逻辑。

实验运行开始后,您可以添加、修改或移除治疗分配替代项。这使您可以在不停止运行的情况下扩大测试范围或授予其他利益相关者访问治疗预览的权限。