View a markdown version of this page

コントロールと処理について - AWS AppConfig

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

コントロールと処理について

AWS AppConfig 実験中:

  • コントロール処理は、比較のベースラインとして使用される安定したよく理解された設定または経験を表します。これは多くの場合、現在のデフォルトの動作ですが、既知の正常な状態である可能性があります。

  • 処理は、コントロールに対して評価されるバリエーションを表します。

各処理は、アプリケーションがユーザーに表示されるエクスペリエンスを判断するために使用する機能フラグ設定または値に対応します。実験結果は、処理パフォーマンスをコントロールと比較することで評価されます。処理は以下を表すことができます。

  • UI の変更

  • 機能設定

  • レコメンデーションアルゴリズム

  • アプリケーションの動作

  • 運用設定

各処理は、コントロールからの明確で測定可能なバリエーションを表す必要があります。

で処理を定義するときは AWS AppConfig、コントロールと処理について明確に説明してください。適切な説明は、チームが実験の意図と結果を理解するのに役立ちます。説明では、以下について説明する必要があります。

  • 変更点

  • ユーザーが体験する内容

  • 評価対象の動作または結果

可能な場合はスクリーンショットを追加して、各処理に関連するユーザーエクスペリエンスを文書化します。スクリーンショットは以下に役立ちます。

  • 実装を検証する

  • 視覚的な違いを明確にする

  • チーム間のコラボレーションの向上

  • 実験レビューの簡素化

スクリーンショットは、UI 実験に特に役立ちます。

効果的な処理の設計

処理に集中し、測定可能にします。一度に 1 つのメジャー変数を変更し、無関係な変更を 1 つの処理に結合しないようにします。例えば、表示されているすべての項目の下に add-to-cart ボタンを実装することは、適切な処理オプションです。ページレイアウトとレコメンデーションロジックを同時に変更しながら add-to-cart ボタンを実装すると、不確実なデータが返ります。変更が小さいほど、結果の解釈が容易になります。

重要

実行中に処理動作を変更しないでください。実行中の処理動作を変更すると、実験データが無効になり、結果の解釈が困難になる可能性があります。変更する必要がある場合:

  • 実行を停止する

  • 処理を変更する

  • 新しい実験実行を開始する

  • 新規または改訂された処理の目的を明確に特定する意味のある名前を使用する

実験の実行中、ユーザーが同じ処理割り当てを受けていることを確認します。割り当てに一貫性がないと、ユーザーエクスペリエンスと実験の有効性の両方に影響する可能性があります。

処理割り当ての上書きについて

処理割り当てオーバーライドを使用すると、特定のエンティティ IDsを処理に直接割り当てることができます。オーバーライドはランダムな処理割り当てをバイパスし、選択したエンティティが指定された処理を一貫して受け取るようにします。オーバーライドは一般的に、対象者に公開する前に処理をテストするために使用されます。オーバーライドを割り当て、0% の露出を設定することで、次のことができます。

  • 処理が正しくレンダリングされることを検証する

  • メトリクスとログ記録が期待どおりに機能することを確認する

  • 機能フラグの評価が正しく動作することを確認する

オーバーライドを使用すると、より広範な対象者に影響を与えることなく、ステークホルダーの処理をプレビューすることもできます。コントロールを含む任意の処理にエンティティ IDs を割り当てることができます。これは、コントロールユーザーが予想されるベースラインエクスペリエンスを受け取ることを確認するのに役立ちます。

オーバーライドは、次の場合に便利です。

  • 製品レビュー

  • 設計検証

  • エグゼクティブデモンストレーション

  • QA 検証

  • 特定のシナリオのテスト

これは、露出を増やす前に実験をテストする最も安全な方法の 1 つです。

オーバーライドはエンティティ IDs を使用して設定されます。エンティティ ID は、機能フラグの割り当て中に評価されるユーザーまたはシステムを一意に識別します。エンティティ ID は、次のいずれかになります。

  • ユーザー ID

  • セッション IDs

  • デバイス IDs

  • アカウント識別子

注記

オーバーライドは、長期的な対象者セグメンテーションではなく、テストと検証を目的としています。不要になったオーバーライドを削除し、本番稼働用ターゲットロジックのオーディエンスルールを使用します。

実験実行の開始後、処理割り当ての上書きを追加、変更、または削除できます。これにより、実行を停止することなく、テストを拡張したり、追加の利害関係者に処理プレビューへのアクセスを許可したりできます。