翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

実験の実行とモニタリングについて

本番環境で実験を実行するには、慎重なモニタリングと運用計画が必要です。露出の段階的な増加、実装の検証、パフォーマンスのモニタリングは、リスクを軽減し、実験結果の信頼性を向上させるのに役立ちます。

運用上の考慮事項

低または 0% の露出から開始し、露出を徐々に増やす

ユーザーを処理に公開する前に:

0% の露出から始めると、ユーザーに影響を与える前に実装の問題を検出するのに役立ちます。その後、露出を徐々に増やし、問題が発生した場合の回帰の影響を制限できます。負荷が増加する中で実験動作を検証することで、対象者全体を変化にさらす前に、実験結果と運用メトリクスをモニタリングできます。

ロールバック手順を定義する

実験実行を開始する前に、以下を決定します。

CloudWatch または Datadog、New Relic、Dynatrace などのサードパーティーのモニタリングツールでアラームを設定して、実験中のページロード時間、変換率、エラー率などの主要なメトリクスをモニタリングできます。アラームがトリガーされた場合は、影響を評価し、実験の実行を停止するか続行するかを決定します。アラームの設定の詳細については、「」を参照してください自動ロールバックのためのデプロイのモニタリング。

デプロイの調整

アクティブな実験の実行中にアプリケーションに大きな変更を加えないでください。機能フラグロジック、バックエンドシステム、またはユーザーフローを変更すると、実験結果が無効化されたり、分析が複雑になる可能性があります。変更が必要な場合は、現在の実行を停止し、更新の適用後に新しい実行を開始します。

また、同じユーザーまたは機能に影響する重複する実験を制限します。実験が重複すると、結果が歪んで競合する動作が発生する可能性があります。つまり、対象者が重複する場合は実験を慎重に調整します。

Entity-Id および Contextヘッダーなど、アプリケーションが AWS AppConfig エージェントから割り当てられた処理を取得する方法の詳細については、「」を参照してください実験処理の取得。

パフォーマンスに関する考慮事項

実験を開始するときは、実行中の運用メトリクスを追跡してアプリケーションのパフォーマンスをモニタリングします。具体的には、以下をモニタリングします。

実験メトリクスが肯定的であっても、処理はシステム動作に影響を与える可能性があります。段階的な露出は、これらの問題を安全に特定するのに役立ちます。

クライアント側のパフォーマンスを検証する

UI 実験の場合は、以下をモニタリングします。

処理が異なると、フロントエンドのパフォーマンスに異なる影響を与える可能性があります。

運用原則

実験の実行中は、以下の運用原則に留意してください。