翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# 実験の実行とモニタリングについて
<a name="appconfig-experimentation-about-running-an-experiment"></a>

本番環境で実験を実行するには、慎重なモニタリングと運用計画が必要です。露出の段階的な増加、実装の検証、パフォーマンスのモニタリングは、リスクを軽減し、実験結果の信頼性を向上させるのに役立ちます。

**Topics**
+ [運用上の考慮事項](#appconfig-experimentation-about-running-an-experiment-operational-considerations)
+ [パフォーマンスに関する考慮事項](#appconfig-experimentation-about-running-an-experiment-performance-considerations)
+ [運用原則](#appconfig-experimentation-about-running-an-experiment-implementation-considerations)

## 運用上の考慮事項
<a name="appconfig-experimentation-about-running-an-experiment-operational-considerations"></a>

**低または 0% の露出から開始し、露出を徐々に増やす**

ユーザーを処理に公開する前に:
+ 処理レンダリングを検証する
+ 機能フラグの評価を確認する
+ メトリクスとログ記録を検証する
+ 処理割り当てオーバーライドを使用して計測をテストする

0% の露出から始めると、ユーザーに影響を与える前に実装の問題を検出するのに役立ちます。その後、露出を徐々に増やし、問題が発生した場合の回帰の影響を制限できます。負荷が増加する中で実験動作を検証することで、対象者全体を変化にさらす前に、実験結果と運用メトリクスをモニタリングできます。

**ロールバック手順を定義する**

実験実行を開始する前に、以下を決定します。
+ 実行を停止する必要がある場合
+ 許容できない動作を示すメトリクス
+ 処理を無効にする方法

CloudWatch または Datadog、New Relic、Dynatrace などのサードパーティーのモニタリングツールでアラームを設定して、実験中のページロード時間、変換率、エラー率などの主要なメトリクスをモニタリングできます。アラームがトリガーされた場合は、影響を評価し、実験の実行を停止するか続行するかを決定します。アラームの設定の詳細については、「」を参照してください[自動ロールバックのためのデプロイのモニタリング](monitoring-deployments.md)。

**デプロイの調整**

アクティブな実験の実行中にアプリケーションに大きな変更を加えないでください。機能フラグロジック、バックエンドシステム、またはユーザーフローを変更すると、実験結果が無効化されたり、分析が複雑になる可能性があります。変更が必要な場合は、現在の実行を停止し、更新の適用後に新しい実行を開始します。

また、同じユーザーまたは機能に影響する重複する実験を制限します。実験が重複すると、結果が歪んで競合する動作が発生する可能性があります。つまり、対象者が重複する場合は実験を慎重に調整します。

`Entity-Id` および `Context`ヘッダーなど、アプリケーションが AWS AppConfig エージェントから割り当てられた処理を取得する方法の詳細については、「」を参照してください[実験処理の取得](appconfig-integration-retrieving-experiment-treatments.md)。

## パフォーマンスに関する考慮事項
<a name="appconfig-experimentation-about-running-an-experiment-performance-considerations"></a>

実験を開始するときは、実行中の運用メトリクスを追跡してアプリケーションのパフォーマンスをモニタリングします。具体的には、以下をモニタリングします。
+ レイテンシー
+ エラー率
+ スループット
+ リソース使用率

実験メトリクスが肯定的であっても、処理はシステム動作に影響を与える可能性があります。段階的な露出は、これらの問題を安全に特定するのに役立ちます。

**クライアント側のパフォーマンスを検証する**

UI 実験の場合は、以下をモニタリングします。
+ ページのロード時間
+ レンダリングパフォーマンス
+ クライアント側エラー
+ デバイス固有の動作

処理が異なると、フロントエンドのパフォーマンスに異なる影響を与える可能性があります。

## 運用原則
<a name="appconfig-experimentation-about-running-an-experiment-implementation-considerations"></a>

実験の実行中は、以下の運用原則に留意してください。

**実験を本番稼働用変更として扱う**  
小規模な実験でも、アプリケーションの安定性、パフォーマンス、ユーザーエクスペリエンス、データ品質に影響を与える可能性があります。慎重なモニタリングと段階的な露出は、実験結果の信頼性を向上させながらリスクを軽減するのに役立ちます。

**処理の一貫性を維持する**  
ユーザーは、実行全体を通して同じ処理を受ける必要があります。処理設計の詳細については、「」を参照してください[コントロールと処理について](appconfig-experimentation-about-controls-and-treatments.md)。

**計測を検証する**  
露出を増やす前に、メトリクスが正しく記録され、ログに処理情報が含まれていることを確認します。

**実験固有のメトリクスをモニタリングする**  
運用メトリクスに加えて、次のような実験に直接関連するメトリクスをモニタリングします。  
+ コンバージョン率
+ 機能のエンゲージメント
+ クリックスルー率
+ エラーの頻度
+ ユーザー保持
実験目標に沿ったメトリクスを選択します。