モニタリングとデバッグ

データライフサイクルの特定の段階は、順番ではなく、いつでも実行できるようにしておきます。これは、次の図に示すように、モニタリングとデバッグのステージに当てはまります。

データエンジニアリングのプロセスは、正確性とパフォーマンスを継続的にモニタリングする必要があります。Amazon CloudWatch は、すべてのエラーと情報ログをロググループに記録するため、データエンジニアリングのモニタリングに重要な役割を果たします。モニタリングを使用して、自動エラー復旧を構築できます。例えば、データ品質ルールを満たしていないことが判明した場合にパイプラインを停止したり、成功した実行と失敗した実行を個別にログに記録して復旧アクションを有効にしたりできます。モニタリングにより、データエンジニアリングプロセス (つまり、完全な ETL プロセス) とデータの全体的な信頼性が向上します。

追加で、モニタリングおよびデバッグプロセスに関連するメトリクスを含む CloudWatch ダッシュボードを作成することをお勧めします。これにより、データエンジニアリングプロセスがスムーズかつ期待どおりに実行されるようになります。これは、オペレーションとレポートにとって重要です。例えば、CloudWatch ダッシュボードはロードのステータスをユーザーに示すことができ、プロセスの信頼性や、低品質が原因で削除されたデータの割合、または最大の障害が発生したソースを理解することに役立ちます。CloudWatch ダッシュボードは、結果を可視化するだけでなく、ETL プロセスの問題点を特定することでプロセスの改善も支援します。