コンテンツ分野 3: データ運用とサポート - AWS Certified Data Engineer

コンテンツ分野 3: データ運用とサポート

タスク 3.1: AWSサービスを使用したデータ処理の自動化

  • スキル 3.1.1: データパイプラインをオーケストレーションする [Amazon Managed Workflows for Apache Airflow (Amazon MWAA)、AWS Step Functions など]。

  • スキル 3.1.2: Amazon マネージドワークフローをトラブルシューティングする。

  • スキル 3.1.3: SDK を呼び出してコードから Amazon の機能にアクセスする。

  • スキル 3.1.4: AWS サービスの機能を使用してデータを処理する (Amazon EMR、Amazon Redshift、AWS Glue など)。

  • スキル 3.1.5: データ API を利用および管理する。

  • スキル 3.1.6: 変換対象のデータを準備する (AWSGlue DataBrew、Amazon SageMaker Unified Studio など)。

  • スキル 3.1.7: データをクエリする (Amazon Athena など)。

  • スキル 3.1.8: AWS Lambda を使用してデータ処理を自動化する。

  • スキル 3.1.9: イベントとスケジューラを管理する (Amazon EventBridge など)。

タスク 3.2: AWS サービスを使用したデータ分析

  • スキル 3.2.1: AWS のサービスおよびツール (DataBrew、Amazon QuickSight など) を使用してデータを視覚化する。

  • スキル 3.2.2: データを検証およびクリーニングする (Lambda、Athena、QuickSight、Jupyter Notebook、Amazon SageMaker Data Wrangler など)。

  • スキル 3.2.3: Amazon Redshift と Athena の SQL を使用してデータのクエリやビューの作成を行う。

  • スキル 3.2.4: Apache Spark 対応の Athena ノートブックを使用してデータを探索する。

  • スキル 3.2.5: プロビジョニングされたサービスとサーバーレスサービスのトレードオフについて説明する。

  • スキル 3.2.6: データ集約、移動平均、グループ化、ピボットを定義する。

タスク 3.3: データパイプラインの保守とモニタリング

  • スキル 3.3.1: 監査用のログを抽出する。

  • スキル 3.3.2: 監査とトレーサビリティを促進するためのログ記録およびモニタリングソリューションをデプロイする。

  • スキル 3.3.3: モニタリング中に通知を使用してアラートを送信する。

  • スキル 3.3.4: パフォーマンスの問題をトラブルシューティングする。

  • スキル 3.3.5: AWS CloudTrail を使用して API コールを追跡する。

  • スキル 3.3.6: パイプラインのトラブルシューティングとメンテナンスを行う (AWSGlue、Amazon EMR など)。

  • スキル 3.3.7: Amazon CloudWatch Logs を使用してアプリケーションデータをログに記録する (設定とオートメーションに重点を置く)。

  • スキル 3.3.8: AWS サービスを使用してログを分析する (Athena、Amazon EMR、Amazon OpenSearch Service、CloudWatch Logs Insights、ビッグデータアプリケーションログなど)。

タスク 3.4: データ品質の確保

  • スキル 3.4.1: データ処理時にデータ品質チェックを実行する (空のフィールドのチェックなど)。

  • スキル 3.4.2: データ品質ルールを定義する (DataBrew など)。

  • スキル 3.4.3: データの一貫性を調査する (DataBrew など)。

  • スキル 3.4.4: データサンプリング手法を説明する。

  • スキル 3.4.5: データスキューメカニズムを実装する。