コンテンツ分野 3: データ運用とサポート
タスク
タスク 3.1: AWSサービスを使用したデータ処理の自動化
スキル 3.1.1: データパイプラインをオーケストレーションする [Amazon Managed Workflows for Apache Airflow (Amazon MWAA)、AWS Step Functions など]。
スキル 3.1.2: Amazon マネージドワークフローをトラブルシューティングする。
スキル 3.1.3: SDK を呼び出してコードから Amazon の機能にアクセスする。
スキル 3.1.4: AWS サービスの機能を使用してデータを処理する (Amazon EMR、Amazon Redshift、AWS Glue など)。
スキル 3.1.5: データ API を利用および管理する。
スキル 3.1.6: 変換対象のデータを準備する (AWSGlue DataBrew、Amazon SageMaker Unified Studio など)。
スキル 3.1.7: データをクエリする (Amazon Athena など)。
スキル 3.1.8: AWS Lambda を使用してデータ処理を自動化する。
スキル 3.1.9: イベントとスケジューラを管理する (Amazon EventBridge など)。
タスク 3.2: AWS サービスを使用したデータ分析
スキル 3.2.1: AWS のサービスおよびツール (DataBrew、Amazon QuickSight など) を使用してデータを視覚化する。
スキル 3.2.2: データを検証およびクリーニングする (Lambda、Athena、QuickSight、Jupyter Notebook、Amazon SageMaker Data Wrangler など)。
スキル 3.2.3: Amazon Redshift と Athena の SQL を使用してデータのクエリやビューの作成を行う。
スキル 3.2.4: Apache Spark 対応の Athena ノートブックを使用してデータを探索する。
スキル 3.2.5: プロビジョニングされたサービスとサーバーレスサービスのトレードオフについて説明する。
スキル 3.2.6: データ集約、移動平均、グループ化、ピボットを定義する。
タスク 3.3: データパイプラインの保守とモニタリング
スキル 3.3.1: 監査用のログを抽出する。
スキル 3.3.2: 監査とトレーサビリティを促進するためのログ記録およびモニタリングソリューションをデプロイする。
スキル 3.3.3: モニタリング中に通知を使用してアラートを送信する。
スキル 3.3.4: パフォーマンスの問題をトラブルシューティングする。
スキル 3.3.5: AWS CloudTrail を使用して API コールを追跡する。
スキル 3.3.6: パイプラインのトラブルシューティングとメンテナンスを行う (AWSGlue、Amazon EMR など)。
スキル 3.3.7: Amazon CloudWatch Logs を使用してアプリケーションデータをログに記録する (設定とオートメーションに重点を置く)。
スキル 3.3.8: AWS サービスを使用してログを分析する (Athena、Amazon EMR、Amazon OpenSearch Service、CloudWatch Logs Insights、ビッグデータアプリケーションログなど)。
タスク 3.4: データ品質の確保
スキル 3.4.1: データ処理時にデータ品質チェックを実行する (空のフィールドのチェックなど)。
スキル 3.4.2: データ品質ルールを定義する (DataBrew など)。
スキル 3.4.3: データの一貫性を調査する (DataBrew など)。
スキル 3.4.4: データサンプリング手法を説明する。
スキル 3.4.5: データスキューメカニズムを実装する。