コンテンツ分野 4: ML と AI のソリューションの運用、モニタリング、保護

スキル 4.1.1: Amazon CloudWatch 生成 AI のオブザーバビリティ、Amazon Bedrock のモデル評価、ドリフト検出パイプラインの使用により、本番環境におけるモデルのパフォーマンスをモニタリングする。

スキル 4.1.2: ワークフローをモニタリングしてデータ処理やモデル推論における異常やエラーを検出する。

スキル 4.1.3: モデルのパフォーマンスに影響を及ぼす可能性のあるデータ分布の変化を検出する。

スキル 4.1.4: A/B テストの使用により、本番環境におけるモデルのパフォーマンスをモニタリングする。

スキル 4.1.5: エージェントのパフォーマンスと調整の管理をモニタリングおよび自動化する (調整障害の検出、切り取られたストリーミング、ツール障害など)。

スキル 4.1.6: Amazon Bedrock の評価など、基盤モデル (FM) の AI 固有のパフォーマンスモニタリングを設定する。

スキル 4.2.1: パフォーマンスとコストを最適化するよう、推論インスタンスファミリーを選択する。

スキル 4.2.2: リソースのトラブルシューティングと分析のためにツールを設定して使用する (Amazon CloudWatch、Amazon Bedrock AgentCore Observability、AWS X-Ray など)。

スキル 4.2.3: パフォーマンスメトリクスをモニタリングするためにダッシュボードを設定する。

スキル 4.2.4: コスト、パフォーマンス、信頼性の観点で容量を最適化する。

スキル 4.2.5: 適切なコスト管理ツールを使用してコストを最適化し、コストクォータを設定する。

スキル 4.2.6: 購入オプションを選択することにより、インフラストラクチャコストを最適化する。

スキル 4.2.7: 本番環境での推論に FM を使用することによるコストへの影響を評価する。

スキル 4.2.8: エージェントのリソース消費パターンをモニタリングする。

スキル 4.2.9: 使用率の最適化により FM 推論コストを管理する。

スキル 4.2.10: AI 固有のコストパターン (トークン使用率の最適化、埋め込みコンピューティングコスト、ベクトルデータベースストレージの最適化など) をモニタリングする。

スキル 4.3.1: コードとイメージの脆弱性を確認して (Amazon CodeGuru、Amazon Inspector の使用などによる)、継続的インテグレーションおよび継続的デリバリー (CI/CD) パイプラインのセキュリティを確保する。

スキル 4.3.2: ML と AI のアーティファクトへの最小権限アクセスを設定する。

スキル 4.3.3: ML と AI のシステムのユーザーとアプリケーションの IAM ポリシーとロールを設定する。

スキル 4.3.4: ML と AI のシステム (AWS CloudTrail、AWS Config など) の包括的なモニタリング、監査、コンプライアンス、ログ記録を設定する。

スキル 4.3.5: ML と AI のシステムにおけるセキュリティの問題をトラブルシューティングおよびデバッグする。

スキル 4.3.6: ML と AI のシステムをセキュアに分離するために VPC、サブネット、セキュリティグループを作成する。

スキル 4.3.7: ML と AI のシステムのセキュリティリスクと脆弱性を特定して軽減する。

スキル 4.3.8: FM にアクセスするための適切な認証情報タイプ (Amazon Bedrock API キー、IAM 認証情報など) を選択する。

スキル 4.3.9: アプリケーション要件と責任ある AI ポリシーを満たすための保護手段と機密データ保護を実装する (Amazon Bedrock Guardrails の使用などによる)。