コンテンツ分野 2: ML モデルと基盤モデル (FM) の開発

スキル 2.1.1: タスク要件とパフォーマンス基準に基づいて Amazon Bedrock から適切な FM を評価して選択する。

スキル 2.1.2: ビジネスニーズに合わせて事前トレーニング済み FM のファインチューニング戦略を特定する。

スキル 2.1.3: ビジネスニーズ (解釈可能性、ドメイン固有のパフォーマンス、レイテンシーなど) に合わせて、適切な ML モデル、生成 AI (GenAI) モデル、アルゴリズム、ソリューションテンプレートを比較して選択する。

スキル 2.1.4: ビジネスニーズに合わせて、カスタムソリューション、マネージドサービス、事前トレーニング済みモデル、FM の間のトレードオフを評価する。

スキル 2.1.5: ユースケースの要件に基づいて、検索拡張生成 (RAG) のアーキテクチャパターンを選択する。

スキル 2.1.6: ML モデルのパフォーマンス、トレーニング時間、コストの間のトレードオフを評価する。

スキル 2.1.7: AI モデルのパフォーマンス、レイテンシー、コストの間のトレードオフを評価する。

スキル 2.1.8: AWS の AI サービス (Amazon Textract、Amazon Rekognition、Amazon Comprehend、Amazon Transcribe など) を適用して、特定のビジネス上の問題を解決する。

スキル 2.2.1: Amazon SageMaker AI の組み込みアルゴリズムと一般的な ML ライブラリを適用する。

スキル 2.2.2: シンプルさとパフォーマンスの向上のために、サポートされているフレームワークを使用して SageMaker AI スクリプトモードを設定する。

スキル 2.2.3: ハイパーパラメータ最適化 [SageMaker AI 自動モデルチューニング (AMT) など] を実装する。

スキル 2.2.4: トレーニング時間を短縮する手法 (早期停止、分散トレーニングなど) を実装する。

スキル 2.2.5: モデルのオーバーフィット、アンダーフィット、壊滅的な忘却を防止する。

スキル 2.2.6: 複数の ML モデルを組み合わせてパフォーマンスの向上またはコストの削減を行う。

スキル 2.2.7: 基本的なハイパーパラメータ (エポック、ステップ、バッチサイズなど) を調整する。

スキル 2.2.8: AI ソリューションにカスタマイズ手法を適用する (タスク固有のプロンプトエンジニアリング、ファインチューニングなど)。

スキル 2.2.9: 検索コンポーネントと埋め込みモデルを最適化する。

スキル 2.3.1: 再現可能な実験を行う (SageMaker AI 上の MLflow、Amazon Bedrock の評価、Amazon Bedrock プロンプトマネジメントの使用などによる)。

スキル 2.3.2: モデルのパフォーマンスベースラインを作成し、ドリフト検出を実装する。

スキル 2.3.3: シャドウバリアントのパフォーマンスと本番稼働用バリアントのパフォーマンスを比較する。

スキル 2.3.4: モデルの出力について説明する。

スキル 2.3.5: モデル収束の問題をデバッグする。

スキル 2.3.6: 従来の ML モデルと GenAI モデルに包括的なモデル評価手法を適用する。

スキル 2.3.7: 統合ヒューマン評価フレームワーク (ヒューマンインザループワークフロー、テキスト生成品質評価など) を実装する。

スキル 2.3.8: 自然言語処理 (NLP) 評価メトリクス [BiLingual Evaluation Understudy (BLEU)、Recall-Oriented Understudy for Gisting Evaluation (ROUGE)、BERTScore、意味的類似度など] を適用する。

スキル 2.3.9: AI 評価を行う (モデル出力評価、コンテンツ品質検証、バイアス検出、LLM-as-a-judge フレームワークなど)。

スキル 2.3.10: 検索精度の評価を含めた RAG システムモニタリングを設定する。