コンテンツ分野 3: 基盤モデルの応用

FM を選ぶための選択基準 (コスト、モダリティ、レイテンシー、多言語、モデルサイズ、モデルの複雑さ、カスタマイズ、入力/出力の長さ、プロンプトキャッシュなど) を特定する。

推論パラメータがモデルの応答に与える影響 [温度 (Temperature)、入力/出力の長さなど] を説明する。

検索拡張生成 (RAG) を定義し、ビジネスにおける活用方法 (Amazon Bedrock ナレッジベースなど) を説明する。

ベクトルデータベースへの埋め込みの保存に役立つ AWS のサービス (Amazon OpenSearch Service、Amazon Aurora、Amazon Neptune、Amazon RDS for PostgreSQL など) を特定する。

FM をカスタマイズするためのさまざまなアプローチ (事前トレーニング、ファインチューニング、コンテキスト内学習、RAG、モデル蒸留など) のコスト面でのトレードオフを説明する。

AI エージェントの役割を定義し、ビジネスにおける AI エージェントの活用方法を説明する。

プロンプトエンジニアリングの概念と構成 (コンテキスト、指示、ネガティブプロンプトなど) を定義する。

プロンプトエンジニアリングの手法 (思考の連鎖、ゼロショット、シングルショット、フューショット、プロンプトテンプレート) を定義する。

プロンプトエンジニアリングの利点とベストプラクティス (応答品質の向上、実験、ガードレール、発見、具体性と簡潔さ、複数のコメントの使用) を特定し、説明する。

プロンプトエンジニアリングの潜在的なリスクと制限 (露出、ポイズニング、ハイジャック、ジェイルブレイクなど) を定義する。

Amazon Bedrock Prompt Management を使用するプロンプトのバージョン管理と管理戦略を説明する。

FM のトレーニングの重要な要素 (事前トレーニング、ファインチューニング、継続的な事前チューニング、蒸留など) を説明する。

FM をファインチューニングするための方法 (指示のチューニング、特定分野へのモデルの適応、転移学習、継続的な事前トレーニングなど) を定義する。

FM をファインチューニングするためのデータの準備方法 [データキュレーション、ガバナンス、サイズ、ラベル付け、代表性、人間からのフィードバックによる強化学習 (RLHF) など] を説明する。

FM のパフォーマンスを評価する手法 (ヒューマンインザループによる評価、ベンチマークデータセット、Amazon Bedrock のモデル評価など) を特定する。

FM のパフォーマンスを評価するための関連メトリクス [Recall-Oriented Understudy for Gisting Evaluation (ROUGE)、Bilingual Evaluation Understudy (BLEU)、BERTScore、LLM-as-a-judge など] を特定する。

FM がビジネス目標 (生産性、ユーザーエンゲージメント、タスクエンジニアリングなど) を効果的に満たしているかどうかを判断する。

FM を使用して構築されたアプリケーションのパフォーマンスを評価するためのアプローチ (RAG、エージェント、ワークフローなど) を特定する。

AI アプリケーションのビジネス目標整合指標 (タスク完了率、ユーザー満足度、インタラクションあたりのコストなど) を特定する。