**このページの改善にご協力ください**
このユーザーガイドに貢献するには、すべてのページの右側のペインにある「**GitHub でこのページを編集する**」リンクを選択してください。
# Amazon EKS における AI と機械学習の概要
**ヒント**
今後開催予定の Amazon EKS AI/ML ワークショップに[登録](https://events.eksworkshop.com/workshops/genai/)してください。
Amazon Elastic Kubernetes Service (Amazon EKS) は、比類のない柔軟性と制御性によって、組織が AI や機械学習 (ML) のワークロードをデプロイ、管理、スケールできるようにするマネージド Kubernetes サービスです。Amazon EKS はアップストリーム Kubernetes 上に構築されているため、オープンソースのツールや AWS サービスとシームレスに統合しながら、既存の Kubernetes の専門知識を適用できます。
大規模なモデルのトレーニング、リアルタイムのオンライン推論の実行、生成 AI アプリケーションのデプロイなど、どのような用途であっても、Amazon EKS は AI/ML プロジェクトが必要とするパフォーマンス、スケーラビリティ、およびコスト効率を提供します。
## AI/ML に Amazon EKS を使用する理由
Amazon EKS は、AI/ML プロジェクトに必要な制御、統合、パフォーマンス、スケーラビリティを提供します。アップストリーム Kubernetes 上に構築され、AWS サービスと統合された Amazon EKS は、複雑なワークロードをオーケストレーションしながら、既存の Kubernetes の専門知識を活用するのに役立ちます。AI/ML デプロイを初めて使用するチームでも、既存の Kubernetes スキルをそのまま移行でき、学習曲線も急ではありません。
Amazon EKS は、オペレーティングシステムのカスタマイズからコンピューティングのスケーリングまで、あらゆることをサポートし、将来のインフラストラクチャに関する意思決定において選択肢を維持するための技術的な柔軟性を促進します。プラットフォームは、AI/ML ワークロードに必要なパフォーマンスとチューニングのオプションを提供し、以下の機能を含みます。
+ **完全なクラスター制御**: 隠れた抽象化なしで、コストと設定をファインチューニングできます。
+ **1 秒未満のレイテンシー**: 本番環境でリアルタイム推論ワークロードを実行できます。
+ **高度なカスタマイズ**: マルチインスタンス GPU、ネットワークチューニング、オペレーティングシステムレベルのチューニングを設定できます。
+ **統合オーケストレーション**: AI/ML パイプラインとオンプレミス、エッジ、クラウド環境間でオーケストレーションできます。
+ **コスト最適化**: 自動スケーリング、ネイティブ GPU スケジューリング、多様な GPU およびアクセラレーターインスタンスタイプを使用できます。
## 主なユースケース
Amazon EKS は、以下の一般的なユースケースを含む、幅広い AI/ML ワークロードをサポートしています。
+ **推論**: 低レイテンシーの応答時間を必要とするユースケース向けに、Amazon EKS 上でモデルをセルフホストします。
+ **バッチ推論**: スケジュールされたジョブを通じて大規模なデータセットを効率的に処理します。
+ **モデルトレーニング**: 大規模なデータセットで複雑なモデルを長期間トレーニングします。
+ **モデルのファインチューニング**: 独自のドメイン知識でオープンソースモデルを強化します。
+ **検索拡張生成 (RAG) パイプライン**: 取得プロセスと生成プロセスを統合します。
+ **エージェンティック AI**: Amazon Bedrock、サードパーティー、または Amazon EKS でホストされているモデルを使用してエージェントをデプロイします。
## ケーススタディ
顧客は、以下の導入事例で示されているように、GPU 使用率の最適化や 1 秒未満のレイテンシーでの推論ワークロードの実行など、さまざまな理由で Amazon EKS を選択しています。Amazon EKS のすべての導入事例のリストについては、「[AWS のお客様の成功事例](https://aws.amazon.com/solutions/case-studies/)」を参照してください。
+ [BMW グループ](https://aws.amazon.com/solutions/case-studies/bmw-eks-case-study/)は、2,500 万台以上のコネクテッド車両を持つ世界最大規模のコネクテッドフリートの 1 つを運営し、Amazon EKS 上に Ray を用いた分散トレーニングと Karpenter による GPU 自動スケーリングを備えたコネクテッド AI プラットフォームを構築しています。これにより、モデルトレーニング時間を数時間から 30 分に短縮し、1 回のトレーニング実行あたり 5 EUR のコストを実現しつつ、60 以上の AI ユースケースに対応する 550 人以上のデベロッパーをサポートしています。
+ 世界をリードする旅行プラットフォームの 1 つである [Booking.com](https://aws.amazon.com/solutions/case-studies/booking-eks-case-study/) は、実験のためのスケーラビリティを実現するため、検索ランキングの ML 推論システムを Amazon EKS に移行し、1 秒あたり最大 25 万のリクエストを 40 ミリ秒 (p99.9) のレイテンシーで処理できるようにしました。
+ [Unitary](https://aws.amazon.com/solutions/case-studies/unitary-eks-case-study/?did=cr_card&trk=cr_card) は、コンテンツモデレーションに AI を使用して 1 日あたり 2,600 万本の動画を処理しています。同社は高スループットかつ低レイテンシーの推論を必要としており、コンテナのブート時間を 80% 削減することに成功しました。これにより、トラフィックの変動に応じたスケーリングイベントに対して迅速に対応できるようになっています。
+ [Synthesia](https://aws.amazon.com/solutions/case-studies/synthesia-case-study/?did=cr_card&trk=cr_card) は、顧客がテキストプロンプトからリアルな動画を作成できる生成 AI 動画作成をサービスとして提供しています。ML モデルトレーニングのスループットが 30 倍向上しました。
+ [Ada Support](https://aws.amazon.com/solutions/case-studies/ada-support-eks-case-study/) は、AI を活用したカスタマーサービス自動化企業であり、コンピューティングコストの 15% の削減と、コンピューティング効率の 30% の向上を達成しました。
+ [Snorkel AI](https://aws.amazon.com/blogs/startups/how-snorkel-ai-achieved-over-40-cost-savings-by-scaling-machine-learning-workloads-using-amazon-eks/) は、企業が基盤モデルと大規模言語モデルを構築および適応できるように支援しています。GPU リソースにインテリジェントなスケーリングメカニズムを実装することで、40% 以上のコスト削減を達成しました。
+ [Artera](https://aws.amazon.com/solutions/case-studies/artera-case-study/) は Amazon Elastic File System (Amazon EFS) と Amazon EKS を使用し、高解像度の生検画像を用いて癌治療をパーソナライズする ML モデルをトレーニングしています。
+ [Anthropic](https://aws.amazon.com/blogs/containers/amazon-eks-enables-ultra-scale-ai-ml-workloads-with-support-for-100k-nodes-per-cluster/) は、主力製品である Claude ファミリーの基盤モデルを Amazon EKS 上で運用しており、本番環境では最大規模の EKS クラスターの一部を稼働させています。これらのクラスターは、AI ワークロード用の AWS Trainium (trn2) インスタンスおよびと NVIDIA GPU と、CPU 集約型データ処理用の AWS Graviton プロセッサで構成されています。
## ガイド構造
このガイドには、Amazon EKS で AI/ML ワークロードをデプロイおよび管理するための手順をステップバイステップで説明した一連の実践的なガイドが含まれています。各ガイドには、環境に直接実装できる手順と設定が記載されています。
このガイドでは、手順に加えて、各トピックに必要な背景と基本的な概念を提供します。また、必要となるより詳細な技術情報を参照できるよう、関連する AWS ドキュメントやリソースへのリンクも含まれています。
## Amazon EKS で AI/ML の使用を開始する
Amazon EKS で AI/ML プラットフォームとワークロードの計画と使用を開始するには、[AI/ML ワークロード用の Amazon EKS クラスターを設定する](ml-cluster-setup.md) セクションに従って、必要な Kubernetes コンポーネントを含む Amazon EKS クラスターを AWS アカウントに作成します。環境の準備が完了し、稼働状態になったら、次のステップに進むことができます。
+ [AI/ML ワークロード用の Amazon EKS クラスターを設定する](ml-cluster-setup.md): このセクション全体で使用する Amazon EKS クラスター、モニタリング、Amazon S3 バケットインフラストラクチャを作成します。
+ [Amazon EKS で AI/ML 推論ワークロードを実行する](ml-inference.md): Amazon EKS を使用して、大規模言語モデル (LLM) を用いた推論アプリケーションをデプロイし、設定して使用を開始します。
+ [AI/ML ワークロード用の Amazon EKS クラスター設定](ml-cluster-configuration.md): AI/ML ワークロード用に最適化された Amazon EKS クラスターを設定します。
+ [Amazon EKS で AI/ML ワークロードのコンピューティングリソースを管理する](ml-compute-management.md): Amazon EKS 上で機械学習ワークロードのコンピューティングリソースを管理および最適化します。
+ [Amazon EKS でハードウェアデバイスを管理する](device-management.md): 動的リソース割り当て (DRA) とデバイスプラグインを使用して、特殊なハードウェアデバイスを管理します。