**このページの改善にご協力ください**
このユーザーガイドに貢献するには、すべてのページの右側のペインにある「**GitHub でこのページを編集する**」リンクを選択してください。
# Amazon EKS で AI/ML の使用を開始するためのリソース
EKS での機械学習の使用を開始するには、まずこれらの規範的なパターンから選択して、EKS クラスターと ML ソフトウェアおよびハードウェアが ML ワークロードの実行を開始できるように準備します。
## ワークショップ
### [Amazon EKS での生成 AI ワークショップ](https://genai.eksworkshop.com/)
Amazon EKS で大規模言語モデル (LLM) アプリケーションと推論を開始する方法について説明します。本稼働グレードの LLM ワークロードをデプロイおよび管理する方法を説明します。実践的なラボを通じて、Amazon EKS を AWS サービスやオープンソースツールとともに活用して、堅牢な LLM ソリューションを作成する方法について説明します。ワークショップ環境には、必要なインフラストラクチャとツールがすべて用意されているため、学習と実装に集中できます。
### [Neuron を使用した Amazon EKS での生成 AI](https://catalog.us-east-1.prod.workshops.aws/workshops/e21aadbd-23cb-4207-bd09-625e6de08a6c/en-US)
Amazon EKS で大規模言語モデル (LLM) アプリケーションと推論を開始する方法について説明します。本稼働グレードの LLM ワークロードのデプロイと管理、ベクトルデータベースを使用した高度な RAG パターンの実装、オープンソースフレームワークを使用したデータ駆動型 LLM アプリケーションの構築方法について説明します。実践的なラボを通じて、Amazon EKS を AWS サービスやオープンソースツールとともに活用して、堅牢な LLM ソリューションを作成する方法について説明します。ワークショップ環境には、必要なインフラストラクチャとツールがすべて用意されているため、学習と実装に集中できます。
## [ベストプラクティス](https://docs.aws.amazon.com/eks/latest/best-practices/aiml.html)
Amazon EKS ベストプラクティスガイドの AI/ML に焦点を当てたトピックでは、Amazon EKS の AI/ML ワークロードを最適化するために、以下の領域にわたって詳細な推奨事項を提供します。
### [AI/ML コンピューティングと自動スケーリング](https://docs.aws.amazon.com/eks/latest/best-practices/aiml-compute.html)
このセクションでは、GPU リソース管理、ノードの耐障害性、アプリケーションのスケーリングに焦点を当て、Amazon EKS で AI/ML コンピューティングと自動スケーリングを最適化するためのベストプラクティスの概要を説明します。よく知られているラベルとノードアフィニティを使用してワークロードのスケジュール設定、ML キャパシティブロックまたはオンデマンドキャパシティ予約の使用、および EKS Node Monitoring Agent などのツールを使用したノードヘルスチェックの実装などの戦略を提供します。
### [AI/ML ネットワーク](https://docs.aws.amazon.com/eks/latest/best-practices/aiml-networking.html)
このセクションでは、Amazon EKS で AI/ML ネットワークを最適化してパフォーマンスとスケーラビリティを向上させるためのベストプラクティスについて説明します。これには、分散トレーニング用のネットワーク帯域幅が高いインスタンスや Elastic Fabric Adapter (EFA) の選択、MPI や NCCL などのツールのインストール、IP アドレスを増やしてポッドの起動時間を短縮するためのプレフィックス委任の有効化などの戦略が含まれます。
### [AI/ML セキュリティ](https://docs.aws.amazon.com/eks/latest/best-practices/aiml-security.html)
このセクションでは、データストレージの保護と Amazon EKS での AI/ML ワークロードのコンプライアンスの確保に焦点を当てます。これには、Amazon S3 と AWS Key Management Service (KMS) を使用したサーバー側の暗号化 (SSE-KMS)、リージョン KMS キーと S3 バケットキーを使用したバケットの設定によるコスト削減、EKS ポッドへの復号化などの KMS アクションに対する IAM アクセス許可の付与、AWS CloudTrail ログによる監査などのプラクティスが含まれます。
### [AI/ML ストレージ](https://docs.aws.amazon.com/eks/latest/best-practices/aiml-storage.html)
このセクションでは、Amazon EKS の AI/ML ワークロードのストレージを最適化するためのベストプラクティスについて説明します。これには、CSI ドライバーを使用して S3、FSx for Lustre、EFS などのサービスを永続ボリュームとしてマウントするモデルをデプロイする方法、ワークロードのニーズに基づいてストレージを選択する方法 (Scratch-SSD や Persistent-SSD などのオプションを使用した分散トレーニング用の FSx for Lustre など)、データ圧縮やストライピングなどの機能を有効にする方法が含まれます。
### [AI/ML のオブザーバビリティ](https://docs.aws.amazon.com/eks/latest/best-practices/aiml-observability.html)
このセクションでは、Amazon EKS の AI/ML ワークロードの GPU 使用率をモニタリングおよび最適化して効率を向上させ、コストを削減することに重点を置いています。これには、CloudWatch Container Insights や Prometheus や Grafana と統合された NVIDIA の DCGM-Exporter などのツールを使用して GPU 使用率が高いことをターゲットにする戦略や、AI/ML ワークロードの分析におすすめのメトリクスが含まれます。
### [AI/ML パフォーマンス](https://docs.aws.amazon.com/eks/latest/best-practices/aiml-performance.html)
このセクションでは、コンテナイメージ管理とスタートアップ最適化を通じて、Amazon EKS の AI/ML ワークロードのアプリケーションのスケーリングとパフォーマンスを向上させることに重点を置いています。これには、マルチステージビルドで小さな軽量ベースイメージまたは AWS 深層学習コンテナを使用する、EBS スナップショットを介してイメージをプリロードする、DaemonSets または Deployments を使用してランタイムキャッシュにプルするなどのプラクティスが含まれます。
## リファレンスアーキテクチャ
リファレンスアーキテクチャ、サンプルコード、ユーティリティに関するこれらの GitHub リポジトリを調べて、Amazon EKS やその他の AWS サービスで AI/ML ワークロードの分散トレーニングと推論を実装します。
### [Awsome Distributed Training](https://github.com/aws-samples/awsome-distributed-training)
このリポジトリには、AWS で大規模モデルをトレーニングするためのベストプラクティス、リファレンスアーキテクチャ、モデルトレーニングの例、ユーティリティのコレクションが用意されています。EKS クラスター用の CloudFormation テンプレート、カスタム AMI とコンテナビルド、PyTorch (DDP/FSDP、MegatronLM、NeMo) や JAX などのフレームワークのテストケース、EFA Prometheus エクスポーターや Nvidia Nsight Systems などの検証、オブザーバビリティ、パフォーマンスのモニタリングツールなど、Amazon EKS での分散トレーニングをサポートします。
### [AWSome 推論](https://github.com/aws-samples/awsome-inference)
このリポジトリは、Amazon EKS と高速 EC2 インスタンスに焦点を当て、AWS で推論ソリューションを最適化するためのリファレンスアーキテクチャとテストケースを提供します。これには、VPC および EKS クラスターのインフラストラクチャ設定、NVIDIA NIM、TensorRT-LLM、Triton Inference Server、RayService などのフレームワークのプロジェクト、Llama3-8B や Llama 3.1 405B などのモデルの例が含まれています。K8s LeaderWorkerSet、EKS オートスケーリング、マルチインスタンス GPU (MIG)、ASR、推論、TTS 用のオーディオボットなどの実際のユースケースを使用したマルチノードデプロイを提供します。
## チュートリアル
EKS での機械学習プラットフォームとフレームワークのセットアップに関心がある場合はこのセクションに記載されているチュートリアルを詳しくご覧ください。これらのチュートリアルではGPU プロセッサを最大限に活用するためのパターンから、モデリングツールの選択、専門的な業界向けのフレームワークの構築まで、あらゆる事項について説明します。
### EKS で生成 AI プラットフォームを構築する
+ [Deploy Generative AI Models on Amazon EKS](https://aws.amazon.com/blogs/containers/deploy-generative-ai-models-on-amazon-eks/)
+ [Building multi-tenant JupyterHub Platforms on Amazon EKS](https://aws.amazon.com/blogs/containers/building-multi-tenant-jupyterhub-platforms-on-amazon-eks/)
### EKS で専門的な生成 AI フレームワークを実行する
+ [Accelerate your generative AI distributed training workloads with the NVIDIA NeMo Framework on Amazon EKS](https://aws.amazon.com/blogs/machine-learning/accelerate-your-generative-ai-distributed-training-workloads-with-the-nvidia-nemo-framework-on-amazon-eks/)
+ [Running TorchServe on Amazon エラスティックKubernetesサービス](https://aws.amazon.com/blogs/opensource/running-torchserve-on-amazon-elastic-kubernetes-service/)
### ML on EKS の NVIDIA GPU パフォーマンスを最大化する
+ EKS クラスターで NVIDIA GPU を効率的に使用するために、GPU 共有を実装します:
[GPU sharing on Amazon EKS with NVIDIA time-slicing and accelerated EC2 instances](https://aws.amazon.com/blogs/containers/gpu-sharing-on-amazon-eks-with-nvidia-time-slicing-and-accelerated-ec2-instances/)
+ EKS クラスターで GPU ごとにより多くのポッドを実行するために、マルチインスタンス GPU (MIG) と NIM マイクロサービスを使用します:
[Maximizing GPU utilization with NVIDIA’s Multi-Instance GPU (MIG) on Amazon EKS: Running more pods per GPU for enhanced performance](https://aws.amazon.com/blogs/containers/maximizing-gpu-utilization-with-nvidias-multi-instance-gpu-mig-on-amazon-eks-running-more-pods-per-gpu-for-enhanced-performance/)
+ [Build and deploy a scalable machine learning system on Kubernetes with Kubeflow on AWS](https://aws.amazon.com/blogs/machine-learning/build-and-deploy-a-scalable-machine-learning-system-on-kubernetes-with-kubeflow-on-aws/)
### EKS で動画エンコーディングワークロードを実行する
+ [Delivering video content with fractional GPUs in containers on Amazon EKS](https://aws.amazon.com/blogs/containers/delivering-video-content-with-fractional-gpus-in-containers-on-amazon-eks/)
### 推論ワークロードのイメージロードを高速化する
+ [How H2O.ai optimized and secured their AI/ML infrastructure with Karpenter and Bottlerocket](https://aws.amazon.com/blogs/containers/how-h2o-ai-optimized-and-secured-their-ai-ml-infrastructure-with-karpenter-and-bottlerocket/)
### ML ワークロードのモニタリング
+ [Monitoring GPU workloads on Amazon EKS using AWS managed open-source services](https://aws.amazon.com/blogs/mt/monitoring-gpu-workloads-on-amazon-eks-using-aws-managed-open-source-services/)
+ [Enable pod-based GPU metrics in Amazon CloudWatch](https://aws.amazon.com/blogs/machine-learning/enable-pod-based-gpu-metrics-in-amazon-cloudwatch/)