Présentation de l’intelligence artificielle (IA) et du Machine Learning (ML) sur Amazon EKS

Contrôle complet du cluster pour affiner les coûts et les configurations sans abstractions cachées

Latence inférieure à la seconde pour les charges de travail d’inférence en temps réel en production

Personnalisations avancées telles que les GPU multi-instances, les stratégies multi-cloud et l’optimisation au niveau du système d’exploitation

Capacité à centraliser les charges de travail à l’aide d’EKS en tant qu’orchestrateur unifié dans l’ensemble des pipelines d’IA/ML

Inférence en temps réel (en ligne) : EKS permet d’effectuer des prédictions immédiates sur les données entrantes, telles que la détection des fraudes, avec une latence inférieure à la seconde à l’aide d’outils tels que TorchServe, Triton Inference Server et KServe sur les instances Amazon EC2 Inf1 et Inf2. Ces charges de travail bénéficient d’une mise à l’échelle dynamique avec Karpenter et KEDA, tout en tirant parti d’Amazon EFS pour le découpage des modèles entre les pods. Amazon ECR Pull Through Cache (PTC) accélère les mises à jour des modèles, et les volumes de données Bottlerocket avec les volumes optimisés Amazon EBS garantissent un accès rapide aux données.

Entraînement général des modèles : les organisations exploitent EKS pour former des modèles complexes sur de grands jeux de données pendant de longues périodes à l’aide de Kubeflow Training Operator (KRO), Ray Serve et Torch Distributed Elastic sur des instances Amazon EC2 P4d et Amazon EC2 Trn1. Ces charges de travail sont prises en charge par la planification par lots avec des outils tels que Volcano, Yunikorn et Kueue. Amazon EFS permet de partager les points de contrôle des modèles, et Amazon S3 gère l’importation/exportation des modèles avec des politiques de cycle de vie pour la gestion des versions.

Fénération à enrichissement contextuel (RAG) : EKS gère les chatbots de support client et les applications similaires en intégrant des processus de récupération et de génération. Ces charges de travail utilisent souvent des outils tels qu’Argo Workflows et Kubeflow pour l’orchestration, des bases de données vectorielles telles que Pinecone, Weaviate ou Amazon OpenSearch, et exposent les applications aux utilisateurs via l’Application Load Balancer Controller (LBC). NVIDIA NIM optimise l’utilisation du GPU, tandis que Prometheus et Grafana surveillent l’utilisation des ressources.

Déploiementde modèles d’IA générative : Les entreprises déploient des services de création de contenu en temps réel sur EKS, tels que la génération de texte ou d’images, à l’aide de Ray Serve, vLLM et Triton Inference Server sur Amazon EC2 G5 et les accélérateurs Inferentia. Ces déploiements optimisent les performances et l’utilisation de la mémoire pour les modèles à grande échelle. JupyterHub permet un développement itératif, Gradio fournit des interfaces web simples et le pilote CSI S3 Mountpoint permet de monter des compartiments S3 en tant que systèmes de fichiers pour accéder à des fichiers de modèles volumineux.

Inférence par lots (hors ligne) : les organisations traitent efficacement de grands jeux de données grâce à des tâches planifiées avec AWS Batch ou Volcano. Ces charges de travail utilisent souvent des instances EC2 Inf1 et Inf2 pour les puces AWS Inferentia, des instances Amazon EC2 G4dn pour les GPU NVIDIA T4 ou des instances CPU c5 et c6i, optimisant ainsi l’utilisation des ressources pendant les heures creuses pour les tâches d’analytique. Le SDK AWS Neuron et les pilotes GPU NVIDIA optimisent les performances, tandis que MIG/TS permet le partage des GPU. Les solutions de stockage comprennent Amazon S3, Amazon EFS et FSx pour Lustre, avec des pilotes CSI pour différentes classes de stockage. La gestion des modèles s’appuie sur des outils tels que Kubeflow Pipelines, Argo Workflows et Ray Cluster, tandis que la surveillance est assurée par Prometheus, Grafana et des outils de surveillance des modèles personnalisés.

Unitary traite quotidiennement 26 millions de vidéos à l’aide de l’IA pour la modération de contenu, ce qui nécessite une inférence à haut débit et à faible latence. L’entreprise a réduit de 80 % le temps de démarrage des conteneurs, garantissant ainsi une réponse rapide aux événements de mise à l’échelle lorsque le trafic fluctue.

Miro, la plateforme de collaboration visuelle qui compte 70 millions d’utilisateurs dans le monde, a annoncé une réduction de 80 % de ses coûts informatiques par rapport à ses anciens clusters Kubernetes autogérés.

Synthesia, qui propose un service de création vidéo par IA générative permettant aux clients de créer des vidéos réalistes à partir de suggestions textuelles, a multiplié par 30 le débit de l’entraînement de ses modèles de machine learning.

Harri, fournisseur de technologies RH pour le secteur de l’hôtellerie, a accéléré de 90 % sa mise à l’échelle en réponse aux pics de demande et a réduit ses coûts de calcul de 30 % en migrant vers les processeurs AWS Graviton.

Ada Support, une entreprise spécialisée dans l’automatisation du service client grâce à l’intelligence artificielle, a réduit ses coûts informatiques de 15 % tout en augmentant son efficacité informatique de 30 %.

Snorkel AI, qui permet aux entreprises de créer et d’adapter des modèles de base et des modèles linguistiques à grande échelle, a réalisé plus de 40 % d’économies en mettant en œuvre des mécanismes de mise à l’échelle intelligents pour ses ressources GPU.