Présentation de l’intelligence artificielle (IA) et du Machine Learning (ML) sur Amazon EKS

Contrôle complet du cluster pour affiner les coûts et les configurations sans abstractions cachées

Latence inférieure à la seconde pour les charges de travail d’inférence en temps réel en production

Personnalisations avancées telles que le multi-instance GPUs, les stratégies multi-cloud et le réglage au niveau du système d'exploitation

Possibilité de centraliser les charges de travail à l'aide d'EKS en tant qu'orchestrateur unifié entre les pipelines AI/ML

Inférence en temps réel (en ligne) : EKS fournit des prévisions immédiates sur les données entrantes, telles que la détection des fraudes, avec une latence inférieure à une seconde à l'aide d'outils tels que TorchServeTriton Inference Server et sur les instances KServeAmazon EC2 Inf1 et Inf2. Ces charges de travail bénéficient d’une mise à l’échelle dynamique avec Karpenter et KEDA, tout en tirant parti d’Amazon EFS pour le découpage des modèles entre les pods. Amazon ECR Pull Through Cache (PTC) accélère les mises à jour des modèles, et les volumes de données Bottlerocket avec les volumes optimisés Amazon EBS garantissent un accès rapide aux données.

Formation générale sur les modèles : Les organisations utilisent EKS pour former des modèles complexes sur de grands ensembles de données sur de longues périodes à l'aide de Kubeflow Training Operator, Ray Serve et Torch Distributed Elastic sur des instances Amazon EC2 P4d et Amazon EC2 Trn1. Ces charges de travail sont prises en charge par la planification par lots avec des outils tels que Volcano, Yunikorn et Kueue. Amazon EFS permet de partager les points de contrôle des modèles, tandis qu'Amazon S3 gère les politiques relatives au cycle de vie import/export des modèles pour la gestion des versions.

Fénération à enrichissement contextuel (RAG) : EKS gère les chatbots de support client et les applications similaires en intégrant des processus de récupération et de génération. Ces charges de travail utilisent souvent des outils tels qu'Argo Workflows et Kubeflow pour l'orchestration, des bases de données vectorielles comme Pinecone, Weaviate ou Amazon OpenSearch, et exposent les applications aux utilisateurs via l'Application Load Balancer Controller (LBC). NVIDIA NIM optimise l’utilisation du GPU, tandis que Prometheus et Grafana surveillent l’utilisation des ressources.

Déploiement de modèles d'IA générative : les entreprises déploient des services de création de contenu en temps réel sur EKS, tels que la génération de texte ou d'images, à l'aide de Ray Serve, vLLM et Triton Inference Server sur Amazon EC2 G5 et les accélérateurs Inferentia. Ces déploiements optimisent les performances et l'utilisation de la mémoire pour les modèles à grande échelle. JupyterHubpermet le développement itératif, Gradius fournit des interfaces Web simples et le pilote S3 Mountpoint CSI permet de monter des compartiments S3 en tant que systèmes de fichiers pour accéder à des fichiers de modèles volumineux.

Inférence par lots (hors ligne) : les organisations traitent efficacement de grands jeux de données grâce à des tâches planifiées avec AWS Batch ou Volcano. Ces charges de travail utilisent souvent des instances Inf1 et Inf2 pour les AWS puces Inferentia, des EC2 instances Amazon EC2 G4dn pour NVIDIA T4 ou des instances de processeur c5 et c6i GPUs, maximisant ainsi l'utilisation des ressources pendant les heures creuses pour les tâches d'analyse. Le SDK AWS Neuron et les pilotes GPU NVIDIA optimisent les performances, tout en MIG/TS permettant le partage du GPU. Les solutions de stockage incluent Amazon S3, Amazon EFS et FSx pour Lustre, avec des pilotes CSI pour différentes classes de stockage. La gestion des modèles s’appuie sur des outils tels que Kubeflow Pipelines, Argo Workflows et Ray Cluster, tandis que la surveillance est assurée par Prometheus, Grafana et des outils de surveillance des modèles personnalisés.

Unitary traite quotidiennement 26 millions de vidéos à l’aide de l’IA pour la modération de contenu, ce qui nécessite une inférence à haut débit et à faible latence. L’entreprise a réduit de 80 % le temps de démarrage des conteneurs, garantissant ainsi une réponse rapide aux événements de mise à l’échelle lorsque le trafic fluctue.

Miro, la plateforme de collaboration visuelle qui compte 70 millions d’utilisateurs dans le monde, a annoncé une réduction de 80 % de ses coûts informatiques par rapport à ses anciens clusters Kubernetes autogérés.

Synthesia, qui propose un service de création vidéo par IA générative permettant aux clients de créer des vidéos réalistes à partir de suggestions textuelles, a multiplié par 30 le débit de l’entraînement de ses modèles de machine learning.

Harri, fournisseur de technologies RH pour le secteur de l’hôtellerie, a accéléré de 90 % sa mise à l’échelle en réponse aux pics de demande et a réduit ses coûts de calcul de 30 % en migrant vers les processeurs AWS Graviton.

Ada Support, une entreprise spécialisée dans l’automatisation du service client grâce à l’intelligence artificielle, a réduit ses coûts informatiques de 15 % tout en augmentant son efficacité informatique de 30 %.

Snorkel AI, qui permet aux entreprises de créer et d’adapter des modèles de base et des modèles linguistiques à grande échelle, a réalisé plus de 40 % d’économies en mettant en œuvre des mécanismes de mise à l’échelle intelligents pour ses ressources GPU.