Vue d’ensemble des applications d’IA des partenaires Amazon SageMaker
Avec les applications d’IA des partenaires Amazon SageMaker, les utilisateurs ont accès à des applications de développement d’IA générative et de machine learning (ML) conçues, publiées et distribuées par les principaux fournisseurs d’applications du secteur. Les applications d’IA des partenaires sont certifiées pour s’exécuter sur SageMaker AI. Avec les applications d’IA des partenaires, les utilisateurs peuvent accélérer et améliorer la manière dont ils génèrent des solutions basées sur des modèles de fondation (FM) et des modèles classiques ML sans compromettre la sécurité de leurs données sensibles. Les données restent entièrement conformes à leur configuration de sécurité fiable et ne sont jamais partagées avec un tiers.
Comment ça marche
Les applications d’IA des partenaires sont des piles d’applications complètes qui incluent un cluster Amazon Elastic Kubernetes Service et une gamme de services associés, qui peuvent inclure Application Load Balancer, Amazon Relational Database Service, des compartiments Amazon Simple Storage Service, des files d’attente Amazon Simple Queue Service et des caches Redis.
Ces applications de service peuvent être partagées entre tous les utilisateurs d’un domaine SageMaker AI et sont provisionnées par un administrateur. Après le provisionnement de l’application en souscrivant un abonnement via le AWS Marketplace, l’administrateur peut autoriser les utilisateurs du domaine SageMaker AI à accéder à l’application d’IA des partenaires directement depuis Amazon SageMaker Studio, Amazon SageMaker Unified Studio (préversion) ou en utilisant une URL pré-signée. Pour en savoir plus sur le lancement d’une application depuis Studio, consultez Lancement d’Amazon SageMaker Studio.
Les applications d’IA des partenaires offrent les avantages suivants aux administrateurs et aux utilisateurs.
-
Les administrateurs utilisent la console SageMaker AI pour parcourir, découvrir, sélectionner et provisionner les applications d’IA des partenaires destinées à leurs équipes de science des données et ML. Une fois les applications d’IA des partenaires déployées, SageMaker AI les exécute sur les Comptes AWS gérés par le service. Cela réduit considérablement les frais opérationnels associés à la génération et à l’exploitation de ces applications, et contribue à la sécurité et à la confidentialité des données client.
-
Les scientifiques des données et les développeurs ML peuvent accéder aux applications d’IA des partenaires depuis leur environnement de développement ML dans Amazon SageMaker Studio ou Amazon SageMaker Unified Studio (version préliminaire). Ils peuvent utiliser les applications d’IA des partenaires pour analyser leurs données, leurs expériences et leurs modèles créés sur SageMaker AI. Cela permet de minimiser le changement de contexte et d’accélérer la génération de modèles de fondation et la mise sur le marché de nouvelles fonctionnalités d’IA générative.
Intégration à Services AWS
Les applications d’IA des partenaires utilisent la configuration Gestion des identités et des accès AWS (IAM) existante pour l’autorisation et l’authentification. Par conséquent, les utilisateurs n’ont pas besoin de fournir des informations d’identification distinctes pour accéder à chaque application d’IA des partenaires depuis Amazon SageMaker Studio. Pour plus d’informations sur l’autorisation et l’authentification avec les applications d’IA des partenaires, consultez Configuration des applications d’IA des partenaires.
Les applications d’IA des partenaires s’intègrent également avec Amazon CloudWatch pour fournir une surveillance et une gestion opérationnelles. Les clients peuvent également parcourir les applications d’IA des partenaires et obtenir des informations les concernant, telles que les fonctionnalités, l’expérience client et la tarification, à partir de la AWS Management Console. Pour en savoir plus sur Amazon CloudWatch, consultez Fonctionnement d’Amazon CloudWatch.
Types pris en charge
Les applications d’IA des partenaires prennent en charge les types suivants :
-
Comet
-
Deepchecks
-
Fiddler
-
Lakera Guard
Lorsque l’administrateur lance une application d’IA des partenaires, il doit sélectionner la configuration du cluster d’instances avec lequel l’application d’IA des partenaires est lancée. Cette configuration est connue sous le nom de niveau de l’application d’IA des partenaires. Le niveau d’une application d’IA des partenaires peut avoir l’une des valeurs suivantes :
-
small -
medium -
large
Les sections suivantes fournissent des informations sur chacun des types d’applications d’IA des partenaires, ainsi que des détails sur les valeurs de niveau de l’application d’IA des partenaires.
Comet fournit une plateforme d’évaluation des modèles de bout en bout pour les développeurs IA, avec des évaluations de LLM, un suivi des expériences et la surveillance en production.
Nous recommandons les niveaux suivants des applications d’IA des partenaires en fonction de la charge de travail :
-
small: recommandé pour un maximum de 5 utilisateurs et 20 tâches en cours d’exécution. -
medium: recommandé pour un maximum de 50 utilisateurs et 100 tâches en cours d’exécution. -
large: recommandé pour un maximum de 500 utilisateurs et plus de 100 tâches en cours d’exécution.
Note
SageMaker AI ne prend pas en charge l’affichage de l’interface utilisateur de Comet dans le cadre de la sortie d’un bloc-notes Jupyter.
Les développeurs d’applications d’IA et les parties prenantes peuvent utiliser Deepchecks pour valider de façon continue les applications basées sur un LLM, y compris les caractéristiques, les métriques de performances et les pièges potentiels tout au long du cycle de vie, du pré-déploiement et de l’expérimentation interne jusqu’à la production.
Nous recommandons les niveaux suivants des applications d’IA des partenaires en fonction de la vitesse souhaitée pour la charge de travail :
-
small: traite 200 jetons par seconde. -
medium: traite 500 jetons par seconde. -
large: traite 1 300 jetons par seconde.
La plateforme d’observabilité d’IA Fiddler facilite la validation, la surveillance et l’analyse des modèles ML en production, notamment les modèles tabulaires, de deep learning, de vision par ordinateur et de traitement du langage naturel.
Nous recommandons les niveaux suivants des applications d’IA des partenaires en fonction de la vitesse souhaitée pour la charge de travail :
-
small: le traitement de 10 millions d’événements répartis sur 5 modèles, 100 fonctionnalités et 20 itérations prend environ 53 minutes. -
medium: le traitement de 10 millions d’événements répartis sur 5 modèles, 100 fonctionnalités et 20 itérations prend environ 23 minutes. -
large: le traitement de 10 millions d’événements répartis sur 5 modèles, 100 fonctionnalités et 100 itérations prend environ 27 minutes.
Lakera Guard est un pare-feu d’applications d’IA à faible latence destiné à sécuriser les applications d’IA générative contre les menaces spécifiques à l’IA générative.
Nous recommandons les niveaux suivants des applications d’IA des partenaires en fonction de la charge de travail :
-
small: recommandé pour un maximum de 20 RPA (robotisation des processus). -
medium: recommandé pour un maximum de 100 RPA. -
large: recommandé pour un maximum de 200 RPA.
