Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Utilisez la solution
Accès à l'interface utilisateur
Pendant le processus de déploiement de la pile (pour le tableau de bord de déploiement et les cas d'utilisation), un e-mail est envoyé à l'adresse e-mail configurée. L'e-mail contient les informations d'identification temporaires de l'utilisateur qu'il peut utiliser pour s'inscrire et accéder à l'interface Web.
Note
L' DevOps utilisateur ayant accès à l'AWS Management Console doit fournir à l'administrateur l' CloudFront URL de l'interface utilisateur du tableau de bord de déploiement lorsque la pile est terminée.
Pour les cas d'utilisation, l'utilisateur administrateur ayant accès à l'interface utilisateur du tableau de bord de déploiement doit fournir à l'utilisateur professionnel l' CloudFront URL de l'interface utilisateur du cas d'utilisation une fois le déploiement terminé.
Une fois connecté, l'utilisateur peut interagir avec la solution UIs, soit le tableau de bord de déploiement dans le cas des administrateurs, soit le cas d'utilisation dans le cas des utilisateurs professionnels.
Comment mettre à jour un déploiement
Sur la page d'accueil du tableau de bord de déploiement (ou sur la page de détails d'un déploiement), vous pouvez modifier la configuration utilisée par un déploiement. Vous ne pouvez modifier que les déploiements dont le statut est CREATE_COMPLETE ou UPDATE_COMPLETE.
À l'exception du nom du cas d'utilisation, toutes les autres options sont modifiables pour un déploiement. Modifiez simplement les valeurs que vous souhaitez modifier et redéployer.
En fonction de l'étendue des modifications apportées, le délai de redéploiement varie. Cela peut prendre quelques secondes si des paramètres simples ont changé (par exemple, les paramètres du modèle), ou plus de 30 minutes si des options liées à une infrastructure plus importante ont changé (par exemple, demande de création de l'index Amazon Kendra pour le cas d'utilisation du texte RAG).
Une fois la modification terminée avec succès, le statut de l'application indiquera un statut UPDATE_COMPLETE. À ce stade, vous pouvez accéder à l'interface utilisateur déployée via l' CloudFront URL et interagir avec le déploiement modifié.
Note
Il peut être plus facile d'exécuter plusieurs déploiements side-by-side si vous souhaitez comparer différents paramètres ou LLMs. Utilisez la fonction Clone pour utiliser rapidement une configuration existante afin de lancer un nouveau déploiement.
Comment cloner un déploiement
Sur la page d'accueil du tableau de bord des déploiements (ou sur la page de détails d'un déploiement), vous pouvez cloner la configuration utilisée par un déploiement. Le clonage d'un déploiement lance l'assistant de déploiement d'un nouveau cas d'utilisation, mais la plupart des champs sont préremplis avec les mêmes valeurs.
Il s'agit d'une opération pratique qui vous permet de dupliquer rapidement des déploiements dont les paramètres ont été modifiés, de relancer un déploiement supprimé ou d'en comparer plusieurs LLMs dans le cadre de déploiements par ailleurs identiques.
Comment supprimer un déploiement
Sur la page d'accueil du tableau de bord des déploiements (ou sur la page de détails d'un déploiement), vous pouvez le supprimer une fois que vous n'en avez plus besoin. La suppression d'un déploiement entraîne une opération de suppression de CloudFormation pile et déprovisionne les ressources nécessaires au déploiement.
Par défaut, un déploiement supprimé reste sur le tableau de bord pour activer la fonctionnalité de clonage. Pour supprimer complètement un déploiement du tableau de bord afin qu'il cesse d'être suivi dans l'interface utilisateur, choisissez Supprimer définitivement dans la fenêtre de confirmation de suppression.
Important
Certaines ressources sont laissées pour compte lors de la suppression de la pile et doivent être supprimées manuellement. Reportez-vous à la section Désinstallation manuelle pour plus de détails sur les ressources conservées et sur la manière de les nettoyer.
Utiliser Amazon SageMaker AI en tant que fournisseur de LLM
Depuis la version v1.3.0, Amazon SageMaker AI
Important
La solution ne gère pas le cycle de vie de vos terminaux d' SageMaker IA. Vous êtes responsable de la suppression des points de terminaison SageMaker AI une fois qu'ils ne sont plus nécessaires pour ne plus entraîner de frais supplémentaires.
Création d'un point de terminaison SageMaker AI
Vous pouvez utiliser Amazon SageMaker AI JumpStart
Vous pouvez également utiliser un point de terminaison d' SageMaker IA basé sur la génération de texte et le déployer à l'aide du service d' SageMaker IA de base. Reportez-vous à la JumpStart documentation de l'SageMaker IA pour obtenir un guide étape par étape sur le déploiement d'un modèle à des fins d'inférence.
Note
models/LLMs Les fondations sont généralement assez volumineuses et peuvent souvent nécessiter l'utilisation de grandes instances de calcul accéléré. La plupart de ces instances de plus grande taille ne sont peut-être pas disponibles par défaut dans votre compte AWS. Reportez-vous aux quotas d'SageMaker IA par défaut et assurez-vous de demander une augmentation de quota avant le déploiement afin d'éviter les échecs de déploiement courants.
Utiliser un point de terminaison SageMaker AI pour créer un déploiement de cas d'utilisation textuel
Pour déployer un nouveau cas d'utilisation du texte à l'aide d'un point de terminaison SageMaker AI à des fins d'inférence :
-
Créez un nouveau cas d'utilisation via l'assistant du tableau de bord de déploiement et complétez les formulaires jusqu'à ce que vous atteigniez la page de sélection des modèles.
-
Sur la page Modèles, sélectionnez SageMaker AI comme fournisseur de modèles. Cela générera un formulaire personnalisé nécessitant la saisie de trois éléments clés par l'utilisateur :
-
Le nom du point de terminaison SageMaker AI que vous souhaitez utiliser. DevOps les utilisateurs peuvent l'obtenir depuis la console AWS. Notez que le point de terminaison doit se trouver dans le même compte et dans la même région que ceux dans lesquels la solution est déployée.
Emplacement du nom du point de terminaison sur la console AWS
-
Schéma de la charge utile d'entrée attendue par le point de terminaison. Pour prendre en charge le plus grand nombre de points de terminaison, les utilisateurs administrateurs doivent indiquer à la solution comment leur point de terminaison prévoit que l'entrée sera formatée. Dans l'assistant de sélection du modèle, fournissez le schéma JSON pour la solution à envoyer au point de terminaison. Vous pouvez ajouter des espaces réservés pour injecter des valeurs statiques et dynamiques dans la charge utile de la demande. Les options disponibles sont les suivantes :
-
Espaces réservés obligatoires : \ < \ <prompt \ > \ > seront remplacés dynamiquement par l'entrée complète (par exemple, historique, contexte et saisie utilisateur conformément au modèle d'invite) à envoyer au point de terminaison SageMaker AI lors de l'exécution.
-
Des espaces réservés facultatifs : \ < \ <temperature \ > \ > *, \ * ainsi que tous les paramètres définis dans les paramètres avancés du modèle peuvent être fournis au point de terminaison. Toute chaîne contenant un espace réservé entre \ < \ < and \ > \ > (par exemple, \ < \ <max_new_tokens \ > \ >) sera remplacée par la valeur du paramètre de modèle avancé du même nom.
Exemple de schéma de saisie : définition des champs obligatoires, de l'invite et de la température, ainsi qu'un paramètre avancé personnalisé, max_new_tokens. Le chemin de sortie doit être fourni sous forme de JSONPath chaîne valide
-
-
-
Emplacement de la réponse sous forme de chaîne LLMs générée dans la charge utile de sortie. Cela doit être fourni sous forme d' JSONPath expression pour indiquer où la réponse textuelle finale présentée aux utilisateurs devrait être accessible depuis l'objet de retour et la réponse du point de terminaison.
Exemple d'ajout de paramètres de modèle avancés à utiliser dans le schéma d'entrée SageMaker AI (voir Figure 2 pour les options/paramètres précédents)
Note
SageMaker L'IA prend désormais en charge l'hébergement de plusieurs modèles derrière le même point de terminaison, et il s'agit de la configuration par défaut lors du déploiement d'un point de terminaison dans la version actuelle d' SageMaker AI Studio (et non dans Studio Classic).
Si votre point de terminaison est configuré de cette manière, vous devrez ajouter InferenceComponentNameà la section des paramètres avancés du modèle une valeur correspondant au nom du modèle que vous souhaitez utiliser.
