Configuration de l’autoscaling d’un modèle avec la console - Amazon SageMaker AI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configuration de l’autoscaling d’un modèle avec la console

Pour configurer l’autoscaling d’un modèle (console)

  1. Ouvrez la console Amazon SageMaker AI à l'adresse https://console.aws.amazon.com/sagemaker/.

  2. Dans le volet de navigation, choisissez Inférence, puis Points de terminaison.

  3. Choisissez votre point de terminaison, puis pour les Paramètres d’exécution du point de terminaison, choisissez la variante.

  4. Choisissez Configurer Auto Scaling.

  5. Sur la page Configurer la mise à l’échelle automatique d’une variante, pour Mise à l’échelle automatique d’une variante, procédez comme suit :

    1. Pour Nombre minimal d’instances, saisissez le nombre minimal d’instances que la stratégie de mise à l’échelle doit gérer. Au moins 1 instance est requise.

    2. Pour Nombre maximal d’instances, saisissez le nombre maximal d’instances que la stratégie de mise à l’échelle doit gérer.

  6. Pour Stratégie de mise à l’échelle intégrée, procédez comme suit :

    1. Pour la Métrique cible, SageMakerVariantInvocationsPerInstance est automatiquement sélectionné pour la métrique et ne peut pas être modifié.

    2. Pour la Valeur cible, saisissez le nombre moyen d’invocations par instance et par minute pour le modèle. Pour déterminer cette valeur, suivez les instructions proposées dans Test de charge.

    3. (Facultatif) Pour Réduire le temps de stabilisation (secondes) et Augmenter le temps de stabilisation (secondes), entrez le nombre de secondes pour chaque temps de stabilisation.

    4. (Facultatif) Sélectionnez Désactiver la diminution en charge si vous ne souhaitez pas que l’autoscaling résilie les instances lorsque le trafic diminue.

  7. Choisissez Enregistrer.

Cette procédure enregistre un modèle en tant que cible évolutive avec Application Auto Scaling. Lorsque vous enregistrez un modèle, Application Auto Scaling effectue les contrôles de validation pour garantir que :

  • Le modèle existe

  • Les autorisations sont suffisantes

  • Vous n’enregistrez pas une variante avec une instance qui est une instance à performances extensibles comme T2

    Note

    SageMaker L'IA ne prend pas en charge la mise à l'échelle automatique pour les instances instables telles que T2, car elles permettent déjà d'augmenter la capacité dans le cadre de charges de travail accrues. Pour plus d'informations sur les instances de performance burstable, consultez les types d' EC2 instances Amazon.