View a markdown version of this page

Pour créer un point de terminaison multi-conteneurs (Boto 3) - Amazon SageMaker AI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Pour créer un point de terminaison multi-conteneurs (Boto 3)

Créez un Multi-container point de terminaison en appelant CreateModelCreateEndpointConfig, et des CreateEndpointAPI comme vous le feriez pour créer n'importe quel autre point de terminaison. Vous pouvez exécuter ces conteneurs de manière séquentielle sous forme de pipeline d'inférence, ou exécuter chaque conteneur individuel en utilisant un appel direct. Multi-container les points de terminaison doivent satisfaire aux exigences suivantes lorsque vous appelez create_model :

  • Utilisez le paramètre Containers au lieu de PrimaryContainer, et incluez plus d’un conteneur dans le paramètre Containers.

  • Le paramètre ContainerHostname est requis pour chaque conteneur d’un point de terminaison multi-conteneurs avec invocation directe.

  • Définissez le paramètre Mode du champ InferenceExecutionConfig sur Direct pour invoquer directement chaque conteneur, ou sur Serial pour utiliser les conteneurs en tant que pipeline d’inférence. Le mode par défaut est Serial.

Note

Actuellement, un point de terminaison multi-conteneurs peut prendre en charge un maximum de 15 conteneurs.

L’exemple suivant crée un modèle multi-conteneurs pour l’invocation directe.

  1. Créez des éléments de conteneur et InferenceExecutionConfig avec appel direct.

    container1 = {
                 'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage1:mytag',
                 'ContainerHostname': 'firstContainer'
             }

container2 = {
                 'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage2:mytag',
                 'ContainerHostname': 'secondContainer'
             }
inferenceExecutionConfig = {'Mode': 'Direct'}

  2. Créez le modèle avec les éléments de conteneur et définissez le champ InferenceExecutionConfig.

    import boto3
sm_client = boto3.Session().client('sagemaker')

response = sm_client.create_model(
               ModelName = 'my-direct-mode-model-name',
               InferenceExecutionConfig = inferenceExecutionConfig,
               ExecutionRoleArn = role,
               Containers = [container1, container2]
           )

Pour créer un point de terminaison, appelez create_endpoint_config et create_endpoint comme vous le feriez pour créer d’autres points de terminaison.