Per creare un endpoint multi-container (Boto 3) - Amazon SageMaker AI

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Per creare un endpoint multi-container (Boto 3)

Crea un endpoint multi-contenitore chiamando CreateModelCreateEndpointConfig, e CreateEndpoint APIs come faresti per creare qualsiasi altro endpoint. Puoi eseguire questi container in sequenza come pipeline di inferenza o eseguire ogni singolo container utilizzando la chiamata diretta. Gli endpoint multi-container presentano i seguenti requisiti per le chiamate create_model:

  • Utilizza il parametro Containers anziché PrimaryContainere includi più di un container nel parametro Containers.

  • Il parametro ContainerHostname è obbligatorio per ogni container in un endpoint multi-container con invocazione diretta.

  • Imposta il parametro Mode del campo InferenceExecutionConfig per l'invocazione diretta Direct di ogni container o Serial per utilizzare i come pipeline di inferenza. La modalità predefinita è Serial.

Nota

Attualmente esiste un limite massimo di 15 container supportati su un endpoint multi-container.

L'esempio seguente crea un modello multi-container per l'invocazione diretta.

  1. Crea elementi container e InferenceExecutionConfig con invocazione diretta.

    container1 = {
                 'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage1:mytag',
                 'ContainerHostname': 'firstContainer'
             }

container2 = {
                 'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage2:mytag',
                 'ContainerHostname': 'secondContainer'
             }
inferenceExecutionConfig = {'Mode': 'Direct'}

  2. Crea il modello con gli elementi del container e imposta il campo InferenceExecutionConfig.

    import boto3
sm_client = boto3.Session().client('sagemaker')

response = sm_client.create_model(
               ModelName = 'my-direct-mode-model-name',
               InferenceExecutionConfig = inferenceExecutionConfig,
               ExecutionRoleArn = role,
               Containers = [container1, container2]
           )

Per creare un endpoint, devi quindi chiamare create_endpoint_config e create_endpoint come faresti per creare qualsiasi altro endpoint.