Criar um endpoint de vários contêineres (Boto 3) - SageMaker Inteligência Artificial da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Criar um endpoint de vários contêineres (Boto 3)

Crie um endpoint de vários contêineres chamando CreateModel, CreateEndpointConfig, e CreateEndpoint APIs como você faria para criar qualquer outro endpoint. Você pode executar esses contêineres sequencialmente como um pipeline de inferência ou executar cada contêiner individual usando invocação direta. Os endpoints de vários contêineres têm os seguintes requisitos quando você chama create_model:

  • Use o parâmetro Containers em vez de PrimaryContainer e inclua mais de um contêiner no parâmetro Containers.

  • O parâmetro ContainerHostname é necessário para cada contêiner em um endpoint de vários contêineres com invocação direta.

  • Defina o parâmetro Mode do campo InferenceExecutionConfig para Direct para invocação direta de cada contêiner ou Serial para usar contêineres como um pipeline de inferência. O modo padrão é Serial.

nota

Atualmente, há um limite de até 15 contêineres compatíveis em um endpoint de vários contêineres.

O exemplo a seguir cria um modelo de vários contêineres para invocação direta.

  1. Crie elementos de contêiner e InferenceExecutionConfig com invocação direta.

    container1 = {
                 'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage1:mytag',
                 'ContainerHostname': 'firstContainer'
             }

container2 = {
                 'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage2:mytag',
                 'ContainerHostname': 'secondContainer'
             }
inferenceExecutionConfig = {'Mode': 'Direct'}

  2. Crie o modelo com os elementos do contêiner e defina o campo InferenceExecutionConfig.

    import boto3
sm_client = boto3.Session().client('sagemaker')

response = sm_client.create_model(
               ModelName = 'my-direct-mode-model-name',
               InferenceExecutionConfig = inferenceExecutionConfig,
               ExecutionRoleArn = role,
               Containers = [container1, container2]
           )

Para criar um endpoint, você chamaria create_endpoint_config e create_endpoint da mesma forma que faria para criar qualquer outro endpoint.