Erstellen eines Multicontainer-Endpunkts (Boto 3) - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erstellen eines Multicontainer-Endpunkts (Boto 3)

Erstellen Sie einen Endpunkt mit mehreren Containern, indem Sie CreateModel,, aufrufen CreateEndpointConfig, und CreateEndpoint APIs zwar so, als würden Sie alle anderen Endpunkte erstellen. Sie können diese Container sequentiell als Inferenzpipeline ausführen oder jeden einzelnen Container mithilfe eines direkten Aufrufs ausführen. Multi-Container Endpunkte haben die folgenden Anforderungen, wenn Sie create_model aufrufen:

  • Verwenden Sie den Containers Parameter anstelle von PrimaryContainer und schließen Sie mehr als einen Container in den Containers Parameter ein.

  • Der ContainerHostname Parameter ist für jeden Container in einem Endpunkt mit mehreren Containern und direktem Aufruf erforderlich.

  • Setzen Sie den Mode Parameter des InferenceExecutionConfig Felds auf Direct für den direkten Aufruf jedes Containers oder Serial auf die Verwendung von Containern als Inferenz-Pipeline. Der Standardmodus ist Serial.

Anmerkung

Derzeit gibt es ein Limit von bis zu 15 Containern, die auf einem Endpunkt mit mehreren Containern unterstützt werden.

Im folgenden Beispiel wird ein Modell mit mehreren Containern für den direkten Aufruf erstellt.

  1. Erstellen Sie Containerelemente und InferenceExecutionConfig mit direktem Aufruf.

    container1 = {
                 'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage1:mytag',
                 'ContainerHostname': 'firstContainer'
             }

container2 = {
                 'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage2:mytag',
                 'ContainerHostname': 'secondContainer'
             }
inferenceExecutionConfig = {'Mode': 'Direct'}

  2. Erstellen Sie das Modell mit den Containerelementen und legen Sie das InferenceExecutionConfig Feld fest.

    import boto3
sm_client = boto3.Session().client('sagemaker')

response = sm_client.create_model(
               ModelName = 'my-direct-mode-model-name',
               InferenceExecutionConfig = inferenceExecutionConfig,
               ExecutionRoleArn = role,
               Containers = [container1, container2]
           )

Um einen Endpunkt zu erstellen, würden Sie dann create_endpoint_config und create_endpoint aufrufen, als würden Sie jeden anderen Endpunkt erstellen.