Buat titik akhir multi-kontainer (Boto 3) - Amazon SageMaker AI

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Buat titik akhir multi-kontainer (Boto 3)

Buat titik akhir Multi-kontainer dengan memanggil CreateModel, CreateEndpointConfig, dan CreateEndpoint APIs seperti yang Anda lakukan untuk membuat titik akhir lainnya. Anda dapat menjalankan kontainer ini secara berurutan sebagai pipeline inferensi, atau menjalankan setiap kontainer individu dengan menggunakan pemanggilan langsung. Titik akhir multi-kontainer memiliki persyaratan berikut saat Anda menelepon: create_model

  • Gunakan Containers parameter alih-alihPrimaryContainer, dan sertakan lebih dari satu wadah dalam Containers parameter.

  • ContainerHostnameParameter diperlukan untuk setiap kontainer di titik akhir multi-kontainer dengan pemanggilan langsung.

  • Atur Mode parameter InferenceExecutionConfig bidang Direct untuk pemanggilan langsung dari setiap kontainer, atau Serial gunakan kontainer sebagai pipa inferensi. Mode default adalahSerial.

catatan

Saat ini ada batas hingga 15 kontainer yang didukung pada titik akhir multi-kontainer.

Contoh berikut membuat model multi-container untuk pemanggilan langsung.

  1. Buat elemen wadah dan InferenceExecutionConfig dengan pemanggilan langsung.

    container1 = {
                 'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage1:mytag',
                 'ContainerHostname': 'firstContainer'
             }

container2 = {
                 'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage2:mytag',
                 'ContainerHostname': 'secondContainer'
             }
inferenceExecutionConfig = {'Mode': 'Direct'}

  2. Buat model dengan elemen wadah dan atur InferenceExecutionConfig bidang.

    import boto3
sm_client = boto3.Session().client('sagemaker')

response = sm_client.create_model(
               ModelName = 'my-direct-mode-model-name',
               InferenceExecutionConfig = inferenceExecutionConfig,
               ExecutionRoleArn = role,
               Containers = [container1, container2]
           )

Untuk membuat endoint, Anda kemudian akan memanggil create_endpoint_config dan create_endpoint seperti yang Anda lakukan untuk membuat titik akhir lainnya.