Utilizzo di un registro Docker privato per container di inferenza in tempo reale

Per utilizzare un'immagine archiviata nel registro Docker privato per il container di inferenza

1. Crea l'oggetto di configurazione dell'immagine e specifica un valore Vpc per il campo RepositoryAccessMode.

   image_config = {
                       'RepositoryAccessMode': 'Vpc'
                  }

2. Se il registro Docker privato richiede l'autenticazione, aggiungi un oggetto RepositoryAuthConfig all'oggetto di configurazione dell'immagine. Per il campo RepositoryCredentialsProviderArn dell’oggetto RepositoryAuthConfig, specifica il nome della risorsa Amazon (ARN) di una funzione AWS Lambda che fornisce le credenziali che consentono a SageMaker AI di autenticarsi nel registro Docker privato. Per informazioni su come creare la funzione Lambda per fornire l'autenticazione, consulta Consentire a SageMaker AI di autenticarsi su un registro Docker privato.

   image_config = {
                       'RepositoryAccessMode': 'Vpc',
                       'RepositoryAuthConfig': {
                          'RepositoryCredentialsProviderArn': 'arn:aws:lambda:Region:Acct:function:FunctionName'
                        }
                  }

3. Crea l'oggetto container principale da trasferire a create_model, utilizzando l'oggetto di configurazione dell'immagine creato nella fase precedente.

   Fornisci la tua immagine in formato digest. Se fornisci l’immagine utilizzando il tag :latest, c’è il rischio che SageMaker AI recuperi una versione dell’immagine più recente di quella prevista. L’utilizzo del formato digest assicura che SageMaker AI recuperi la versione dell’immagine desiderata.

   primary_container = {
       'ContainerHostname': 'ModelContainer',
       'Image': 'myteam.myorg.com/docker-local/my-inference-image:<IMAGE-TAG>',
       'ImageConfig': image_config
   }

4. Specifica il nome del modello e il ruolo di esecuzione che desideri inoltrare a create_model.

   model_name = 'vpc-model'
   execution_role_arn = 'arn:aws:iam::123456789012:role/SageMakerExecutionRole'

5. Specifica uno o più gruppi di sicurezza e sottoreti per la configurazione VPC per il tuo modello. Il registro Docker privato deve consentire il traffico in ingresso dai gruppi di sicurezza specificati. Le sottoreti specificate devono trovarsi nello stesso VPC del registro Docker privato.

   vpc_config = {
       'SecurityGroupIds': ['sg-0123456789abcdef0'],
       'Subnets': ['subnet-0123456789abcdef0','subnet-0123456789abcdef1']
   }

6. Ottieni un client SageMaker AI Boto3.

   import boto3
   sm = boto3.client('sagemaker')

7. Crea il modello richiamando create_model, utilizzando i valori specificati nelle fasi precedenti per i parametri PrimaryContainer e VpcConfig.

   try:
       resp = sm.create_model(
           ModelName=model_name,
           PrimaryContainer=primary_container,
           ExecutionRoleArn=execution_role_arn,
           VpcConfig=vpc_config,
       )
   except Exception as e:
       print(f'error calling CreateModel operation: {e}')
   else:
       print(resp)

8. Infine, richiama create_endpoint_config e create_endpoint per creare l'endpoint di hosting, utilizzando il modello creato nella fase precedente.

   endpoint_config_name = 'my-endpoint-config'
   sm.create_endpoint_config(
       EndpointConfigName=endpoint_config_name,
       ProductionVariants=[
           {
               'VariantName': 'MyVariant',
               'ModelName': model_name,
               'InitialInstanceCount': 1,
               'InstanceType': 'ml.t2.medium'
           },
       ],
   )
   
   endpoint_name = 'my-endpoint'
   sm.create_endpoint(
       EndpointName=endpoint_name,
       EndpointConfigName=endpoint_config_name,
   )
   
   sm.describe_endpoint(EndpointName=endpoint_name)