リアルタイム推論コンテナにプライベート Docker レジストリを使用する

プライベート Docker レジストリに保存されているイメージを推論コンテナに使用するには

1. イメージ設定オブジェクトを作成し、RepositoryAccessMode フィールドに Vpc の値を指定します。

   image_config = {
                       'RepositoryAccessMode': 'Vpc'
                  }

2. プライベートの Docker レジストリに認証が必要な場合は、RepositoryAuthConfig オブジェクトを、イメージ設定オブジェクトに追加します。RepositoryAuthConfig オブジェクトの RepositoryCredentialsProviderArn フィールドに、SageMaker AI がプライベートの Docker レジストリへの認証を許可する認証情報を提供する AWS Lambda 関数の Amazon リソースネーム (ARN) を指定します。認証を提供するために Lambda 関数を作成する方法については、「SageMaker AI がプライベート Docker レジストリに対して認証できるようにする」を参照してください。

   image_config = {
                       'RepositoryAccessMode': 'Vpc',
                       'RepositoryAuthConfig': {
                          'RepositoryCredentialsProviderArn': 'arn:aws:lambda:Region:Acct:function:FunctionName'
                        }
                  }

3. 前のステップで作成したイメージ設定オブジェクトを使用し、create_model に渡すプライマリコンテナオブジェクトを作成します。

   ダイジェストフォームでイメージを提供します。:latest タグを使用してイメージを提供する場合、SageMaker AI が意図したよりも新しいバージョンのイメージをプルするリスクがあります。ダイジェストフォームを使用すると、意図したイメージバージョンを確実に SageMaker AI がプルするようになります。

   primary_container = {
       'ContainerHostname': 'ModelContainer',
       'Image': 'myteam.myorg.com/docker-local/my-inference-image:<IMAGE-TAG>',
       'ImageConfig': image_config
   }

4. create_model に渡すモデル名と実行ロールを指定します。

   model_name = 'vpc-model'
   execution_role_arn = 'arn:aws:iam::123456789012:role/SageMakerExecutionRole'

5. 1 つ以上のセキュリティグループとサブネットをモデルの VPC 設定に指定します。プライベート Docker レジストリは、指定したセキュリティグループからのインバウンドトラフィックを許可する必要があります。指定するサブネットは、プライベート Docker レジストリと同じ VPC 内にある必要があります。

   vpc_config = {
       'SecurityGroupIds': ['sg-0123456789abcdef0'],
       'Subnets': ['subnet-0123456789abcdef0','subnet-0123456789abcdef1']
   }

6. Boto3 SageMaker AI クライアントを入手します。

   import boto3
   sm = boto3.client('sagemaker')

7. PrimaryContainer および VpcConfig パラメータに前の手順で指定した値を使用して create_model を呼び出し、モデルを作成します。

   try:
       resp = sm.create_model(
           ModelName=model_name,
           PrimaryContainer=primary_container,
           ExecutionRoleArn=execution_role_arn,
           VpcConfig=vpc_config,
       )
   except Exception as e:
       print(f'error calling CreateModel operation: {e}')
   else:
       print(resp)

8. 最後に、前のステップで作成したモデルを使用し、create_endpoint_config および create_endpoint を呼び出してホスティングエンドポイントを作成します。

   endpoint_config_name = 'my-endpoint-config'
   sm.create_endpoint_config(
       EndpointConfigName=endpoint_config_name,
       ProductionVariants=[
           {
               'VariantName': 'MyVariant',
               'ModelName': model_name,
               'InitialInstanceCount': 1,
               'InstanceType': 'ml.t2.medium'
           },
       ],
   )
   
   endpoint_name = 'my-endpoint'
   sm.create_endpoint(
       EndpointName=endpoint_name,
       EndpointConfigName=endpoint_config_name,
   )
   
   sm.describe_endpoint(EndpointName=endpoint_name)