Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Migrasikan beban kerja inferensi dari x86 ke AWS Graviton

AWS Gravit on adalah serangkaian ARM-based prosesor yang dirancang oleh AWS. Mereka lebih hemat energi daripada prosesor berbasis x86 dan menawarkan rasio harga-kinerja yang menarik. Amazon SageMaker AI menawarkan Graviton-based instans sehingga Anda dapat memanfaatkan prosesor canggih ini untuk kebutuhan inferensi Anda.

Anda dapat memigrasikan beban kerja inferensi yang ada dari instans berbasis x86 ke Graviton-based instance, dengan menggunakan image wadah yang kompatibel dengan ARM atau image wadah multi-arsitektur. Panduan ini mengasumsikan bahwa Anda menggunakan gambar wadah AWS Deep Learning, atau gambar wadah yang kompatibel dengan ARM Anda sendiri. Untuk informasi lebih lanjut tentang membuat gambar Anda sendiri, periksa Mem bangun gambar Anda.

Pada tingkat tinggi, memigrasikan beban kerja inferensi dari instance berbasis x86 ke Graviton-based instance adalah proses empat langkah:

Bagian berikut dari panduan ini memberikan rincian lebih lanjut mengenai langkah-langkah di atas. Ganti user placeholder text contoh kode dengan informasi Anda sendiri.

Dorong gambar kontainer ke Amazon ECR

Anda dapat mendorong gambar kontainer Anda ke Amazon ECR dengan AWS CLI. Saat menggunakan gambar yang kompatibel dengan ARM, verifikasi bahwa ia mendukung arsitektur ARM:

docker inspect deep-learning-container-uri
				

Respons "Architecture": "arm64" menunjukkan bahwa gambar mendukung arsitektur ARM. Anda dapat mendorongnya ke Amazon ECR dengan docker push perintah. Untuk informasi selengkapnya, periksa Mendorong gambar Docker.

Multi-architecture gambar kontainer pada dasarnya adalah sekumpulan gambar kontainer yang mendukung arsitektur atau sistem operasi yang berbeda, yang dapat Anda rujuk dengan nama manifes umum. Jika Anda menggunakan gambar wadah multi-arsitektur, maka selain mendorong gambar ke Amazon ECR, Anda juga harus mendorong daftar manifes ke Amazon ECR. Daftar manifes memungkinkan untuk penyertaan bersarang dari manifes gambar lainnya, di mana setiap gambar yang disertakan ditentukan oleh arsitektur, sistem operasi, dan atribut platform lainnya. Contoh berikut membuat daftar manifes, dan mendorongnya ke Amazon ECR.

Untuk informasi selengkapnya tentang membuat dan mendorong daftar manifes ke Amazon ECR, periksa Memperkenalkan gambar wadah multi-arsitektur untuk Amazon ECR, dan Mendor ong gambar multi-arsitektur.

Buat Model SageMaker AI

Buat Model SageMaker AI dengan memanggil CreateModel API.

import boto3
from sagemaker.core.helper.session_helper import get_execution_role


aws_region = "aws-region"
sagemaker_client = boto3.client("sagemaker", region_name=aws_region)

role = get_execution_role()

sagemaker_client.create_model(
    ModelName = "model-name",
    PrimaryContainer = {
        "Image": "deep-learning-container-uri",
        "ModelDataUrl": "model-s3-location",
        "Environment": {
            "SAGEMAKER_PROGRAM": "inference.py",
            "SAGEMAKER_SUBMIT_DIRECTORY": "inference-script-s3-location",
            "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
            "SAGEMAKER_REGION": aws_region,
        }
    },
    ExecutionRoleArn = role
)
        

Membuat konfigurasi titik akhir

Buat konfigurasi titik akhir dengan memanggil CreateEndpointConfig API. Untuk daftar Graviton-based instance, periksa Instans yang di optimalkan Komputasi.

sagemaker_client.create_endpoint_config(
    EndpointConfigName = "endpoint-config-name",
    ProductionVariants = [
        {
            "VariantName": "variant-name",
            "ModelName": "model-name",
            "InitialInstanceCount": 1,
            "InstanceType": "ml.c7g.xlarge", # Graviton-based instance
       }
    ]
)
        

Buat titik akhir

Buat titik akhir dengan memanggil CreateEndpoint API.

sagemaker_client.create_endpoint(
    EndpointName = "endpoint-name",
    EndpointConfigName = "endpoint-config-name"
)