View a markdown version of this page

Buat rekomendasi inferensi - Amazon SageMaker AI

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Buat rekomendasi inferensi

Buat rekomendasi inferensi secara terprogram menggunakan atau AWS CLI, AWS SDK untuk Python (Boto3) atau secara interaktif menggunakan Studio Classic atau konsol AI. SageMaker Tentukan nama pekerjaan untuk rekomendasi inferensi Anda, ARN peran AWS IAM, konfigurasi input, dan paket model ARN saat Anda mendaftarkan model Anda dengan registri model, atau nama model Anda dan kam ContainerConfig us dari saat Anda membuat model Anda di bagian Pras yarat.

AWS SDK untuk Python (Boto3)

Gunakan CreateInferenceRecommendationsJob API untuk memulai pekerjaan rekomendasi inferensi. Setel JobType bidang 'Default' untuk pekerjaan rekomendasi inferensi. Selain itu, berikan yang berikut:

  • Nama Sumber Daya Amazon (ARN) dari peran IAM yang memungkinkan Inferensi Rekomendasi untuk melakukan tugas atas nama Anda. Definisikan ini untuk RoleArn lapangan.

  • Paket model ARN atau nama model. Inference Recommender mendukung salah satu paket model ARN atau nama model sebagai input. Tentukan satu dari yang berikut ini:

    • ARN dari paket model berversi yang Anda buat saat mendaftarkan model Anda dengan registri model SageMaker AI. Definisikan ini untuk ModelPackageVersionArn di InputConfig lapangan.

    • Nama model yang Anda buat. Definisikan ini untuk ModelName di InputConfig lapangan. Juga, berikan ContainerConfig kamus, yang mencakup bidang wajib yang perlu disediakan dengan nama model. Definisikan ini untuk ContainerConfig di InputConfig lapangan. Di dalamnyaContainerConfig, Anda juga dapat secara opsional menentukan SupportedEndpointType bidang sebagai salah satu RealTime atauServerless. Jika Anda menentukan bidang ini, Inference Recommender mengembalikan rekomendasi hanya untuk tipe titik akhir tersebut. Jika Anda tidak menentukan bidang ini, Inference Recommender mengembalikan rekomendasi untuk kedua jenis titik akhir.

  • Nama untuk pekerjaan rekomendasi Inferensi Recommender Anda untuk bidang tersebutJobName. Nama pekerjaan Inferensi Recommender harus unik di dalam Wil AWS ayah dan di dalam akun Anda AWS .

Impor AWS SDK untuk Python (Boto3) paket dan buat objek klien SageMaker AI menggunakan kelas klien. Jika Anda mengikuti langkah-langkah di bagian Pras yarat, hanya tentukan salah satu dari berikut ini:

  • Opsi 1: Jika Anda ingin membuat pekerjaan rekomendasi inferensi dengan paket model ARN, kemudian simpan grup paket model ARN dalam variabel bernamamodel_package_arn.

  • Opsi 2: Jika Anda ingin membuat pekerjaan rekomendasi inferensi dengan nama model danContainerConfig, simpan nama model dalam variabel bernama model_name dan kam ContainerConfig us dalam variabel bernamacontainer_config.

# Create a low-level SageMaker service client.
import boto3
aws_region = '<INSERT>'
sagemaker_client = boto3.client('sagemaker', region_name=aws_region) 

# Provide only one of model package ARN or model name, not both.
# Provide your model package ARN that was created when you registered your 
# model with Model Registry 
model_package_arn = '<INSERT>'
## Uncomment if you would like to create an inference recommendations job with a
## model name instead of a model package ARN, and comment out model_package_arn above
## Provide your model name
# model_name = '<INSERT>'
## Provide your container config 
# container_config = '<INSERT>'

# Provide a unique job name for SageMaker Inference Recommender job
job_name = '<INSERT>'

# Inference Recommender job type. Set to Default to get an initial recommendation
job_type = 'Default'

# Provide an IAM Role that gives SageMaker Inference Recommender permission to 
# access AWS services
role_arn = 'arn:aws:iam::<account>:role/*'

sagemaker_client.create_inference_recommendations_job(
    JobName = job_name,
    JobType = job_type,
    RoleArn = role_arn,
    # Provide only one of model package ARN or model name, not both. 
    # If you would like to create an inference recommendations job with a model name,
    # uncomment ModelName and ContainerConfig, and comment out ModelPackageVersionArn.
    InputConfig = {
        'ModelPackageVersionArn': model_package_arn
        # 'ModelName': model_name,
        # 'ContainerConfig': container_config
    }
)

Lihat Panduan Refer SageMaker ensi API Amazon untuk daftar lengkap argumen opsional dan wajib yang dapat Anda sampaikan CreateInferenceRecommendationsJob.

AWS CLI

Gunakan create-inference-recommendations-job API untuk memulai pekerjaan rekomendasi inferensi. Setel job-type bidang 'Default' untuk pekerjaan rekomendasi inferensi. Selain itu, berikan yang berikut:

  • Nama Sumber Daya Amazon (ARN) dari peran IAM yang memungkinkan Amazon SageMaker Inference Recommender melakukan tugas atas nama Anda. Definisikan ini untuk role-arn lapangan.

  • Paket model ARN atau nama model. Inference Recommender mendukung salah satu paket model ARN atau nama model sebagai input. Tentukan salah satu dari berikut ini

    • ARN dari paket model berversi yang Anda buat saat mendaftarkan model Anda dengan Model Registry. Definisikan ini untuk ModelPackageVersionArn di input-config lapangan.

    • Nama model yang Anda buat. Definisikan ini untuk ModelName di input-config lapangan. Juga, berikan ContainerConfig kamus yang mencakup bidang wajib yang perlu disediakan dengan nama model. Definisikan ini untuk ContainerConfig di input-config lapangan. Di dalamnyaContainerConfig, Anda juga dapat secara opsional menentukan SupportedEndpointType bidang sebagai salah satu RealTime atauServerless. Jika Anda menentukan bidang ini, Inference Recommender mengembalikan rekomendasi hanya untuk tipe titik akhir tersebut. Jika Anda tidak menentukan bidang ini, Inference Recommender mengembalikan rekomendasi untuk kedua jenis titik akhir.

  • Nama untuk pekerjaan rekomendasi Inferensi Recommender Anda untuk bidang tersebutjob-name. Nama pekerjaan Inferensi Recommender harus unik di dalam Wil AWS ayah dan di dalam akun Anda AWS .

Untuk membuat pekerjaan rekomendasi inferensi dengan paket model ARN, gunakan contoh berikut:

aws sagemaker create-inference-recommendations-job 
    --region <region>\
    --job-name <job_name>\
    --job-type Default\
    --role-arn arn:aws:iam::<account:role/*>\
    --input-config "{
        \"ModelPackageVersionArn\": \"arn:aws:sagemaker:<region:account:role/*>\",
        }"

Untuk membuat pekerjaan rekomendasi inferensi dengan nama model danContainerConfig, gunakan contoh berikut. Contoh menggunakan SupportedEndpointType bidang untuk menentukan bahwa kita hanya ingin mengembalikan rekomendasi inferensi real-time:

aws sagemaker create-inference-recommendations-job 
    --region <region>\
    --job-name <job_name>\
    --job-type Default\
    --role-arn arn:aws:iam::<account:role/*>\
    --input-config "{
        \"ModelName\": \"model-name\",
        \"ContainerConfig\" : {
                \"Domain\": \"COMPUTER_VISION\",
                \"Framework\": \"PYTORCH\",
                \"FrameworkVersion\": \"1.7.1\",
                \"NearestModelName\": \"resnet18\",
                \"PayloadConfig\": 
                    {
                        \"SamplePayloadUrl\": \"s3://{bucket}/{payload_s3_key}\", 
                        \"SupportedContentTypes\": [\"image/jpeg\"]
                    },
                \"SupportedEndpointType\": \"RealTime\",
                \"DataInputConfig\": \"[[1,3,256,256]]\",
                \"Task\": \"IMAGE_CLASSIFICATION\",
            },
        }"
Amazon SageMaker Studio Classic

Buat pekerjaan rekomendasi inferensi di Studio Classic.

  1. Di aplikasi Studio Classic Anda, pilih ikon beranda ( Menu icon. ).

  2. Di sidebar kiri Studio Classic, pilih Model.

  3. Pilih Model Registry dari daftar dropdown untuk menampilkan model yang telah Anda daftarkan dengan registri model.

    Panel kiri menampilkan daftar grup model. Daftar ini mencakup semua grup model yang terdaftar dengan registri model di akun Anda, termasuk model yang terdaftar di luar Studio Classic.

  4. Pilih nama grup model Anda. Saat Anda memilih grup model, panel kanan Studio Classic menampilkan kepala kolom seperti Versi dan Peng aturan.

    Jika Anda memiliki satu atau lebih paket model dalam grup model Anda, Anda melihat daftar paket model tersebut dalam kolom Versi.

  5. Pilih kolom Inferensi rekomendasi.

  6. Pilih peran IAM yang memberikan izin Inferensi Rekomendasi untuk mengakses layanan. AWS Anda dapat membuat peran dan melampirkan kebijakan yang dikelola AmazonSageMakerFullAccess IAM untuk mencapai hal ini. Atau Anda dapat membiarkan Studio Classic membuat peran untuk Anda.

  7. Pilih Dapatkan rekomendasi.

    Rekomendasi inferensi dapat memakan waktu hingga 45 menit.

    Awas

    Jangan tutup tab ini. Jika Anda menutup tab ini, Anda membatalkan pekerjaan rekomendasi instans.

SageMaker AI console

Buat pekerjaan rekomendasi instans melalui konsol SageMaker AI dengan melakukan hal berikut:

  1. Buka konsol SageMaker AI di https://console.aws.amazon.com/sagemaker/.

  2. Di panel navigasi kiri, pilih Inferensi, lalu pilih Inferensi rekomendator.

  3. Pada halaman pekerjaan rekomendasi inferensi, pilih Buat pekerjaan.

  4. Untuk Langkah 1: Konfigurasi model, lakukan hal berikut:

    1. Untuk Jenis pekerjaan, pilih Pekerjaan rekomendasi default.

    2. Jika Anda menggunakan model yang terdaftar di registri model SageMaker AI, maka aktifkan sak elar Pilih model dari registri model dan lakukan hal berikut:

      1. Dari daftar dropdown grup model, pilih grup model di registri model SageMaker AI tempat model Anda berada.

      2. Dari daftar tarik -turun versi Model, pilih versi model yang diinginkan.

    3. Jika Anda menggunakan model yang telah Anda buat di SageMaker AI, matikan tombol Pilih model dari registri model dan lakukan hal berikut:

      1. Untuk bidang Nama model, masukkan nama model SageMaker AI Anda.

    4. Dari daftar drop-down peran IAM, Anda dapat memilih peran AWS IAM yang ada yang memiliki izin yang diperlukan untuk membuat pekerjaan rekomendasi instans. Atau, jika Anda tidak memiliki peran yang sudah ada, Anda dapat memilih Buat peran baru untuk membuka pop-up pembuatan peran, dan SageMaker AI menambahkan izin yang diperlukan ke peran baru yang Anda buat.

    5. Untuk bucket S3 untuk pembandingan payload, masukkan jalur Amazon S3 ke arsip payload sampel Anda, yang harus berisi file muatan sampel yang digunakan Inference Recommender untuk membandingkan model Anda pada jenis instans yang berbeda.

    6. Untuk jenis konten payload, masukkan jenis MIME dari data payload sampel Anda.

    7. (Opsional) Jika Anda menonaktifkan sakelar Pilih model dari registri model dan menentukan model SageMaker AI, maka untuk konfigurasi Kontainer, lakukan hal berikut:

      1. Untuk daftar dropdown Domain, pilih domain pembelajaran mesin model, seperti visi komputer, pemrosesan bahasa alami, atau pembelajaran mesin.

      2. Untuk daftar dropdown Framework, pilih kerangka wadah Anda, seperti TensorFlow atau XGBoost.

      3. Untuk versi Framework, masukkan versi kerangka kerja dari image kontainer Anda.

      4. Untuk daftar tar ik-turun nama model terdekat, pilih model pra-terlatih yang sebagian besar cocok dengan model Anda sendiri.

      5. Untuk daftar drop-down Tugas, pilih tugas pembelajaran mesin yang diselesaikan model, seperti klasifikasi gambar atau regresi.

    8. (Opsional) Untuk kompilasi Model menggunakan SageMaker Neo, Anda dapat mengonfigurasi pekerjaan rekomendasi untuk model yang telah Anda kompilasi menggunakan SageMaker Neo. Untuk Konfigurasi input data, masukkan bentuk data input yang benar untuk model Anda dalam format yang mirip dengan{'input':[1,1024,1024,3]}.

    9. Pilih Berikutnya.

  5. Untuk Langkah 2: Instans dan parameter lingkungan, lakukan hal berikut:

    1. (Opsional) Untuk Pilih instans untuk pembandingan, Anda dapat memilih hingga 8 jenis instans yang ingin Anda tolok ukur. Jika Anda tidak memilih instans apa pun, Inference Recommender mempertimbangkan semua jenis instans.

    2. Pilih Berikutnya.

  6. Untuk Langkah 3: Parameter pekerjaan, lakukan hal berikut:

    1. (Opsional) Untuk bidang Nama pekerjaan, masukkan nama untuk pekerjaan rekomendasi instans Anda. Saat Anda membuat pekerjaan, SageMaker AI menambahkan stempel waktu ke akhir nama ini.

    2. (Opsional) Untuk bidang Deskripsi pekerjaan, masukkan deskripsi untuk pekerjaan.

    3. (Opsional) Untuk daftar dropdown kunci enkripsi, pilih AWS KMS kunci berdasarkan nama atau masukkan ARN-nya untuk mengenkripsi data Anda.

    4. (Opsional) Untuk durasi pengujian Maks, masukkan jumlah detik maksimum yang ingin dijalankan setiap pengujian.

    5. (Opsional) Untuk Pemanggilan maksimum per menit, masukkan jumlah maksimum permintaan per menit yang dapat dicapai titik akhir sebelum menghentikan pekerjaan rekomendasi. Setelah mencapai batas ini, SageMaker AI mengakhiri pekerjaan.

    6. (Opsional) Untuk ambang latensi Model P99 (ms), masukkan persentil latensi model dalam milidetik.

    7. Pilih Berikutnya.

  7. Untuk Langkah 4: Tinjau pekerjaan, tinjau konfigurasi Anda, lalu pilih K irim.