View a markdown version of this page

Rekomendasi yang dikompilasi dengan Neo - Amazon SageMaker AI
Memulai

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Rekomendasi yang dikompilasi dengan Neo

Di Inference Recommender, Anda dapat mengkompilasi model Anda dengan Neo dan mendapatkan rekomendasi titik akhir untuk model yang dikompilasi. SageMaker Neo adalah layanan yang dapat mengoptimalkan model Anda untuk platform perangkat keras target (yaitu, jenis atau lingkungan instance tertentu). Mengoptimalkan model dengan Neo dapat meningkatkan kinerja model yang Anda hosting.

Untuk Neo-supported kerangka kerja dan wadah, Inference Recommender secara otomatis menyarankan Neo-optimized rekomendasi. Agar memenuhi syarat untuk kompilasi Neo, masukan Anda harus memenuhi prasyarat berikut:

  • Anda menggunakan wadah DLC atau XGBoost milik SageMaker AI.

  • Anda menggunakan versi kerangka kerja yang didukung oleh Neo. Untuk versi kerangka kerja yang didukung oleh Neo, lihat Instans Cloud dalam dokumentasi SageMaker Neo.

  • Neo mengharuskan Anda memberikan bentuk data input yang benar untuk model Anda. Anda dapat menentukan bentuk data ini seperti DataInputConfig pada InferenceSpecification saat Anda membuat paket model. Untuk informasi tentang bentuk data yang benar untuk setiap kerangka kerja, lihat Memper siapkan Model untuk Kompilasi dalam dokumentasi SageMaker Neo.

    Contoh berikut menunjukkan cara menentukan DataInputConfig bidang diInferenceSpecification, di mana data_input_configuration adalah variabel yang berisi bentuk data dalam format kamus (misalnya,{'input':[1,1024,1024,3]}).

    "InferenceSpecification": {
        "Containers": [
            {
                "Image": dlc_uri,
                "Framework": framework.upper(),
                "FrameworkVersion": framework_version,
                "NearestModelName": model_name,
                "ModelInput": {"DataInputConfig": data_input_configuration},
            }
        ],
        "SupportedContentTypes": input_mime_types,  # required, must be non-null
        "SupportedResponseMIMETypes": [],
        "SupportedRealtimeInferenceInstanceTypes": supported_realtime_inference_types,  # optional
    }

Jika kondisi ini terpenuhi dalam permintaan Anda, maka Inference Recommender menjalankan skenario untuk versi model yang dikompilasi dan tidak dikompilasi, memberi Anda beberapa kombinasi rekomendasi untuk dipilih. Anda dapat membandingkan konfigurasi untuk versi yang dikompilasi dan tidak dikompilasi dari rekomendasi inferensi yang sama dan menentukan mana yang paling sesuai dengan kasus penggunaan Anda. Rekomendasi diberi peringkat berdasarkan biaya per inferensi.

Untuk mendapatkan rekomendasi kompilasi Neo, Anda tidak perlu melakukan konfigurasi tambahan selain memastikan bahwa input Anda memenuhi persyaratan sebelumnya. Inference Recommender secara otomatis menjalankan kompilasi Neo pada model Anda jika input Anda memenuhi persyaratan, dan Anda menerima respons yang mencakup rekomendasi Neo.

Jika Anda mengalami kesalahan selama kompilasi Neo Anda, lihatMemecahkan Masalah Kesalahan Kompilasi Neo.

Tabel berikut adalah contoh respons yang mungkin Anda dapatkan dari pekerjaan Inferensi Recommender yang mencakup rekomendasi untuk model yang dikompilasi. Jika InferenceSpecificationName bidangnyaNone, maka rekomendasinya adalah model yang tidak dikompilasi. Baris terakhir, di mana nilai untuk InferenceSpecificationName bidang adalahneo-00011122-2333-4445-5566-677788899900, adalah untuk model yang dikompilasi dengan Neo. Nilai di bidang adalah nama pekerjaan Neo yang digunakan untuk mengkompilasi dan mengoptimalkan model Anda.

EndpointName InstanceType InitialInstanceCount EnvironmentParameters CostPerHour CostPerInference MaxInvocations ModelLatency InferenceSpecificationName

sm-epc-contoh-000111222

ml.c5.9xlarge

1

[]

1.836

9.15 E-07

33456

7

Tidak ada

sm-epc-contoh-111222333

ml.c5.2xlarge

1

[]

0.408

2.11 E-07

32211

21

Tidak ada

sm-epc-contoh-222333444

ml.c5.xlarge

1

[]

0.204

1.86 E-07

18276

92

Tidak ada

sm-epc-contoh-333444555

ml.c5.xlarge

1

[]

0.204

1.60 E-07

21286

42

neo-00011122-2333-4445-5566-677788899900

Memulai

Langkah-langkah umum untuk membuat pekerjaan Rekomendasi Inferensi yang mencakup Neo-optimized rekomendasi adalah sebagai berikut:

  • Siapkan model ML Anda untuk kompilasi. Untuk informasi selengkapnya, lihat Mempersiapkan Model untuk Kompilasi dalam dokumentasi Neo.

  • Kemas model Anda dalam arsip model (.tar.gzfile).

  • Buat arsip muatan sampel.

  • Daftarkan model Anda di SageMaker Model Registry.

  • Buat pekerjaan Inferensi Recommender.

  • Lihat hasil pekerjaan Rekomendasi Inferensi dan pilih konfigurasi.

  • Kegagalan kompilasi debug, jika ada. Untuk informasi selengkapnya, lihat Memecahkan Masalah Kesalahan Kompilasi Neo.

Untuk contoh yang menunjukkan alur kerja sebelumnya dan cara mendapatkan Neo-optimized rekomendasi menggunakan XGBoost, lihat contoh buku catatan berikut. Untuk contoh yang menunjukkan cara mendapatkan Neo-optimized rekomendasi menggunakan TensorFlow, lihat contoh buku catatan berikut.