Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Menyebarkan model untuk inferensi
Dengan Amazon SageMaker AI, Anda dapat mulai mendapatkan prediksi, atau *kesimpulan*, dari model pembelajaran mesin terlatih Anda. SageMaker AI menyediakan berbagai pilihan infrastruktur ML dan opsi penerapan model untuk membantu memenuhi semua kebutuhan inferensi ML Anda. Dengan SageMaker AI Inference, Anda dapat menskalakan penerapan model Anda, mengelola model secara lebih efektif dalam produksi, dan mengurangi beban operasional. SageMaker AI memberi Anda berbagai opsi inferensi, seperti titik akhir waktu nyata untuk mendapatkan inferensi latensi rendah, titik akhir tanpa server untuk infrastruktur dan auto-scaling yang dikelola sepenuhnya, dan titik akhir asinkron untuk kumpulan permintaan. Dengan memanfaatkan opsi inferensi yang sesuai untuk kasus penggunaan Anda, Anda dapat memastikan penerapan dan inferensi model yang efisien.
## Memilih fitur
Ada beberapa kasus penggunaan untuk menerapkan model ML dengan SageMaker AI. Bagian ini menjelaskan kasus penggunaan tersebut, serta fitur SageMaker AI yang kami rekomendasikan untuk setiap kasus penggunaan.
### Kasus penggunaan
Berikut ini adalah kasus penggunaan utama untuk menerapkan model ML dengan SageMaker AI.
+ **Kasus penggunaan 1: Menerapkan model pembelajaran mesin di lingkungan kode rendah atau tanpa kode.** Untuk pemula atau mereka yang baru mengenal SageMaker AI, Anda dapat menerapkan model pra-terlatih menggunakan Amazon SageMaker JumpStart melalui antarmuka Amazon SageMaker Studio, tanpa perlu konfigurasi yang rumit.
+ **Kasus penggunaan 2: Gunakan kode untuk menerapkan model pembelajaran mesin dengan lebih banyak fleksibilitas dan kontrol.** Praktisi ML berpengalaman dapat menerapkan model mereka sendiri dengan pengaturan khusus untuk kebutuhan aplikasi mereka menggunakan `ModelBuilder` kelas di AI SageMaker Python SDK, yang menyediakan kontrol halus atas berbagai pengaturan, seperti jenis instance, isolasi jaringan, dan alokasi sumber daya.
+ **Kasus penggunaan 3: Terapkan model pembelajaran mesin dalam skala besar.** Untuk pengguna dan organisasi tingkat lanjut yang ingin mengelola model dalam skala produksi, gunakan AWS SDK untuk Python (Boto3) dan CloudFormation bersama dengan Infrastructure as Code (IAc) yang Anda inginkan dan CI/CD alat untuk menyediakan sumber daya dan mengotomatiskan manajemen sumber daya.
### Fitur yang direkomendasikan
Tabel berikut menjelaskan pertimbangan utama dan pengorbanan untuk fitur SageMaker AI yang sesuai dengan setiap kasus penggunaan.
| | Kasus penggunaan 1 | Kasus penggunaan 2 | Kasus penggunaan 3 |
| --- | --- | --- | --- |
| SageMaker Fitur AI | Gunakan [ JumpStart di Studio](jumpstart-foundation-models-use-studio-updated.md) untuk mempercepat penerapan model dasar Anda. | Menerapkan model menggunakan [ModelBuilder dari SageMaker Python SDK](how-it-works-modelbuilder-creation.md). | [Menyebarkan dan mengelola model dalam skala besar dengan CloudFormation](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/AWS_SageMaker.html). |
| Deskripsi | Gunakan UI Studio untuk menerapkan model pra-terlatih dari katalog ke titik akhir inferensi yang telah dikonfigurasi sebelumnya. Opsi ini sangat ideal untuk ilmuwan data warga, atau bagi siapa saja yang ingin menerapkan model tanpa mengonfigurasi pengaturan yang rumit. | Gunakan ModelBuilder kelas dari Amazon SageMaker AI Python SDK untuk menerapkan model Anda sendiri dan mengonfigurasi pengaturan penerapan. Opsi ini sangat ideal untuk ilmuwan data berpengalaman, atau bagi siapa saja yang memiliki model sendiri untuk digunakan dan memerlukan kontrol halus. | Gunakan CloudFormation dan Infrastruktur sebagai Kode (IAc) untuk kontrol dan otomatisasi terprogram untuk menerapkan dan mengelola SageMaker model AI. Opsi ini sangat ideal untuk pengguna tingkat lanjut yang membutuhkan penerapan yang konsisten dan berulang. |
| Dioptimalkan untuk | Penerapan model open source populer yang cepat dan efisien | Menerapkan model Anda sendiri | Manajemen model yang sedang berlangsung dalam produksi |
| Pertimbangan-pertimbangan | Kurangnya kustomisasi untuk pengaturan kontainer dan kebutuhan aplikasi tertentu | Tidak ada UI, mengharuskan Anda merasa nyaman mengembangkan dan memelihara kode Python | Membutuhkan manajemen infrastruktur dan sumber daya organisasi, dan juga membutuhkan keakraban dengan AWS SDK untuk Python (Boto3) atau dengan CloudFormation templat. |
| Lingkungan yang direkomendasikan | Domain SageMaker AI | Lingkungan pengembangan Python yang dikonfigurasi dengan AWS kredensi Anda dan SDK SageMaker Python yang diinstal, atau AI IDE seperti SageMaker [SageMaker JupyterLab](studio-updated-jl.md) | Lingkungan pengembangan lokal AWS CLI, dan Infrastruktur sebagai Kode (IAc) dan alat CI/CD |
### Opsi tambahan
SageMaker AI menyediakan opsi berbeda untuk kasus penggunaan inferensi Anda, memberi Anda pilihan atas luas dan kedalaman teknis penerapan Anda:
+ **Menerapkan model ke titik akhir.** Saat menerapkan model Anda, pertimbangkan opsi berikut:
+ [Inferensi waktu nyata](realtime-endpoints.md). Inferensi waktu nyata sangat ideal untuk beban kerja inferensi di mana Anda memiliki persyaratan interaktif dan latensi rendah.
+ [Terapkan model dengan Inferensi Tanpa SageMaker Server Amazon](serverless-endpoints.md). Gunakan Inferensi Tanpa Server untuk menerapkan model tanpa mengonfigurasi atau mengelola infrastruktur yang mendasarinya. Opsi ini sangat ideal untuk beban kerja yang memiliki periode idle antara lonjakan lalu lintas dan dapat mentolerir awal yang dingin.
+ [Inferensi asinkron](async-inference.md). Mengantri permintaan yang masuk dan memprosesnya secara asinkron. Opsi ini sangat ideal untuk permintaan dengan ukuran muatan besar (hingga 1GB), waktu pemrosesan yang lama (hingga satu jam), dan persyaratan latensi mendekati waktu nyata.
+ **Optimalisasi biaya.** Untuk mengoptimalkan biaya inferensi Anda, pertimbangkan opsi berikut:
+ [Optimalisasi kinerja model dengan SageMaker Neo](neo.md). Gunakan SageMaker Neo untuk mengoptimalkan dan menjalankan model pembelajaran mesin Anda dengan kinerja dan efisiensi yang lebih baik, membantu Anda meminimalkan biaya komputasi dengan mengoptimalkan model secara otomatis untuk berjalan di lingkungan seperti chip AWS Inferentia.
+ [Penskalaan otomatis model Amazon SageMaker AI](endpoint-auto-scaling.md). Gunakan penskalaan otomatis untuk menyesuaikan sumber daya komputasi secara dinamis untuk titik akhir Anda berdasarkan pola lalu lintas masuk, yang membantu Anda mengoptimalkan biaya dengan hanya membayar sumber daya yang Anda gunakan pada waktu tertentu.
# Opsi penerapan model di Amazon AI SageMaker
Setelah melatih model pembelajaran mesin, Anda dapat menerapkannya menggunakan Amazon SageMaker AI untuk mendapatkan prediksi. Amazon SageMaker AI mendukung cara-cara berikut untuk menerapkan model, tergantung pada kasus penggunaan Anda:
+ Untuk titik akhir real-time yang persisten yang membuat satu prediksi pada satu waktu, gunakan layanan hosting real-time SageMaker AI. Lihat [Inferensi waktu nyata](realtime-endpoints.md).
+ Beban kerja yang memiliki periode idle antara lonjakan lalu lintas dan dapat mentolerir start dingin, gunakan Inferensi Tanpa Server. Lihat [Terapkan model dengan Inferensi Tanpa SageMaker Server Amazon](serverless-endpoints.md).
+ Permintaan dengan ukuran muatan besar hingga 1GB, waktu pemrosesan yang lama, dan persyaratan latensi mendekati waktu nyata, menggunakan Inferensi Asinkron Amazon SageMaker . Lihat [Inferensi asinkron](async-inference.md).
+ Untuk mendapatkan prediksi untuk seluruh kumpulan data, gunakan transformasi batch SageMaker AI. Lihat [Transformasi Batch untuk inferensi dengan Amazon AI SageMaker](batch-transform.md).
SageMaker AI juga menyediakan fitur untuk mengelola sumber daya dan mengoptimalkan kinerja inferensi saat menerapkan model pembelajaran mesin:
+ Untuk mengelola model pada perangkat edge sehingga Anda dapat mengoptimalkan, mengamankan, memantau, dan memelihara model pembelajaran mesin pada armada perangkat edge, lihat[Penerapan model di tepi dengan SageMaker Edge Manager](edge.md). Ini berlaku untuk perangkat edge seperti kamera pintar, robot, komputer pribadi, dan perangkat seluler.
+ Untuk mengoptimalkan model Gluon, Keras MXNet,, PyTorch, TensorFlow, TensorFlow -Lite, dan ONNX untuk inferensi pada mesin Android, Linux, dan Windows berdasarkan prosesor dari Ambarella, ARM, Intel, Nvidia, NXP, Qualcomm, Texas Instruments, dan Xilinx, lihat. [Optimalisasi kinerja model dengan SageMaker Neo](neo.md)
Untuk informasi selengkapnya tentang semua opsi penerapan, lihat[Menyebarkan model untuk inferensi](deploy-model.md).
# Memahami opsi untuk menerapkan model dan mendapatkan kesimpulan di Amazon AI SageMaker
Untuk membantu Anda memulai Inferensi SageMaker AI, lihat bagian berikut yang menjelaskan opsi Anda untuk menerapkan model Anda di SageMaker AI dan mendapatkan kesimpulan. [Opsi inferensi di Amazon AI SageMaker](deploy-model-options.md)Bagian ini dapat membantu Anda menentukan fitur mana yang paling sesuai dengan kasus penggunaan Anda untuk inferensi.
Anda dapat merujuk ke [Sumber daya](inference-resources.md) bagian untuk lebih banyak pemecahan masalah dan informasi referensi, blog dan contoh untuk membantu Anda memulai, dan umum. FAQs
**Topics**
+ [Sebelum Anda mulai](#deploy-model-prereqs)
+ [Langkah-langkah untuk penerapan model](#deploy-model-steps)
+ [Opsi inferensi di Amazon AI SageMaker](deploy-model-options.md)
+ [Opsi titik akhir lanjutan untuk inferensi dengan Amazon AI SageMaker](deploy-model-advanced.md)
+ [Langkah selanjutnya untuk inferensi dengan Amazon AI SageMaker](deploy-model-next-steps.md)
## Sebelum Anda mulai
Topik-topik ini mengasumsikan bahwa Anda telah membangun dan melatih satu atau lebih model pembelajaran mesin dan siap untuk menerapkannya. Anda tidak perlu melatih model Anda dalam SageMaker AI untuk menerapkan model Anda di SageMaker AI dan mendapatkan kesimpulan. Jika Anda tidak memiliki model sendiri, Anda juga dapat menggunakan [algoritme bawaan SageMaker AI atau model yang telah dilatih sebelumnya](https://docs.aws.amazon.com/sagemaker/latest/dg/algos.html).
Jika Anda baru mengenal SageMaker AI dan belum memilih model untuk diterapkan, kerjakan langkah-langkah dalam tutorial [Memulai dengan Amazon SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/gs.html). Gunakan tutorial untuk membiasakan diri dengan bagaimana SageMaker AI mengelola proses ilmu data dan bagaimana menangani penerapan model. Untuk informasi selengkapnya tentang melatih model, lihat [Model Kereta](https://docs.aws.amazon.com/sagemaker/latest/dg/train-model.html).
Untuk informasi tambahan, referensi, dan contoh, lihat[Sumber daya](inference-resources.md).
## Langkah-langkah untuk penerapan model
Untuk titik akhir inferensi, alur kerja umum terdiri dari yang berikut:
+ Buat model dalam Inferensi SageMaker AI dengan menunjuk ke artefak model yang disimpan di Amazon S3 dan gambar kontainer.
+ Pilih opsi inferensi. Untuk informasi selengkapnya, lihat [Opsi inferensi di Amazon AI SageMaker](deploy-model-options.md).
+ Buat konfigurasi titik akhir Inferensi SageMaker AI dengan memilih jenis instans dan jumlah instance yang Anda butuhkan di belakang titik akhir. Anda dapat menggunakan [Amazon SageMaker Inference Recommender](https://docs.aws.amazon.com/sagemaker/latest/dg/inference-recommender.html) untuk mendapatkan rekomendasi untuk jenis instans. Untuk Inferensi Tanpa Server, Anda hanya perlu menyediakan konfigurasi memori yang Anda butuhkan berdasarkan ukuran model Anda.
+ Buat titik akhir Inferensi SageMaker AI.
+ Panggil titik akhir Anda untuk menerima inferensi sebagai tanggapan.
Diagram berikut menunjukkan alur kerja sebelumnya.
![\[Alur kerja yang dijelaskan dalam paragraf sebelumnya menunjukkan cara mendapatkan kesimpulan dari AI. SageMaker\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/inference-workflow-flowchart.png)
Anda dapat melakukan tindakan ini menggunakan AWS konsol, SDK SageMaker Python, CloudFormation atau. AWS SDKs AWS CLI
Untuk inferensi batch dengan transformasi batch, arahkan ke artefak model Anda dan masukan data dan buat pekerjaan inferensi batch. Alih-alih menghosting titik akhir untuk inferensi, SageMaker AI mengeluarkan kesimpulan Anda ke lokasi Amazon S3 pilihan Anda.
# Opsi inferensi di Amazon AI SageMaker
SageMaker AI menyediakan beberapa opsi inferensi sehingga Anda dapat memilih opsi yang paling sesuai dengan beban kerja Anda:
+ [Inferensi Real-Time](https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints.html)*: Inferensi real-time* sangat ideal untuk inferensi online yang memiliki latensi rendah atau persyaratan throughput tinggi. Gunakan inferensi real-time untuk endpoint persisten dan terkelola sepenuhnya (REST API) yang dapat menangani lalu lintas berkelanjutan, didukung oleh jenis instans pilihan Anda. Inferensi real-time dapat mendukung ukuran payload hingga 25 MB dan waktu pemrosesan 60 detik untuk respons reguler dan 8 menit untuk respons streaming.
+ Inferensi [Tanpa Server: Inferensi](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html) *tanpa server sangat ideal ketika Anda memiliki pola lalu lintas intermiten* atau tidak dapat diprediksi. SageMaker AI mengelola semua infrastruktur yang mendasarinya, jadi tidak perlu mengelola instance atau kebijakan penskalaan. Anda hanya membayar untuk apa yang Anda gunakan dan bukan untuk waktu idle. Ini dapat mendukung ukuran muatan hingga 4 MB dan waktu pemrosesan hingga 60 detik.
+ [Transformasi Batch](https://docs.aws.amazon.com/sagemaker/latest/dg/batch-transform.html)*: Transformasi Batch* cocok untuk pemrosesan offline ketika sejumlah besar data tersedia di muka dan Anda tidak memerlukan titik akhir yang persisten. Anda juga dapat menggunakan transformasi batch untuk set data pra-pemrosesan. Ini dapat mendukung kumpulan data besar yang GBs dalam ukuran dan waktu pemrosesan dalam beberapa hari.
+ Inferensi [Asinkron: Inferensi](https://docs.aws.amazon.com/sagemaker/latest/dg/async-inference.html) *asinkron* sangat ideal ketika Anda ingin mengantri permintaan dan memiliki muatan besar dengan waktu pemrosesan yang lama. Inferensi Asinkron dapat mendukung muatan hingga 1 GB dan waktu pemrosesan yang lama hingga satu jam. Anda juga dapat menurunkan titik akhir Anda ke 0 ketika tidak ada permintaan untuk diproses.
# Opsi titik akhir lanjutan untuk inferensi dengan Amazon AI SageMaker
Dengan inferensi real-time, Anda dapat lebih mengoptimalkan kinerja dan biaya dengan opsi inferensi lanjutan berikut:
+ [Titik akhir multi-model](multi-model-endpoints.md)— Gunakan opsi ini jika Anda memiliki beberapa model yang menggunakan kerangka kerja yang sama dan dapat berbagi wadah. Opsi ini membantu Anda mengoptimalkan biaya dengan meningkatkan pemanfaatan titik akhir dan mengurangi overhead penerapan.
+ [Titik akhir multi-kontainer](multi-container-endpoints.md)— Gunakan opsi ini jika Anda memiliki beberapa model yang menggunakan kerangka kerja yang berbeda dan memerlukan wadah mereka sendiri. Anda mendapatkan banyak manfaat dari Multi-Model Endpoint dan dapat menerapkan berbagai kerangka kerja dan model.
+ [Serial Inference Pipelines](https://docs.aws.amazon.com/sagemaker/latest/dg/inference-pipelines.html) - Gunakan opsi ini jika Anda ingin meng-host model dengan logika pra-pemrosesan dan pasca-pemrosesan di belakang titik akhir. Saluran pipa inferensi sepenuhnya dikelola oleh SageMaker AI dan memberikan latensi yang lebih rendah karena semua kontainer di-host pada instans Amazon EC2 yang sama.
# Langkah selanjutnya untuk inferensi dengan Amazon AI SageMaker
Setelah Anda memiliki titik akhir dan memahami alur kerja inferensi umum, Anda dapat menggunakan fitur berikut di SageMaker AI untuk meningkatkan alur kerja inferensi Anda.
## Memantau
Untuk melacak model Anda dari waktu ke waktu melalui metrik seperti akurasi model dan penyimpangan, Anda dapat menggunakan Model Monitor. Dengan Model Monitor, Anda dapat mengatur peringatan yang memberi tahu Anda ketika ada penyimpangan dalam kualitas model Anda. Untuk mempelajari lebih lanjut, lihat [dokumentasi Model Monitor](https://docs.aws.amazon.com/sagemaker/latest/dg/model-monitor.html).
Untuk mempelajari lebih lanjut tentang alat yang dapat digunakan untuk memantau penerapan model dan peristiwa yang mengubah titik akhir Anda, lihat Memantau [Amazon](https://docs.aws.amazon.com/sagemaker/latest/dg/monitoring-overview.html) AI. SageMaker Misalnya, Anda dapat memantau kesehatan titik akhir Anda melalui metrik seperti kesalahan pemanggilan dan latensi model menggunakan metrik Amazon. CloudWatch [Metrik pemanggilan titik akhir SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/monitoring-cloudwatch.html#cloudwatch-metrics-endpoint-invocation) dapat memberi Anda informasi berharga tentang kinerja titik akhir Anda.
## CI/CD untuk penerapan model
Untuk mengumpulkan solusi pembelajaran mesin dalam SageMaker AI, Anda dapat menggunakan [SageMaker AI MLOps](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-projects.html). Anda dapat menggunakan fitur ini untuk mengotomatiskan langkah-langkah dalam alur kerja pembelajaran mesin Anda dan berlatih CI/CD. Anda dapat menggunakan [Template MLOps Proyek](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-projects-templates.html) untuk membantu penyiapan dan implementasi MLOps proyek SageMaker AI. SageMaker AI juga mendukung penggunaan [repo Git pihak ketiga](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-projects-walkthrough-3rdgit.html) Anda sendiri untuk membuat CI/CD sistem.
Untuk pipeline ML Anda, gunakan [Model Registry](https://docs.aws.amazon.com/sagemaker/latest/dg/model-registry.html) untuk mengelola versi model serta penerapan serta otomatisasi model Anda.
## Pagar pembatas penyebaran
Jika Anda ingin memperbarui model Anda saat sedang dalam produksi tanpa memengaruhi produksi, Anda dapat menggunakan pagar pembatas penerapan. Pagar pembatas penerapan adalah serangkaian opsi penerapan model dalam Inferensi SageMaker AI untuk memperbarui model pembelajaran mesin Anda dalam produksi. Dengan menggunakan opsi penerapan yang dikelola sepenuhnya, Anda dapat mengontrol sakelar dari model saat ini dalam produksi ke yang baru. Mode perpindahan lalu lintas memberi Anda kontrol terperinci atas proses perpindahan lalu lintas, dan perlindungan bawaan seperti rollback otomatis membantu Anda menangkap masalah sejak dini.
Untuk mempelajari selengkapnya tentang pagar pembatas penerapan, lihat dokumentasi pagar pembatas [penerapan](https://docs.aws.amazon.com/sagemaker/latest/dg/deployment-guardrails.html).
## Inferensia
Jika Anda perlu menjalankan pembelajaran mesin skala besar dan aplikasi pembelajaran mendalam, Anda dapat menggunakan `Inf1` instance dengan titik akhir waktu nyata. Jenis instance ini cocok untuk kasus penggunaan seperti pengenalan gambar atau ucapan, pemrosesan bahasa alami (NLP), personalisasi, peramalan, atau deteksi penipuan.
`Inf1`instance dibangun untuk mendukung aplikasi inferensi pembelajaran mesin dan menampilkan chip AWS Inferentia. `Inf1`Instans memberikan throughput yang lebih tinggi dan biaya per inferensi yang lebih rendah daripada instans berbasis GPU.
Untuk menerapkan model pada `Inf1` instance, kompilasi model Anda dengan SageMaker Neo dan pilih `Inf1` instance untuk opsi penerapan Anda. Untuk mempelajari lebih lanjut, lihat [Mengoptimalkan kinerja model menggunakan SageMaker Neo](https://docs.aws.amazon.com/sagemaker/latest/dg/neo.html).
## Optimalkan kinerja model
SageMaker AI menyediakan fitur untuk mengelola sumber daya dan mengoptimalkan kinerja inferensi saat menerapkan model pembelajaran mesin. Anda dapat menggunakan [algoritme bawaan SageMaker AI dan model pra-bangun](https://docs.aws.amazon.com/sagemaker/latest/dg/algos.html), serta [gambar Docker bawaan](https://docs.aws.amazon.com/sagemaker/latest/dg/docker-containers-prebuilt.html), yang dikembangkan untuk pembelajaran mesin.
Untuk melatih model dan mengoptimalkannya untuk penerapan, lihat [gambar Docker bawaan](https://docs.aws.amazon.com/sagemaker/latest/dg/docker-containers-prebuilt.html) [Mengoptimalkan kinerja model](https://docs.aws.amazon.com/sagemaker/latest/dg/neo.html) menggunakan Neo. SageMaker Dengan SageMaker Neo, Anda dapat melatih TensorFlow, Apache MXNet, PyTorch, ONNX, dan model. XGBoost Kemudian, Anda dapat mengoptimalkannya dan menerapkannya pada prosesor ARM, Intel, dan Nvidia.
## Penskalaan otomatis
Jika Anda memiliki jumlah lalu lintas yang bervariasi ke titik akhir Anda, Anda mungkin ingin mencoba penskalaan otomatis. Misalnya, selama jam sibuk, Anda mungkin memerlukan lebih banyak instance untuk memproses permintaan. Namun, selama periode lalu lintas rendah, Anda mungkin ingin mengurangi penggunaan sumber daya komputasi. Untuk menyesuaikan jumlah instans yang disediakan secara dinamis sebagai respons terhadap perubahan beban kerja Anda, lihat. [Penskalaan otomatis model Amazon SageMaker AI](endpoint-auto-scaling.md)
Jika Anda memiliki pola lalu lintas yang tidak dapat diprediksi atau tidak ingin menyiapkan kebijakan penskalaan, Anda juga dapat menggunakan Inferensi Tanpa Server untuk titik akhir. Kemudian, SageMaker AI mengelola penskalaan otomatis untuk Anda. Selama periode lalu lintas rendah, SageMaker AI menurunkan titik akhir Anda, dan jika lalu lintas meningkat, maka SageMaker AI meningkatkan titik akhir Anda. Untuk informasi lebih lanjut, lihat [Terapkan model dengan Inferensi Tanpa SageMaker Server Amazon](serverless-endpoints.md) dokumentasi.
# Buat model di Amazon SageMaker AI dengan ModelBuilder
Mempersiapkan model Anda untuk penerapan pada titik akhir SageMaker AI memerlukan beberapa langkah, termasuk memilih gambar model, menyiapkan konfigurasi titik akhir, mengkodekan fungsi serialisasi dan deserialisasi Anda untuk mentransfer data ke dan dari server dan klien, mengidentifikasi dependensi model, dan mengunggahnya ke Amazon S3. `ModelBuilder`dapat mengurangi kompleksitas penyiapan dan penerapan awal untuk membantu Anda membuat model yang dapat diterapkan dalam satu langkah.
`ModelBuilder`melakukan tugas-tugas berikut untuk Anda:
+ Mengonversi model pembelajaran mesin yang dilatih menggunakan berbagai kerangka kerja seperti XGBoost atau PyTorch menjadi model yang dapat diterapkan dalam satu langkah.
+ Melakukan pemilihan kontainer otomatis berdasarkan kerangka model sehingga Anda tidak perlu menentukan penampung secara manual. Anda masih dapat membawa kontainer Anda sendiri dengan meneruskan URI Anda sendiri ke`ModelBuilder`.
+ Menangani serialisasi data di sisi klien sebelum mengirimnya ke server untuk inferensi dan deserialisasi hasil yang dikembalikan oleh server. Data diformat dengan benar tanpa pemrosesan manual.
+ Memungkinkan pengambilan dependensi secara otomatis dan mengemas model sesuai dengan harapan server model. `ModelBuilder`penangkapan dependensi otomatis adalah pendekatan upaya terbaik untuk memuat dependensi secara dinamis. (Kami menyarankan Anda menguji pengambilan otomatis secara lokal dan memperbarui dependensi untuk memenuhi kebutuhan Anda.)
+ Untuk kasus penggunaan model bahasa besar (LLM), secara opsional melakukan penyetelan parameter lokal dari properti penyajian yang dapat digunakan untuk kinerja yang lebih baik saat menghosting pada titik akhir AI. SageMaker
+ Mendukung sebagian besar server model populer dan kontainer seperti TorchServe, Triton, DJLServing dan kontainer TGI.
## Membangun model Anda dengan ModelBuilder
`ModelBuilder`adalah kelas Python yang mengambil model kerangka kerja, seperti XGBoost atau PyTorch, atau spesifikasi inferensi yang ditentukan pengguna dan mengubahnya menjadi model deployable. `ModelBuilder`menyediakan fungsi build yang menghasilkan artefak untuk penerapan. Artefak model yang dihasilkan khusus untuk server model, yang juga dapat Anda tentukan sebagai salah satu input. Untuk detail lebih lanjut tentang `ModelBuilder` kelas, lihat [ModelBuilder](https://sagemaker.readthedocs.io/en/stable/api/inference/model_builder.html#sagemaker.serve.builder.model_builder.ModelBuilder).
Diagram berikut menggambarkan keseluruhan alur kerja pembuatan model saat Anda menggunakan. `ModelBuilder` `ModelBuilder`menerima spesifikasi model atau inferensi bersama dengan skema Anda untuk membuat model yang dapat diterapkan yang dapat Anda uji secara lokal sebelum penerapan.
![\[Pembuatan model dan alur penerapan menggunakanModelBuilder.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/model-builder-flow.png)
`ModelBuilder`dapat menangani kustomisasi apa pun yang ingin Anda terapkan. Namun, untuk menerapkan model kerangka kerja, pembuat model mengharapkan setidaknya model, input dan output sampel, dan peran. Dalam contoh kode berikut, `ModelBuilder` dipanggil dengan model kerangka kerja dan instance `SchemaBuilder` dengan argumen minimum (untuk menyimpulkan fungsi yang sesuai untuk serialisasi dan deserialisasi input dan output endpoint). Tidak ada kontainer yang ditentukan dan tidak ada dependensi paket yang diteruskan— SageMaker AI secara otomatis menyimpulkan sumber daya ini saat Anda membuat model Anda.
```
from sagemaker.serve.builder.model_builder import ModelBuilder
from sagemaker.serve.builder.schema_builder import SchemaBuilder
model_builder = ModelBuilder(
model=model,
schema_builder=SchemaBuilder(input, output),
role_arn="execution-role",
)
```
Contoh kode berikut dipanggil `ModelBuilder` dengan spesifikasi inferensi (sebagai `InferenceSpec` contoh) alih-alih model, dengan penyesuaian tambahan. Dalam hal ini, panggilan ke pembuat model menyertakan jalur untuk menyimpan artefak model dan juga mengaktifkan penangkapan otomatis semua dependensi yang tersedia. Untuk detail tambahan tentang`InferenceSpec`, lihat[Sesuaikan pemuatan model dan penanganan permintaan](#how-it-works-modelbuilder-creation-is).
```
model_builder = ModelBuilder(
mode=Mode.LOCAL_CONTAINER,
model_path=model-artifact-directory,
inference_spec=your-inference-spec,
schema_builder=SchemaBuilder(input, output),
role_arn=execution-role,
dependencies={"auto": True}
)
```
## Tentukan metode serialisasi dan deserialisasi
Saat menjalankan titik akhir SageMaker AI, data dikirim melalui muatan HTTP dengan tipe MIME yang berbeda. Misalnya, gambar yang dikirim ke titik akhir untuk inferensi perlu dikonversi ke byte di sisi klien dan dikirim melalui payload HTTP ke titik akhir. Ketika titik akhir menerima payload, ia perlu deserialisasi string byte kembali ke tipe data yang diharapkan oleh model (juga dikenal sebagai deserialisasi sisi server). Setelah model menyelesaikan prediksi, hasilnya juga perlu diserialisasikan ke byte yang dapat dikirim kembali melalui payload HTTP ke pengguna atau klien. Setelah klien menerima data byte respons, klien perlu melakukan deserialisasi sisi klien untuk mengonversi data byte kembali ke format data yang diharapkan, seperti JSON. Minimal, Anda perlu mengonversi data untuk tugas-tugas berikut:
1. Serialisasi permintaan inferensi (ditangani oleh klien)
1. Deserialisasi permintaan inferensi (ditangani oleh server atau algoritma)
1. Memanggil model terhadap muatan dan mengirim muatan respons kembali
1. Serialisasi respons inferensi (ditangani oleh server atau algoritma)
1. Deserialisasi respons inferensi (ditangani oleh klien)
Diagram berikut menunjukkan proses serialisasi dan deserialisasi yang terjadi saat Anda memanggil titik akhir.
![\[Diagram serialisasi dan deserialisasi data klien ke server.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/model-builder-serialization.png)
Saat Anda memasok input dan output sampel ke`SchemaBuilder`, pembuat skema menghasilkan fungsi penyusunan yang sesuai untuk membuat serial dan deserialisasi input dan output. Anda dapat lebih lanjut menyesuaikan fungsi serialisasi Anda dengan`CustomPayloadTranslator`. Tetapi untuk kebanyakan kasus, serializer sederhana seperti berikut ini akan berfungsi:
```
input = "How is the demo going?"
output = "Comment la démo va-t-elle?"
schema = SchemaBuilder(input, output)
```
Untuk detail lebih lanjut tentang`SchemaBuilder`, lihat [SchemaBuilder](https://sagemaker.readthedocs.io/en/stable/api/inference/model_builder.html#sagemaker.serve.builder.schema_builder.SchemaBuilder).
Cuplikan kode berikut menguraikan contoh di mana Anda ingin menyesuaikan fungsi serialisasi dan deserialisasi di sisi klien dan server. Anda dapat menentukan penerjemah permintaan dan tanggapan Anda sendiri `CustomPayloadTranslator` dan meneruskan penerjemah ini ke. `SchemaBuilder`
Dengan memasukkan input dan output dengan penerjemah, pembuat model dapat mengekstrak format data yang diharapkan model. Misalnya, input sampel adalah gambar mentah, dan penerjemah khusus Anda memotong gambar dan mengirim gambar yang dipotong ke server sebagai tensor. `ModelBuilder`membutuhkan input mentah dan kode pra-pemrosesan atau pasca-pemrosesan khusus untuk memperoleh metode untuk mengonversi data di sisi klien dan server.
```
from sagemaker.serve import CustomPayloadTranslator
# request translator
class MyRequestTranslator(CustomPayloadTranslator):
# This function converts the payload to bytes - happens on client side
def serialize_payload_to_bytes(self, payload: object) -> bytes:
# converts the input payload to bytes
... ...
return //return object as bytes
# This function converts the bytes to payload - happens on server side
def deserialize_payload_from_stream(self, stream) -> object:
# convert bytes to in-memory object
... ...
return //return in-memory object
# response translator
class MyResponseTranslator(CustomPayloadTranslator):
# This function converts the payload to bytes - happens on server side
def serialize_payload_to_bytes(self, payload: object) -> bytes:
# converts the response payload to bytes
... ...
return //return object as bytes
# This function converts the bytes to payload - happens on client side
def deserialize_payload_from_stream(self, stream) -> object:
# convert bytes to in-memory object
... ...
return //return in-memory object
```
Anda meneruskan input dan output sampel bersama dengan penerjemah kustom yang ditentukan sebelumnya saat Anda membuat `SchemaBuilder` objek, seperti yang ditunjukkan pada contoh berikut:
```
my_schema = SchemaBuilder(
sample_input=image,
sample_output=output,
input_translator=MyRequestTranslator(),
output_translator=MyResponseTranslator()
)
```
Kemudian Anda meneruskan input dan output sampel, bersama dengan penerjemah khusus yang ditentukan sebelumnya, ke objek. `SchemaBuilder`
```
my_schema = SchemaBuilder(
sample_input=image,
sample_output=output,
input_translator=MyRequestTranslator(),
output_translator=MyResponseTranslator()
)
```
Bagian berikut menjelaskan secara rinci cara membangun model Anda `ModelBuilder` dan menggunakan kelas pendukungnya untuk menyesuaikan pengalaman untuk kasus penggunaan Anda.
**Topics**
+ [Membangun model Anda dengan ModelBuilder](#how-it-works-modelbuilder-creation-mb)
+ [Tentukan metode serialisasi dan deserialisasi](#how-it-works-modelbuilder-creation-sb)
+ [Sesuaikan pemuatan model dan penanganan permintaan](#how-it-works-modelbuilder-creation-is)
+ [Bangun model Anda dan terapkan](#how-it-works-modelbuilder-creation-deploy)
+ [Bawa wadah Anda sendiri (BYOC)](#how-it-works-modelbuilder-creation-mb-byoc)
+ [Menggunakan ModelBuilder dalam mode lokal](#how-it-works-modelbuilder-creation-local)
+ [ModelBuilder contoh](#how-it-works-modelbuilder-creation-example)
## Sesuaikan pemuatan model dan penanganan permintaan
Memberikan kode inferensi Anda sendiri melalui `InferenceSpec` menawarkan lapisan penyesuaian tambahan. Dengan`InferenceSpec`, Anda dapat menyesuaikan cara model dimuat dan cara menangani permintaan inferensi yang masuk, melewati pemuatan default dan mekanisme penanganan inferensi. Fleksibilitas ini sangat bermanfaat ketika bekerja dengan model non-standar atau pipa inferensi khusus. Anda dapat menyesuaikan `invoke` metode untuk mengontrol bagaimana model memproses dan pasca-proses permintaan masuk. `invoke`Metode ini memastikan bahwa model menangani permintaan inferensi dengan benar. Contoh berikut digunakan `InferenceSpec` untuk menghasilkan model dengan HuggingFace pipa. Untuk detail lebih lanjut tentang`InferenceSpec`, lihat [InferenceSpec](https://sagemaker.readthedocs.io/en/stable/api/inference/model_builder.html#sagemaker.serve.spec.inference_spec.InferenceSpec).
```
from sagemaker.serve.spec.inference_spec import InferenceSpec
from transformers import pipeline
class MyInferenceSpec(InferenceSpec):
def load(self, model_dir: str):
return pipeline("translation_en_to_fr", model="t5-small")
def invoke(self, input, model):
return model(input)
inf_spec = MyInferenceSpec()
model_builder = ModelBuilder(
inference_spec=your-inference-spec,
schema_builder=SchemaBuilder(X_test, y_pred)
)
```
Contoh berikut menggambarkan variasi yang lebih disesuaikan dari contoh sebelumnya. Sebuah model didefinisikan dengan spesifikasi inferensi yang memiliki dependensi. Dalam hal ini, kode dalam spesifikasi inferensi tergantung pada paket *lang-segment*. Argumen untuk `dependencies` berisi pernyataan yang mengarahkan pembangun untuk menginstal *lang-segment menggunakan Git*. Karena pembuat model diarahkan oleh pengguna untuk menginstal dependensi secara kustom, `auto` kuncinya adalah mematikan `False` penangkapan otomatis dependensi.
```
model_builder = ModelBuilder(
mode=Mode.LOCAL_CONTAINER,
model_path=model-artifact-directory,
inference_spec=your-inference-spec,
schema_builder=SchemaBuilder(input, output),
role_arn=execution-role,
dependencies={"auto": False, "custom": ["-e git+https://github.com/luca-medeiros/lang-segment-anything.git#egg=lang-sam"],}
)
```
## Bangun model Anda dan terapkan
Panggil `build` fungsi untuk membuat model deployable Anda. Langkah ini membuat kode inferensi (as`inference.py`) di direktori kerja Anda dengan kode yang diperlukan untuk membuat skema Anda, menjalankan serialisasi dan deserialisasi input dan output, dan menjalankan logika kustom yang ditentukan pengguna lainnya.
Sebagai pemeriksaan integritas, SageMaker AI mengemas dan mengasinkan file yang diperlukan untuk penerapan sebagai bagian dari fungsi `ModelBuilder` build. Selama proses ini, SageMaker AI juga membuat penandatanganan HMAC untuk file pickle dan menambahkan kunci rahasia di [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API sebagai variabel lingkungan selama `deploy` (atau`create`). Peluncuran endpoint menggunakan variabel lingkungan untuk memvalidasi integritas file pickle.
```
# Build the model according to the model server specification and save it as files in the working directory
model = model_builder.build()
```
Terapkan model Anda dengan `deploy` metode model yang ada. Pada langkah ini, SageMaker AI menyiapkan titik akhir untuk meng-host model Anda saat mulai membuat prediksi pada permintaan yang masuk. Meskipun `ModelBuilder` menyimpulkan sumber daya titik akhir yang diperlukan untuk menerapkan model Anda, Anda dapat mengganti perkiraan tersebut dengan nilai parameter Anda sendiri. Contoh berikut mengarahkan SageMaker AI untuk menyebarkan model pada satu `ml.c6i.xlarge` instance. Model yang dibuat dari `ModelBuilder` memungkinkan pencatatan langsung selama penerapan sebagai fitur tambahan.
```
predictor = model.deploy(
initial_instance_count=1,
instance_type="ml.c6i.xlarge"
)
```
Jika Anda menginginkan kontrol yang lebih halus atas sumber daya titik akhir yang ditetapkan ke model Anda, Anda dapat menggunakan objek. `ResourceRequirements` Dengan `ResourceRequirements` objek, Anda dapat meminta jumlah minimum CPUs, akselerator, dan salinan model yang ingin Anda terapkan. Anda juga dapat meminta batas memori minimum dan maksimum (dalam MB). Untuk menggunakan fitur ini, Anda perlu menentukan jenis titik akhir Anda sebagai`EndpointType.INFERENCE_COMPONENT_BASED`. Contoh berikut meminta empat akselerator, ukuran memori minimum 1024 MB, dan satu salinan model Anda untuk digunakan ke titik akhir tipe. `EndpointType.INFERENCE_COMPONENT_BASED`
```
resource_requirements = ResourceRequirements(
requests={
"num_accelerators": 4,
"memory": 1024,
"copies": 1,
},
limits={},
)
predictor = model.deploy(
mode=Mode.SAGEMAKER_ENDPOINT,
endpoint_type=EndpointType.INFERENCE_COMPONENT_BASED,
resources=resource_requirements,
role="role"
)
```
## Bawa wadah Anda sendiri (BYOC)
Jika Anda ingin membawa wadah Anda sendiri (diperpanjang dari wadah SageMaker AI), Anda juga dapat menentukan URI gambar seperti yang ditunjukkan pada contoh berikut. Anda juga perlu mengidentifikasi server model yang sesuai dengan gambar `ModelBuilder` untuk menghasilkan artefak khusus untuk server model.
```
model_builder = ModelBuilder(
model=model,
model_server=ModelServer.TORCHSERVE,
schema_builder=SchemaBuilder(X_test, y_pred),
image_uri="123123123123.dkr.ecr.ap-southeast-2.amazonaws.com/byoc-image:xgb-1.7-1")
)
```
## Menggunakan ModelBuilder dalam mode lokal
Anda dapat menerapkan model Anda secara lokal dengan menggunakan `mode` argumen untuk beralih antara pengujian lokal dan penerapan ke titik akhir. Anda perlu menyimpan artefak model di direktori kerja, seperti yang ditunjukkan pada cuplikan berikut:
```
model = XGBClassifier()
model.fit(X_train, y_train)
model.save_model(model_dir + "/my_model.xgb")
```
Lewati objek model, `SchemaBuilder` instance, dan atur mode ke`Mode.LOCAL_CONTAINER`. Saat Anda memanggil `build` fungsi, `ModelBuilder` secara otomatis mengidentifikasi wadah kerangka kerja yang didukung dan memindai dependensi. Contoh berikut menunjukkan pembuatan model dengan XGBoost model dalam mode lokal.
```
model_builder_local = ModelBuilder(
model=model,
schema_builder=SchemaBuilder(X_test, y_pred),
role_arn=execution-role,
mode=Mode.LOCAL_CONTAINER
)
xgb_local_builder = model_builder_local.build()
```
Panggil `deploy` fungsi untuk menyebarkan secara lokal, seperti yang ditunjukkan pada cuplikan berikut. Jika Anda menentukan parameter untuk tipe atau hitungan contoh, argumen ini diabaikan.
```
predictor_local = xgb_local_builder.deploy()
```
### Memecahkan masalah mode lokal
Tergantung pada pengaturan lokal pribadi Anda, Anda mungkin mengalami kesulitan berjalan `ModelBuilder` dengan lancar di lingkungan Anda. Lihat daftar berikut untuk beberapa masalah yang mungkin Anda hadapi dan cara mengatasinya.
+ **Sudah digunakan**: Anda mungkin mengalami `Address already in use` kesalahan. Dalam hal ini, ada kemungkinan bahwa kontainer Docker berjalan pada port itu atau proses lain memanfaatkannya. Anda dapat mengikuti pendekatan yang diuraikan dalam [dokumentasi Linux](https://www.cyberciti.biz/faq/what-process-has-open-linux-port/) untuk mengidentifikasi proses dan dengan anggun mengarahkan proses lokal Anda dari port 8080 ke port lain atau membersihkan instance Docker.
+ **Masalah Izin IAM**: Anda mungkin mengalami masalah izin saat mencoba menarik gambar Amazon ECR atau mengakses Amazon S3. Dalam hal ini, navigasikan ke peran eksekusi notebook atau instans Studio Classic untuk memverifikasi kebijakan `SageMakerFullAccess` atau izin API masing-masing.
+ **Masalah kapasitas volume EBS**: Jika Anda menerapkan model bahasa besar (LLM), Anda mungkin kehabisan ruang saat menjalankan Docker dalam mode lokal atau mengalami batasan ruang untuk cache Docker. Dalam hal ini, Anda dapat mencoba memindahkan volume Docker Anda ke sistem file yang memiliki cukup ruang. Untuk memindahkan volume Docker Anda, selesaikan langkah-langkah berikut:
1. Buka terminal dan jalankan `df` untuk menampilkan penggunaan disk, seperti yang ditunjukkan pada output berikut:
```
(python3) sh-4.2$ df
Filesystem 1K-blocks Used Available Use% Mounted on
devtmpfs 195928700 0 195928700 0% /dev
tmpfs 195939296 0 195939296 0% /dev/shm
tmpfs 195939296 1048 195938248 1% /run
tmpfs 195939296 0 195939296 0% /sys/fs/cgroup
/dev/nvme0n1p1 141545452 135242112 6303340 96% /
tmpfs 39187860 0 39187860 0% /run/user/0
/dev/nvme2n1 264055236 76594068 176644712 31% /home/ec2-user/SageMaker
tmpfs 39187860 0 39187860 0% /run/user/1002
tmpfs 39187860 0 39187860 0% /run/user/1001
tmpfs 39187860 0 39187860 0% /run/user/1000
```
1. Pindahkan direktori Docker default dari `/dev/nvme0n1p1` ke `/dev/nvme2n1` sehingga Anda dapat sepenuhnya memanfaatkan volume SageMaker AI 256 GB. Untuk detail selengkapnya, lihat dokumentasi tentang cara [memindahkan direktori Docker Anda](https://www.guguweb.com/2019/02/07/how-to-move-docker-data-directory-to-another-location-on-ubuntu/).
1. Hentikan Docker dengan perintah berikut:
```
sudo service docker stop
```
1. Tambahkan `daemon.json` ke `/etc/docker` atau tambahkan gumpalan JSON berikut ke yang sudah ada.
```
{
"data-root": "/home/ec2-user/SageMaker/{created_docker_folder}"
}
```
1. Pindahkan direktori Docker `/var/lib/docker` ke `/home/ec2-user/SageMaker AI` dengan perintah berikut:
```
sudo rsync -aP /var/lib/docker/ /home/ec2-user/SageMaker/{created_docker_folder}
```
1. Mulai Docker dengan perintah berikut:
```
sudo service docker start
```
1. Bersihkan sampah dengan perintah berikut:
```
cd /home/ec2-user/SageMaker/.Trash-1000/files/*
sudo rm -r *
```
1. Jika Anda menggunakan instance SageMaker notebook, Anda dapat mengikuti langkah-langkah dalam [file persiapan Docker](https://github.com/melanie531/amazon-sagemaker-pytorch-lightning-distributed-training/blob/main/prepare-docker.sh) untuk mempersiapkan Docker untuk mode lokal.
## ModelBuilder contoh
Untuk contoh penggunaan lainnya `ModelBuilder` untuk membuat model Anda, lihat [ModelBuildercontoh buku catatan](https://github.com/aws-samples/sagemaker-hosting/blob/main/SageMaker-Model-Builder).
# Optimalisasi inferensi untuk model Amazon SageMaker AI
Dengan Amazon SageMaker AI, Anda dapat meningkatkan kinerja model AI generatif Anda dengan menerapkan teknik pengoptimalan inferensi. Dengan mengoptimalkan model Anda, Anda dapat mencapai kinerja biaya yang lebih baik untuk kasus penggunaan Anda. Saat mengoptimalkan model, Anda memilih teknik pengoptimalan yang didukung untuk diterapkan, termasuk kuantisasi, decoding spekulatif, dan kompilasi. Setelah model dioptimalkan, Anda dapat menjalankan evaluasi untuk melihat metrik kinerja untuk latensi, throughput, dan harga.
Untuk banyak model, SageMaker AI juga menyediakan beberapa versi yang telah dioptimalkan sebelumnya, di mana masing-masing memenuhi kebutuhan aplikasi yang berbeda untuk latensi dan throughput. Untuk model seperti itu, Anda dapat menggunakan salah satu versi yang dioptimalkan tanpa terlebih dahulu mengoptimalkan model sendiri.
## Teknik pengoptimalan
Amazon SageMaker AI mendukung teknik pengoptimalan berikut.
### Kompilasi
*Kompilasi* mengoptimalkan model untuk kinerja terbaik yang tersedia pada jenis perangkat keras yang dipilih tanpa kehilangan akurasi. Anda dapat menerapkan kompilasi model LLMs untuk mengoptimalkan perangkat keras yang dipercepat, seperti instans GPU, instans AWS Trainium, atau instans Inferentia. AWS
Saat Anda mengoptimalkan model dengan kompilasi, Anda mendapat manfaat dari ahead-of-time kompilasi. Anda mengurangi waktu penerapan model dan latensi auto-scaling karena bobot model tidak just-in-time memerlukan kompilasi saat model diterapkan ke instance baru.
Jika Anda memilih untuk mengkompilasi model Anda untuk instance GPU, SageMaker AI menggunakan pustaka Tensorrt-LLM untuk menjalankan kompilasi. Jika Anda memilih untuk mengkompilasi model Anda untuk instance AWS Trainium atau AWS Inferentia, SageMaker AI menggunakan AWS Neuron SDK untuk menjalankan kompilasi.
### Kuantisasi
*Kuantisasi* adalah teknik untuk mengurangi persyaratan perangkat keras model dengan menggunakan tipe data yang kurang tepat untuk bobot dan aktivasi. Setelah Anda mengoptimalkan model dengan kuantisasi, Anda dapat menghostingnya dengan harga yang lebih murah dan lebih tersedia. GPUs Namun, model terkuantisasi mungkin kurang akurat dibandingkan model sumber yang Anda optimalkan.
Format data yang didukung SageMaker AI untuk kuantisasi bervariasi dari model ke model. Format yang didukung meliputi:
+ INT4-AWQ — Format data 4-bit. Activation-aware Weight Quantization (AWQ) adalah teknik kuantisasi yang efisien, akurat, bit LLMs rendah, dan hanya berat.
+ FP8 — 8-bit Floating Point (FP8) adalah format presisi rendah untuk angka floating point. Ini menyeimbangkan efisiensi memori dan akurasi model dengan mewakili nilai dengan bit lebih sedikit dari format FP16 floating point standar.
+ INT8- SmoothQuant — Sebuah format data 8-bit. SmoothQuant adalah metode kuantisasi presisi campuran yang menskalakan aktivasi dan bobot secara bersama-sama dengan menyeimbangkan rentang dinamisnya.
### Penguraian spekulatif
*Decoding spekulatif* adalah teknik untuk mempercepat proses decoding besar. LLMs Ini mengoptimalkan model untuk latensi tanpa mengorbankan kualitas teks yang dihasilkan.
Teknik ini menggunakan model yang lebih kecil namun lebih cepat yang disebut model *draft*. Model draf menghasilkan token kandidat, yang kemudian divalidasi oleh model *target* yang lebih besar tetapi lebih lambat. Pada setiap iterasi, model draf menghasilkan beberapa token kandidat. Model target memverifikasi token, dan jika menemukan bahwa token tertentu tidak dapat diterima, ia menolak token dan meregenerasinya. Jadi, model target memverifikasi token dan menghasilkan sejumlah kecil token.
Model draf secara signifikan lebih cepat daripada model target. Ini menghasilkan semua token dengan cepat dan kemudian mengirimkan batch mereka ke model target untuk verifikasi. Model target mengevaluasi semuanya secara paralel, yang mempercepat respons akhir.
SageMaker AI menawarkan model draft pre-built yang dapat Anda gunakan, jadi Anda tidak perlu membuatnya sendiri. Jika Anda lebih suka menggunakan model draf khusus Anda sendiri, SageMaker AI juga mendukung opsi ini.
### Pemuatan model cepat
Teknik *pemuatan model cepat* menyiapkan LLM sehingga SageMaker AI dapat memuatnya ke instance HTML lebih cepat.
Untuk mempersiapkan model, SageMaker AI memecahnya terlebih dahulu dengan membaginya menjadi beberapa bagian yang masing-masing dapat berada pada GPU terpisah untuk inferensi terdistribusi. Selain itu, SageMaker AI menyimpan bobot model dalam potongan berukuran sama yang dapat dimuat SageMaker AI ke instance secara bersamaan.
Saat SageMaker AI memuat model yang dioptimalkan ke instance, AI mengalirkan bobot model langsung dari Amazon S3 ke GPUs instance. Dengan mengalirkan bobot, SageMaker AI menghilangkan beberapa langkah yang memakan waktu yang biasanya diperlukan. Langkah-langkah ini termasuk mengunduh artefak model dari Amazon S3 ke disk, memuat artefak model ke memori host, dan membagi model pada host sebelum akhirnya memuat pecahan ke file. GPUs
Setelah mengoptimalkan model untuk pemuatan yang lebih cepat, Anda dapat menerapkannya lebih cepat ke titik akhir SageMaker AI. Selain itu, jika Anda mengonfigurasi titik akhir untuk menggunakan penskalaan otomatis, penskalaan akan lebih cepat untuk mengakomodasi peningkatan lalu lintas.
# Terapkan model yang telah dioptimalkan sebelumnya
Beberapa model telah JumpStart dioptimalkan sebelumnya oleh SageMaker AI, yang berarti Anda dapat menerapkan versi yang dioptimalkan dari model ini tanpa terlebih dahulu membuat pekerjaan pengoptimalan inferensi.
Untuk daftar model dengan opsi yang telah dioptimalkan sebelumnya, lihat[Model pra-dioptimalkan JumpStart](#pre-optimized-js).
## SageMaker Studio Amazon
Gunakan prosedur berikut untuk menerapkan JumpStart model yang telah dioptimalkan sebelumnya menggunakan Amazon SageMaker Studio.
**Untuk menerapkan model yang telah dioptimalkan sebelumnya**
1. Di Studio, di menu navigasi di sebelah kiri, pilih **JumpStart**.
1. Pada halaman **Semua model publik**, pilih salah satu model yang telah dioptimalkan sebelumnya.
1. Pada halaman detail model, pilih **Deploy**.
1. Pada halaman penerapan, beberapa JumpStart model mengharuskan Anda untuk menandatangani perjanjian lisensi pengguna akhir (EULA) sebelum Anda dapat melanjutkan. Jika diminta, tinjau persyaratan lisensi di bagian **Perjanjian Lisensi**. Jika persyaratan dapat diterima untuk kasus penggunaan Anda, pilih kotak centang untuk **Saya menerima EULA, dan baca syarat dan ketentuan**.
Untuk informasi selengkapnya, lihat [Perjanjian lisensi pengguna akhir](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula).
1. Untuk **nama Endpoint** dan **jumlah instans awal**, terima nilai default atau setel yang kustom.
1. Untuk **tipe Instance**, pertahankan nilai default. Jika tidak, Anda tidak dapat menerapkan konfigurasi yang telah dioptimalkan sebelumnya.
1. Di bawah **Model**, perluas konfigurasi model. Studio menampilkan tabel yang menyediakan konfigurasi yang telah dioptimalkan sebelumnya yang dapat Anda pilih. Setiap opsi memiliki metrik untuk latensi dan throughput. Pilih opsi yang paling sesuai dengan kebutuhan aplikasi Anda.
1. Pilih **Deploy**.
## SageMaker SDK Python AI
Anda dapat menerapkan model yang telah dioptimalkan sebelumnya dengan menggunakan AI SageMaker Python SDK dalam proyek Anda. Pertama, Anda mendefinisikan sebuah `Model` instance dengan menggunakan `ModelBuilder` kelas. Kemudian, Anda menggunakan `set_deployment_config()` metode untuk mengatur konfigurasi yang telah dioptimalkan sebelumnya yang ingin Anda terapkan. Kemudian, Anda menggunakan `build()` metode untuk membangun model. Akhirnya, Anda menggunakan `deploy()` metode untuk menerapkannya ke titik akhir inferensi.
Untuk informasi selengkapnya tentang kelas dan metode yang digunakan dalam contoh berikut, lihat [APIs](https://sagemaker.readthedocs.io/en/stable/api/index.html)di dokumentasi SageMaker AI Python SDK.
**Untuk menyiapkan proyek Anda**
1. Dalam kode aplikasi Anda, impor pustaka yang diperlukan. Contoh berikut mengimpor SDK untuk Python (Boto3). Ini juga mengimpor modul dari SageMaker AI Python SDK yang Anda gunakan untuk mendefinisikan dan bekerja dengan model:
```
import boto3
from sagemaker.serve.builder.model_builder import ModelBuilder
from sagemaker.serve.builder.schema_builder import SchemaBuilder
from sagemaker.session import Session
```
1. Inisialisasi sesi SageMaker AI. Contoh berikut menggunakan `Session()` kelas:
```
sagemaker_session = Session()
```
**Untuk menentukan model Anda**
1. Buat `SchemaBuilder` instance, dan berikan sampel input dan output. Anda menyediakan instance ini ke `ModelBuilder` kelas ketika Anda mendefinisikan model. Dengan itu, SageMaker AI secara otomatis menghasilkan fungsi marshalling untuk membuat serial dan deserialisasi input dan output.
Untuk informasi selengkapnya tentang penggunaan `SchemaBuilder` dan `ModelBuilder` kelas, lihat[Buat model di Amazon SageMaker AI dengan ModelBuilder](how-it-works-modelbuilder-creation.md).
Contoh berikut memberikan sampel input dan output string ke `SchemaBuilder` kelas:
```
response = "Jupiter is the largest planet in the solar system. It is the fifth planet from the sun."
sample_input = {
"inputs": "What is the largest planet in the solar system?",
"parameters": {"max_new_tokens": 128, "top_p": 0.9, "temperature": 0.6},
}
sample_output = [{"generated_text": response}]
schema_builder = SchemaBuilder(sample_input, sample_output)
```
1. Tentukan model Anda ke SageMaker AI. Contoh berikut menetapkan parameter untuk menginisialisasi `ModelBuilder` instance:
```
model_builder = ModelBuilder(
model="jumpstart-model-id",
schema_builder=schema_builder,
sagemaker_session=sagemaker_session,
role_arn=sagemaker_session.get_caller_identity_arn(),
)
```
Contoh ini menggunakan JumpStart model. Ganti `jumpstart-model-id` dengan ID JumpStart model, seperti`meta-textgeneration-llama-3-70b`.
**Untuk mengambil metrik benchmark**
1. Untuk menentukan konfigurasi pra-optimasi mana yang ingin Anda terapkan, cari opsi yang disediakan SageMaker AI. Contoh berikut menampilkannya:
```
model_builder.display_benchmark_metrics()
```
`display_benchmark_metrics()`Metode ini mencetak tabel seperti berikut:
```
| Instance Type | Config Name | Concurrent Users | Latency, TTFT (P50 in sec) | Throughput (P50 in tokens/sec/user) |
|:----------------|:--------------|-------------------:|-----------------------------:|--------------------------------------:|
| ml.g5.48xlarge | lmi-optimized | 1 | 2.25 | 49.70 |
| ml.g5.48xlarge | lmi-optimized | 2 | 2.28 | 21.10 |
| ml.g5.48xlarge | lmi-optimized | 4 | 2.37 | 14.10 |
. . .
| ml.p4d.24xlarge | lmi-optimized | 1 | 0.10 | 137.40 |
| ml.p4d.24xlarge | lmi-optimized | 2 | 0.11 | 109.20 |
| ml.p4d.24xlarge | lmi-optimized | 4 | 0.13 | 85.00 |
. . .
```
Di kolom pertama, tabel mencantumkan jenis instance potensial yang dapat Anda gunakan untuk meng-host JumpStart model yang Anda pilih. Untuk setiap jenis instance, di bawah`Config Name`, ini mencantumkan nama konfigurasi yang telah dioptimalkan sebelumnya. Konfigurasi yang disediakan SageMaker AI diberi nama`lmi-optimized`. Untuk setiap jenis dan konfigurasi instans, tabel menyediakan metrik benchmark. Metrik ini menunjukkan throughput dan latensi yang akan didukung model Anda untuk jumlah pengguna bersamaan yang berbeda.
1. Berdasarkan metrik benchmark, pilih jenis instans dan nama konfigurasi yang paling mendukung kebutuhan kinerja Anda. Anda akan menggunakan nilai-nilai ini ketika Anda membuat konfigurasi penerapan.
**Untuk menerapkan model yang telah dioptimalkan sebelumnya**
1. Buat konfigurasi penerapan. Contoh berikut menggunakan `ModelBuilder` contoh. Ini meneruskan tipe instance dan nama konfigurasi ke `set_deployment_config()` metode:
```
model_builder.set_deployment_config(
config_name="config-name",
instance_type="instance-type",
)
```
Ganti *`config-name`* dengan nama konfigurasi dari tabel, seperti seperti`lmi-optimized`. Ganti `instance-type` dengan tipe instance dari tabel, seperti`ml.p4d.24xlarge`.
1. Bangun model Anda. Contoh berikut menggunakan `.build()` metode `ModelBuilder` instance:
```
optimized_model = model_builder.build()
```
`.build()`Metode mengembalikan instance deployable`Model`.
1. Terapkan model Anda ke titik akhir inferensi. Contoh berikut menggunakan `.deploy()` metode `Model` instance:
```
predictor = optimized_model.deploy(accept_eula=True)
```
`deploy()`Metode mengembalikan `Predictor` instance, yang dapat Anda gunakan untuk mengirim permintaan inferensi ke model.
**Untuk menguji model Anda dengan permintaan inferensi**
+ Setelah Anda menerapkan model Anda ke titik akhir inferensi, uji prediksi model. Contoh berikut mengirimkan permintaan inferensi dengan menggunakan `Predictor` instance:
```
predictor.predict(sample_input)
```
Model mengembalikan teks yang dihasilkannya dengan respons seperti berikut:
```
{'generated_text': ' Jupiter is the largest planet in the solar system. It is the fifth planet from the sun. It is a gas giant with . . .'}
```
## Model pra-dioptimalkan JumpStart
Berikut ini adalah JumpStart model yang memiliki konfigurasi yang telah dioptimalkan sebelumnya.
**Meta**
+ Instruksi Llama 3.1 70B
+ Llama 3.1 70B
+ Instruksi Llama 3.1 405B FP8
+ Llama 3.1 405B FP8
+ Instruksi Llama 3 8B
+ Llama 3 8B
+ Instruksi Llama 3 70B
+ Llama 3 70B
+ Llama 2 70B Obrolan
+ Llama 2 7B Obrolan
+ Llama 2 13B Obrolan
**HuggingFace**
+ Instruksi Mixtral 8x7B
+ Mixtral 8x7B
+ Instruksi Mistral 7B
+ Mistral 7B
### Model pra-kompilasi JumpStart
Untuk beberapa model dan konfigurasi, SageMaker AI menyediakan model yang telah dikompilasi sebelumnya untuk instans AWS Inferentia dan AWS Trainium tertentu. Untuk ini, jika Anda membuat pekerjaan pengoptimalan kompilasi, dan Anda memilih ml.inf2.48xlarge atau ml.trn1.32xlarge sebagai jenis instance penerapan, AI mengambil artefak yang dikompilasi. SageMaker Karena pekerjaan menggunakan model yang sudah dikompilasi, pekerjaan selesai dengan cepat tanpa menjalankan kompilasi dari awal.
Berikut ini adalah JumpStart model yang SageMaker AI memiliki model pra-kompilasi:
**Meta**
+ Llama3 8B
+ Llama3 70B
+ Llama2 7B
+ Llama2 70B
+ Llama2 13B
+ Kode Llama 7B
+ Kode Llama 70B
**HuggingFace**
+ Mistral 7B
# Buat pekerjaan pengoptimalan inferensi
Anda dapat membuat pekerjaan pengoptimalan inferensi dengan menggunakan Studio atau SageMaker AI Python SDK. Pekerjaan mengoptimalkan model Anda dengan menerapkan teknik yang Anda pilih. Untuk informasi selengkapnya, lihat [Teknik pengoptimalan](model-optimize.md#optimization-techniques).
**Penetapan harga instans untuk pekerjaan pengoptimalan inferensi**
Saat Anda membuat pekerjaan pengoptimalan inferensi yang menerapkan kuantisasi atau kompilasi, SageMaker AI memilih jenis instans mana yang akan digunakan untuk menjalankan pekerjaan. Anda dikenakan biaya berdasarkan instance yang digunakan.
Untuk jenis instans yang mungkin dan detail harganya, lihat informasi harga pengoptimalan inferensi di halaman [ SageMaker harga Amazon](https://aws.amazon.com/sagemaker/pricing/).
Anda tidak dikenakan biaya tambahan untuk pekerjaan yang menerapkan decoding spekulatif.
Untuk model yang didukung yang dapat Anda optimalkan, lihat[Referensi model yang didukung](optimization-supported-models.md).
## SageMaker Studio Amazon
Selesaikan langkah-langkah berikut untuk membuat pekerjaan pengoptimalan inferensi di Studio.
**Untuk mulai membuat pekerjaan optimasi**
1. Di SageMaker AI Studio, buat pekerjaan pengoptimalan melalui salah satu jalur berikut:
+ Untuk membuat pekerjaan untuk JumpStart model, lakukan hal berikut:
1. Di menu navigasi, pilih **JumpStart**.
1. Pada halaman **Semua model publik**, pilih penyedia model, lalu pilih salah satu model yang mendukung pengoptimalan.
1. Pada halaman detail model, pilih **Optimalkan**. Tombol ini diaktifkan hanya untuk model yang mendukung optimasi.
1. Pada halaman **pekerjaan Buat pengoptimalan inferensi**, beberapa JumpStart model mengharuskan Anda menandatangani perjanjian lisensi pengguna akhir (EULA) sebelum Anda dapat melanjutkan. Jika diminta, tinjau persyaratan lisensi di bagian **Perjanjian Lisensi**. Jika persyaratan dapat diterima untuk kasus penggunaan Anda, pilih kotak centang untuk **Saya menerima EULA, dan baca syarat dan ketentuan**.
+ Untuk membuat pekerjaan untuk JumpStart model yang disetel dengan baik, lakukan hal berikut:
1. Di menu navigasi, di bawah **Pekerjaan**, pilih **Pelatihan**.
1. Pada halaman **Training Jobs**, pilih nama pekerjaan yang Anda gunakan untuk menyempurnakan JumpStart model. Pekerjaan ini memiliki jenis **JumpStartpelatihan** di kolom **Jenis Job**.
1. Pada halaman detail untuk pekerjaan pelatihan, pilih **Optimalkan**.
+ Untuk membuat pekerjaan untuk model kustom, lakukan hal berikut:
1. Di menu navigasi, di bawah **Jobs**, pilih **Optimasi inferensi**.
1. Pilih **Buat pekerjaan baru**.
1. Pada halaman **pekerjaan Buat optimasi inferensi**, pilih **Tambah model**.
1. Di jendela **Tambah model**, pilih **Model Kustom**.
1. Pilih salah satu opsi berikut:
**Gunakan model yang ada** - Pilih opsi ini untuk mengoptimalkan model yang telah Anda buat di SageMaker AI.
**Nama model yang ada** - masukkan nama model SageMaker AI Anda.
**Dari S3** - Pilih opsi ini untuk menyediakan artefak model dari Amazon S3. Untuk **URI S3**, masukkan URI untuk lokasi di Amazon S3 tempat Anda menyimpan artefak model.
1. (Opsional) Untuk ****nama model Output****, Anda dapat memasukkan nama khusus untuk model yang dioptimalkan yang dibuat oleh pekerjaan. Jika Anda tidak memberikan nama, Studio secara otomatis membuatnya berdasarkan pilihan Anda.
1. Pada halaman **pekerjaan Buat optimasi inferensi**, untuk **nama Job**, Anda dapat menerima nama default yang diberikan SageMaker AI. Atau, untuk memasukkan nama pekerjaan khusus, pilih bidang **Nama pekerjaan**, dan pilih **Masukkan nama pekerjaan**.
**Untuk mengatur konfigurasi optimasi**
1. Untuk **jenis instance Deployment**, pilih jenis instance yang ingin Anda optimalkan modelnya.
Jenis instans memengaruhi teknik pengoptimalan apa yang dapat Anda pilih. **Untuk sebagian besar jenis yang menggunakan perangkat keras GPU, teknik yang didukung adalah **Quantization** dan Speculative decoding.** Jika Anda memilih instance yang menggunakan silikon khusus, seperti instance AWS Inferentia ml.inf2.8xlarge, teknik yang didukung adalah **Kompilasi, yang dapat Anda gunakan untuk mengkompilasi** model untuk jenis perangkat keras tertentu.
1. Pilih satu atau beberapa teknik pengoptimalan yang disediakan Studio:
+ Jika Anda memilih **Kuantisasi**, pilih tipe data untuk tipe **data presisi**.
+ Jika Anda memilih **decoding spekulatif**, pilih salah satu opsi berikut:
+ **Gunakan model draf SageMaker AI** — Pilih untuk menggunakan model draf yang disediakan SageMaker AI.
**catatan**
Jika Anda memilih untuk menggunakan model draf SageMaker AI, Anda juga harus mengaktifkan isolasi jaringan. Studio menyediakan opsi ini di bawah **Keamanan**.
+ **Pilih model JumpStart draf** — Pilih untuk memilih model dari JumpStart katalog yang akan digunakan sebagai model draf Anda.
+ **Pilih model draf Anda sendiri** — Pilih untuk menggunakan model draf Anda sendiri, dan berikan URI S3 yang menempatkannya.
+ Jika Anda memilih **Pemuatan model cepat**, Studio menunjukkan variabel `OPTION_TENSOR_PARALLEL_DEGREE` lingkungan. Gunakan bidang **Nilai** untuk mengatur derajat paralelisme tensor. Nilai harus membagi secara merata jumlah GPUs dalam instance yang Anda pilih untuk **jenis instance Deployment**. Misalnya, untuk membelah model Anda saat menggunakan instance dengan 8 GPUs, gunakan nilai 2, 4, atau 8.
+ Jika Anda menyetel **jenis instance Deployment** ke instance AWS Inferentia atau AWS Trainium, Studio mungkin menunjukkan bahwa **Kompilasi** adalah salah satu opsi yang didukung. Dalam hal ini, Studio memilih opsi ini untuk Anda.
1. Untuk **Output**, masukkan URI lokasi di Amazon S3. Di sana, SageMaker AI menyimpan artefak dari model yang dioptimalkan yang dibuat oleh pekerjaan Anda.
1. (Opsional) Perluas **opsi lanjutan** untuk kontrol yang lebih halus atas pengaturan seperti peran IAM, VPC, dan variabel lingkungan. Untuk informasi selengkapnya, lihat *Opsi lanjutan* di bawah ini.
1. Setelah selesai mengonfigurasi pekerjaan, pilih **Buat pekerjaan**.
Studio menampilkan halaman detail pekerjaan, yang menunjukkan status pekerjaan dan semua pengaturannya.
### Opsi lanjutan
Anda dapat mengatur opsi lanjutan berikut saat membuat pekerjaan pengoptimalan inferensi.
Di bawah **Konfigurasi**, Anda dapat mengatur opsi berikut:
**Derajat paralel tensor **
Nilai untuk tingkat *paralelisme tensor*. Paralelisme tensor adalah jenis paralelisme model di mana bobot model tertentu, gradien, dan status pengoptimal dibagi di seluruh perangkat. Nilai harus merata membagi jumlah GPUs di cluster Anda.
**Panjang token maksimum**
Batas jumlah token yang akan dihasilkan oleh model. Perhatikan bahwa model mungkin tidak selalu menghasilkan jumlah token maksimum.
**Bersamaan**
Kemampuan untuk menjalankan beberapa contoh model pada perangkat keras dasar yang sama. Gunakan konkurensi untuk menyajikan prediksi kepada banyak pengguna dan untuk memaksimalkan pemanfaatan perangkat keras.
**Ukuran batch**
Jika model Anda melakukan *inferensi batch*, gunakan opsi ini untuk mengontrol ukuran batch yang diproses model Anda.
Inferensing Batch menghasilkan prediksi model pada batch pengamatan. Ini adalah pilihan yang baik untuk kumpulan data besar atau jika Anda tidak memerlukan respons langsung terhadap permintaan inferensi.
Di bawah **Keamanan**, Anda dapat mengatur opsi berikut:
**IAM Role**
Peran IAM yang memungkinkan SageMaker AI melakukan tugas atas nama Anda. Selama pengoptimalan model, SageMaker AI memerlukan izin Anda untuk:
+ Baca data masukan dari bucket S3
+ Tulis artefak model ke ember S3
+ Menulis log ke Amazon CloudWatch Logs
+ Publikasikan metrik ke Amazon CloudWatch
Anda memberikan izin untuk semua tugas ini ke peran IAM.
Untuk informasi selengkapnya, lihat [Cara menggunakan peran eksekusi SageMaker AI](sagemaker-roles.md).
**Kunci KMS enkripsi**
Sebuah kunci dalam AWS Key Management Service (AWS KMS). SageMaker AI menggunakan kunci mereka untuk mengenkripsi artefak model yang dioptimalkan saat SageMaker AI mengunggah model ke Amazon S3.
**VPC**
SageMaker AI menggunakan informasi ini untuk membuat antarmuka jaringan dan melampirkannya ke wadah model Anda. Antarmuka jaringan menyediakan wadah model Anda dengan koneksi jaringan dalam VPC Anda yang tidak terhubung ke internet. Mereka juga memungkinkan model Anda terhubung ke sumber daya di VPC pribadi Anda.
Untuk informasi selengkapnya, lihat [Berikan Akses Titik Akhir yang Dihosting SageMaker AI ke Sumber Daya di VPC Amazon Anda](host-vpc.md).
**Aktifkan isolasi jaringan**
Aktifkan opsi ini jika Anda ingin membatasi akses internet kontainer Anda. Kontainer yang berjalan dengan isolasi jaringan tidak dapat melakukan panggilan jaringan keluar.
Anda harus mengaktifkan opsi ini ketika Anda mengoptimalkan dengan decoding spekulatif dan Anda menggunakan model draf AI. SageMaker
Untuk informasi selengkapnya tentang isolasi jaringan, lihat[Isolasi Jaringan](mkt-algo-model-internet-free.md#mkt-algo-model-internet-free-isolation).
Di bawah **Definisi kontainer lanjutan**, Anda dapat mengatur opsi berikut:
**Kondisi berhenti**
Menentukan batas untuk berapa lama pekerjaan dapat berjalan. Ketika pekerjaan mencapai batas waktu, SageMaker AI mengakhiri pekerjaan. Gunakan opsi ini untuk membatasi biaya.
**Tag**
Pasangan nilai kunci yang terkait dengan pekerjaan pengoptimalan.
Untuk informasi selengkapnya tentang tag, lihat [Menandai AWS sumber daya Anda](https://docs.aws.amazon.com/tag-editor/latest/userguide/tagging.html) di. *Referensi Umum AWS*
**Variabel-variabel lingkungan**
Pasangan kunci-nilai yang menentukan variabel lingkungan untuk diatur dalam wadah model.
## SageMaker SDK Python AI
Anda dapat membuat pekerjaan pengoptimalan inferensi dengan menggunakan SageMaker AI Python SDK dalam proyek Anda. Pertama, Anda mendefinisikan sebuah `Model` instance dengan menggunakan `ModelBuilder` kelas. Kemudian, Anda menggunakan `optimize()` metode ini untuk menjalankan pekerjaan yang mengoptimalkan model Anda dengan kuantisasi, decoding spekulatif, atau kompilasi. Ketika pekerjaan selesai, Anda menerapkan model ke titik akhir inferensi dengan menggunakan metode. `deploy()`
Untuk informasi selengkapnya tentang kelas dan metode yang digunakan dalam contoh berikut, lihat [APIs](https://sagemaker.readthedocs.io/en/stable/api/index.html)di dokumentasi SageMaker AI Python SDK.
**Untuk menyiapkan proyek Anda**
1. Dalam kode aplikasi Anda, impor pustaka yang diperlukan. Contoh berikut mengimpor SDK untuk Python (Boto3). Ini juga mengimpor kelas dari SageMaker AI Python SDK yang Anda gunakan untuk mendefinisikan dan bekerja dengan model:
```
import boto3
from sagemaker.serve.builder.model_builder import ModelBuilder
from sagemaker.serve.builder.schema_builder import SchemaBuilder
from sagemaker.session import Session
from pathlib import Path
```
1. Inisialisasi sesi SageMaker AI. Contoh berikut menggunakan `Session()` kelas:
```
sagemaker_session = Session()
```
**Untuk menentukan model Anda**
1. Buat `SchemaBuilder` instance, dan berikan sampel input dan output. Anda menyediakan instance ini ke `ModelBuilder` kelas ketika Anda mendefinisikan model. Dengan itu, SageMaker AI secara otomatis menghasilkan fungsi marshalling untuk membuat serial dan deserialisasi input dan output.
Untuk informasi selengkapnya tentang penggunaan `SchemaBuilder` dan `ModelBuilder` kelas, lihat[Buat model di Amazon SageMaker AI dengan ModelBuilder](how-it-works-modelbuilder-creation.md).
Contoh berikut memberikan sampel input dan output string ke `SchemaBuilder` kelas:
```
response = "Jupiter is the largest planet in the solar system. It is the fifth planet from the sun."
sample_input = {
"inputs": "What is the largest planet in the solar system?",
"parameters": {"max_new_tokens": 128, "top_p": 0.9, "temperature": 0.6},
}
sample_output = [{"generated_text": response}]
schema_builder = SchemaBuilder(sample_input, sample_output)
```
1. Tentukan model Anda ke SageMaker AI. Contoh berikut menetapkan parameter untuk menginisialisasi `ModelBuilder` instance:
```
model_builder = ModelBuilder(
model="jumpstart-model-id",
schema_builder=schema_builder,
sagemaker_session=sagemaker_session,
role_arn=sagemaker_session.get_caller_identity_arn(),
)
```
Contoh ini menggunakan JumpStart model. Ganti `jumpstart-model-id` dengan ID JumpStart model, seperti`meta-textgeneration-llama-3-70b`.
**catatan**
Jika Anda ingin mengoptimalkan dengan decoding spekulatif, dan Anda ingin menggunakan draf SageMaker AI, Anda harus mengaktifkan isolasi jaringan. Untuk mengaktifkannya, sertakan argumen berikut saat Anda menginisialisasi `ModelBuilder` instance:
```
enable_network_isolation=True,
```
Untuk informasi selengkapnya tentang isolasi jaringan, lihat[Isolasi Jaringan](mkt-algo-model-internet-free.md#mkt-algo-model-internet-free-isolation).
**Untuk mengoptimalkan dengan kuantisasi**
1. Untuk menjalankan pekerjaan kuantisasi, gunakan `optimize()` metode, dan atur argumen. `quantization_config` Contoh berikut ditetapkan `OPTION_QUANTIZE` sebagai variabel lingkungan dalam wadah optimasi:
```
optimized_model = model_builder.optimize(
instance_type="instance-type",
accept_eula=True,
quantization_config={
"OverrideEnvironment": {
"OPTION_QUANTIZE": "awq",
},
},
output_path="s3://output-path",
)
```
Dalam contoh ini, ganti *`instance-type`* dengan instance ML, seperti`ml.p4d.24xlarge`. Ganti *`s3://output-path`* dengan jalur ke lokasi S3 tempat Anda menyimpan model yang dioptimalkan yang dibuat oleh pekerjaan.
`optimize()`Metode mengembalikan `Model` objek, yang dapat Anda gunakan untuk menyebarkan model Anda ke titik akhir.
1. Saat pekerjaan selesai, gunakan model. Contoh berikut menggunakan `deploy()` metode ini:
```
predictor = optimized_model.deploy(
instance_type="instance-type",
accept_eula=True,
)
```
Dalam contoh ini, ganti *`instance-type`* dengan instance ML, seperti`ml.p4d.24xlarge`.
`deploy()`Metode mengembalikan objek prediktor, yang dapat Anda gunakan untuk mengirim permintaan inferensi ke titik akhir yang menghosting model.
**Untuk mengoptimalkan dengan decoding spekulatif menggunakan model draft AI SageMaker**
Saat Anda mengoptimalkan model Anda dengan decoding spekulatif, Anda dapat memilih untuk menggunakan model draf yang disediakan SageMaker AI, atau Anda dapat menggunakannya sendiri. Contoh berikut menggunakan model draf SageMaker AI.
**Prasyarat**
Untuk mengoptimalkan dengan decoding spekulatif dan model draf SageMaker AI, Anda harus mengaktifkan isolasi jaringan saat menentukan model Anda.
1. Untuk menjalankan pekerjaan decoding spekulatif, gunakan `optimize()` metode, dan atur argumennya. `speculative_decoding_config` Contoh berikut menetapkan `ModelProvider` kunci `SAGEMAKER` untuk menggunakan model draf yang disediakan SageMaker AI.
```
optimized_model = model_builder.optimize(
instance_type="instance-type",
accept_eula=True,
speculative_decoding_config={
"ModelProvider": "SAGEMAKER",
},
)
```
Dalam contoh ini, ganti *`instance-type`* dengan instance ML, seperti`ml.p4d.24xlarge`.
`optimize()`Metode mengembalikan `Model` objek, yang dapat Anda gunakan untuk menyebarkan model Anda ke titik akhir.
1. Saat pekerjaan selesai, gunakan model. Contoh berikut menggunakan `deploy()` metode ini:
```
predictor = optimized_model.deploy(accept_eula=True)
```
`deploy()`Metode mengembalikan objek prediktor, yang dapat Anda gunakan untuk mengirim permintaan inferensi ke titik akhir yang menghosting model.
**Untuk mengoptimalkan dengan decoding spekulatif menggunakan model draf khusus**
Sebelum Anda dapat memberikan model draf khusus Anda ke SageMaker AI, Anda harus terlebih dahulu mengunggah artefak model ke Amazon S3.
Contoh berikut menunjukkan satu cara yang mungkin untuk menyediakan model draf khusus. Contoh mengunduh model draf dari Hugging Face Hub, mengunggahnya ke Amazon S3, dan memberikan URI S3 ke argumen. `speculative_decoding_config`
1. Jika Anda ingin mengunduh model dari Hugging Face Hub, tambahkan pustaka `huggingface_hub` ke proyek Anda, dan unduh model dengan metode `snapshot_download()` tersebut. Contoh berikut mengunduh model ke direktori lokal:
```
import huggingface_hub
huggingface_hub.snapshot_download(
repo_id="model-id",
revision="main",
local_dir=download-dir,
token=hf-access-token,
)
```
Dalam contoh ini, ganti *`model-id`* dengan ID model Hugging Face Hub, seperti`meta-llama/Meta-Llama-3-8B`. Ganti *`download-dir`* dengan direktori lokal. Ganti *`hf-access-token`* dengan token akses pengguna Anda. Untuk mempelajari cara mendapatkan token akses, lihat [Token akses pengguna](https://huggingface.co/docs/hub/en/security-tokens) di dokumentasi Hugging Face.
Untuk informasi selengkapnya tentang `huggingface_hub` pustaka, lihat [Pustaka klien Hub](https://huggingface.co/docs/huggingface_hub/en/index) di dokumentasi Hugging Face.
1. Untuk membuat model yang Anda unduh tersedia untuk SageMaker AI, unggah ke Amazon S3. Contoh berikut mengunggah model dengan `sagemaker_session` objek:
```
custom_draft_model_uri = sagemaker_session.upload_data(
path=hf_local_download_dir.as_posix(),
bucket=sagemaker_session.default_bucket(),
key_prefix="prefix",
)
```
Dalam contoh ini, ganti *`prefix`* dengan qualifier yang membantu Anda membedakan model draf di S3, seperti. `spec-dec-custom-draft-model`
`upload_data()`Metode mengembalikan URI S3 untuk artefak model.
1. Untuk menjalankan pekerjaan decoding spekulatif, gunakan `optimize()` metode, dan atur argumennya. `speculative_decoding_config` Contoh berikut menetapkan `ModelSource` kunci ke URI S3 dari model draf kustom:
```
optimized_model = model_builder.optimize(
instance_type="instance-type",
accept_eula=True,
speculative_decoding_config={
"ModelSource": custom_draft_model_uri + "/",
},
)
```
Dalam contoh ini, ganti *`instance-type`* dengan instance ML, seperti`ml.p4d.24xlarge`.
`optimize()`Metode mengembalikan `Model` objek, yang dapat Anda gunakan untuk menyebarkan model Anda ke titik akhir.
1. Saat pekerjaan selesai, gunakan model. Contoh berikut menggunakan `deploy()` metode ini:
```
predictor = optimized_model.deploy(accept_eula=True)
```
`deploy()`Metode mengembalikan objek prediktor, yang dapat Anda gunakan untuk mengirim permintaan inferensi ke titik akhir yang menghosting model.
**Untuk mengoptimalkan dengan kompilasi**
1. Untuk menjalankan pekerjaan kompilasi, gunakan `optimize()` metode, dan atur `compilation_config` argumen. Contoh berikut menggunakan `OverrideEnvironment` kunci untuk mengatur variabel lingkungan yang diperlukan dalam wadah optimasi:
```
optimized_model = model_builder.optimize(
instance_type="instance-type",
accept_eula=True,
compilation_config={
"OverrideEnvironment": {
"OPTION_TENSOR_PARALLEL_DEGREE": "24",
"OPTION_N_POSITIONS": "8192",
"OPTION_DTYPE": "fp16",
"OPTION_ROLLING_BATCH": "auto",
"OPTION_MAX_ROLLING_BATCH_SIZE": "4",
"OPTION_NEURON_OPTIMIZE_LEVEL": "2",
}
},
output_path="s3://output-path",
)
```
Dalam contoh ini, atur *`instance-type`* ke tipe instans ML dengan perangkat keras yang dipercepat. Misalnya, untuk inferensi yang dipercepat dengan AWS Inferentia, Anda dapat mengatur tipe ke instance Inf2, seperti. `ml.inf2.48xlarge` Ganti *`s3://output-path`* dengan jalur ke lokasi S3 tempat Anda menyimpan model yang dioptimalkan yang dibuat oleh pekerjaan.
1. Saat pekerjaan selesai, gunakan model. Contoh berikut menggunakan `deploy()` metode ini:
```
predictor = optimized_model.deploy(accept_eula=True)
```
`deploy()`Metode mengembalikan objek prediktor, yang dapat Anda gunakan untuk mengirim permintaan inferensi ke titik akhir yang menghosting model.
**Untuk menguji model Anda dengan permintaan inferensi**
+ Untuk mengirim permintaan inferensi pengujian ke model yang Anda gunakan, gunakan `predict()` metode objek prediktor. Contoh berikut meneruskan `sample_input` variabel yang juga diteruskan ke `SchemaBuilder` kelas dalam contoh untuk menentukan model Anda:
```
predictor.predict(sample_input)
```
Masukan sampel memiliki prompt,`"What is the largest planet in the solar system?"`. `predict()`Metode mengembalikan respon bahwa model dihasilkan, seperti yang ditunjukkan oleh contoh berikut:
```
{'generated_text': ' Jupiter is the largest planet in the solar system. It is the fifth planet from the sun. It is a gas giant with . . .'}
```
## AWS SDK untuk Python (Boto3)
Anda dapat menggunakan AWS SDK for Python (Boto3) untuk membuat dan mengelola pekerjaan pengoptimalan inferensi secara terprogram. Bagian ini memberikan contoh untuk teknik optimasi yang berbeda.
**Prasyarat**
Sebelum membuat pekerjaan pengoptimalan dengan Boto3, pastikan Anda memiliki:
+ AWS Kredensi yang dikonfigurasi - Siapkan AWS kredensil Anda dengan izin yang sesuai
+ Membuat model SageMaker AI (jika menggunakan model yang ada)
+ Data pelatihan yang disiapkan di S3 (untuk optimasi decoding spekulatif, mendukung panjang konteks hingga 4096)
+ Peran IAM dengan izin yang diperlukan - Peran eksekusi Anda harus memiliki izin untuk mengakses S3 dan membuat sumber daya SageMaker
**Contoh: Buat Job Optimasi dengan EAGLE Speculative Decoding (Llama 3.3 70B)**
Contoh ini menunjukkan pembuatan pekerjaan pengoptimalan untuk model bahasa besar menggunakan teknik decoding spekulatif EAGLE:
```
import boto3
# Initialize SageMaker client
sagemaker_client = boto3.client('sagemaker', region_name='us-west-2')
# Step 1: Create a SageMaker model (if not already created)
model_response = sagemaker_client.create_model(
ModelName='meta-llama-3-3-70b-instruct',
ExecutionRoleArn='arn:aws:iam::123456789012:role/SageMakerExecutionRole',
PrimaryContainer={
'Image': '763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:',
'ModelDataSource': {
'S3DataSource': {
'S3Uri': 's3://my-bucket/models/Llama-3.3-70B-Instruct/',
'S3DataType': 'S3Prefix',
'CompressionType': 'None'
}
},
'Environment': {
'SAGEMAKER_ENV': '1',
'SAGEMAKER_MODEL_SERVER_TIMEOUT': '3600'
}
}
)
# Step 2: Create optimization job with speculative decoding
optimization_response = sagemaker_client.create_optimization_job(
OptimizationJobName='llama-optim-job-eagle-speculative-decoding',
RoleArn='arn:aws:iam::123456789012:role/SageMakerExecutionRole',
ModelSource={
'SageMakerModel': {
'ModelName': 'meta-llama-3-3-70b-instruct'
}
},
DeploymentInstanceType='ml.p4d.24xlarge',
# MaxInstanceCount specifies the maximum number of instances for distributed training
MaxInstanceCount=4,
OptimizationConfigs=[
{
'ModelSpeculativeDecodingConfig': {
'Technique': 'EAGLE',
'TrainingDataSource': {
'S3Uri': 's3://my-bucket/training_data/ultrachat_8k/',
'S3DataType': 'S3Prefix'
}
}
}
],
OutputConfig={
'S3OutputLocation': 's3://my-bucket/optimized-models/llama-optim-output/',
},
StoppingCondition={
'MaxRuntimeInSeconds': 432000 # 5 days
}
)
print(f"Optimization job ARN: {optimization_response['OptimizationJobArn']}")
```
**Contoh: Buat Job Optimasi dari Artefak Model S3 (Qwen3 32B)**
Contoh ini menunjukkan cara membuat pekerjaan pengoptimalan menggunakan artefak model langsung dari S3:
```
import boto3
sagemaker_client = boto3.client('sagemaker', region_name='us-west-2')
# Create model from S3 artifacts
model_response = sagemaker_client.create_model(
ModelName='qwen3-32b',
ExecutionRoleArn='arn:aws:iam::123456789012:role/SageMakerExecutionRole',
PrimaryContainer={
'Image': '763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:',
'Mode': 'SingleModel',
'ModelDataSource': {
'S3DataSource': {
'S3Uri': 's3://my-bucket/models/qwen3-32b/',
'S3DataType': 'S3Prefix',
'CompressionType': 'None'
}
},
'Environment': {
'AWS_REGION': 'us-west-2'
}
}
)
# Create optimization job with smaller training dataset
optimization_response = sagemaker_client.create_optimization_job(
OptimizationJobName='qwen3-optim-job-eagle',
RoleArn='arn:aws:iam::123456789012:role/SageMakerExecutionRole',
ModelSource={
'SageMakerModel': {
'ModelName': 'qwen3-32b'
}
},
DeploymentInstanceType='ml.g6.48xlarge',
MaxInstanceCount=4,
OptimizationConfigs=[
{
'ModelSpeculativeDecodingConfig': {
'Technique': 'EAGLE',
'TrainingDataSource': {
'S3Uri': 's3://my-bucket/training_data/ultrachat_1k/',
'S3DataType': 'S3Prefix'
}
}
}
],
OutputConfig={
'S3OutputLocation': 's3://my-bucket/optimized-models/qwen3-optim-output/',
},
StoppingCondition={
'MaxRuntimeInSeconds': 432000 # 5 days
}
)
print(f"Optimization job ARN: {optimization_response['OptimizationJobArn']}")
```
**Contoh: Memantau dan Mengelola Pekerjaan Optimasi**
Setelah membuat pekerjaan pengoptimalan, Anda dapat memantau kemajuannya dan mengelolanya menggunakan perintah ini:
```
import boto3
sagemaker_client = boto3.client('sagemaker', region_name='us-west-2')
# Describe optimization job to check status
describe_response = sagemaker_client.describe_optimization_job(
OptimizationJobName='llama-optim-job-eagle-speculative-decoding'
)
print(f"Job Status: {describe_response['OptimizationJobStatus']}")
# List all optimization jobs (with pagination)
list_response = sagemaker_client.list_optimization_jobs(
MaxResults=10,
SortBy='CreationTime',
SortOrder='Descending'
)
print("\nRecent optimization jobs:")
for job in list_response['OptimizationJobSummaries']:
print(f"- {job['OptimizationJobName']}: {job['OptimizationJobStatus']}")
# Stop a running optimization job if needed
# sagemaker_client.stop_optimization_job(
# OptimizationJobName='llama-optim-job-eagle-speculative-decoding'
# )
# Delete a completed or failed optimization job
# sagemaker_client.delete_optimization_job(
# OptimizationJobName='llama-optim-job-eagle-speculative-decoding'
# )
```
Decoding spekulatif dengan Eagle Heads menjalankan empat pekerjaan pelatihan berurutan. Setiap pekerjaan menghasilkan output yang menjadi input ke pekerjaan berikutnya. Hanya output dari pekerjaan akhir yang dikirim ke bucket S3 Anda. Output perantara dienkripsi dan disimpan dalam bucket layanan SageMaker AI internal hingga 20 hari. SageMaker AI tidak memiliki izin untuk men-de-crypt mereka. Jika Anda ingin data perantara dihapus sebelum periode waktu tersebut, pastikan pekerjaan Anda telah selesai atau telah dihentikan, lalu buka kasus dukungan [[https://docs.aws.amazon.com/awssupport/latest/user/case-management.html\$1 creating-a-support-case](https://docs.aws.amazon.com/awssupport/latest/user/case-management.html#creating-a-support-case)] agar data ini dihapus. Sertakan dalam permintaan ID AWS akun Anda dan pekerjaan pengoptimalan ARN.
## Keterbatasan model draf SageMaker AI
Untuk model apa pun yang Anda optimalkan dengan model draf SageMaker AI, perhatikan persyaratan, batasan, dan variabel lingkungan yang didukung.
**Persyaratan**
Anda harus melakukan tindakan berikut:
+ Gunakan model yang disediakan oleh SageMaker JumpStart.
+ Aktifkan isolasi jaringan untuk penerapan model.
+ Jika Anda menerapkan model ke wadah Large Model Inference (LMI), gunakan DJLServing wadah pada versi 0.28.0 atau lebih tinggi.
Untuk kontainer yang tersedia, lihat Wadah [Inferensi Model Besar di GitHub repositori](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#large-model-inference-containers) Deep Learning Containers.
+ Jika Anda menyempurnakan JumpStart model, gunakan format safetensors untuk bobot model.
Untuk informasi selengkapnya tentang format ini, lihat [Safetensors](https://huggingface.co/docs/safetensors/en/index) di dokumentasi Hugging Face.
**Pembatasan**
Anda tidak dapat melakukan hal berikut:
+ Gunakan model di lingkungan pengujian lokal yang Anda buat dengan mode lokal.
Untuk informasi selengkapnya tentang mode lokal, lihat [Mode Lokal](https://sagemaker.readthedocs.io/en/stable/overview.html#local-mode) dalam dokumentasi SageMaker AI Python SDK.
+ Akses wadah model melalui AWS Systems Manager Agen (Agen SSM). Agen SSM menyediakan akses tingkat shell ke wadah model Anda sehingga Anda dapat men-debug proses dan perintah log dengan Amazon. CloudWatch
Untuk informasi selengkapnya tentang fitur ini, lihat [Akses kontainer melalui SSM](ssm-access.md).
+ Konfigurasikan wadah model untuk dump inti yang terjadi jika proses macet.
Untuk informasi selengkapnya tentang pembuangan inti dari wadah model, lihat [ProductionVariantCoreDumpConfig](sagemaker/latest/APIReference/API_ProductionVariantCoreDumpConfig.html).
+ Terapkan model ke titik akhir multi-model, titik akhir multi-kontainer, atau titik akhir yang menampung komponen inferensi.
Untuk informasi selengkapnya tentang jenis titik akhir ini, lihat[Titik akhir multi-model](multi-model-endpoints.md),[Titik akhir multi-kontainer](multi-container-endpoints.md), dan[Komponen inferensi](realtime-endpoints-deploy-models.md#inference-components).
+ Buat paket model untuk model. Anda menggunakan paket model untuk membuat model deployable yang Anda publikasikan. AWS Marketplace
Untuk informasi selengkapnya tentang fitur ini, lihat [Membuat Model Package Resource](sagemaker-mkt-create-model-package.md).
+ Gunakan kode inferensi Anda sendiri dalam wadah model.
+ Gunakan `requirements.txt` file dalam wadah model. Jenis file ini mencantumkan dependensi paket.
+ Aktifkan parameter Hugging Face`trust_remote_code`.
**Variabel lingkungan yang didukung**
Anda dapat mengkonfigurasi kontainer hanya dengan variabel lingkungan berikut:
+ Variabel lingkungan umum untuk wadah inferensi model besar (LMI).
Untuk informasi selengkapnya tentang variabel-variabel ini, lihat [Konfigurasi Variabel Lingkungan](https://docs.djl.ai/master/docs/serving/serving/docs/lmi/deployment_guide/configurations.html#environment-variable-configurations) dalam dokumentasi kontainer LMI.
+ Variabel lingkungan umum untuk paket yang disediakan Hugging Face Hub di repositori Gitnya.
Untuk repositori, lihat [Hugging Face](https://github.com/huggingface) on. GitHub
+ Variabel lingkungan umum PyTorch & CUDA.
Untuk informasi selengkapnya tentang variabel-variabel ini, lihat [Variabel Lingkungan Obor](https://pytorch.org/docs/stable/torch_environment_variables.html) dalam PyTorch dokumentasi.
# Lihat hasil pekerjaan pengoptimalan
Setelah Anda membuat satu atau beberapa pekerjaan pengoptimalan, Anda dapat menggunakan Studio untuk melihat tabel ringkasan semua pekerjaan Anda, dan Anda dapat melihat detail untuk setiap pekerjaan individu.
## SageMaker Studio Amazon
**Untuk melihat tabel ringkasan pekerjaan optimasi**
+ Di menu navigasi Studio, di bawah **Pekerjaan**, pilih **Optimasi inferensi**.
Halaman **optimasi inferensi** menampilkan tabel yang menampilkan pekerjaan yang telah Anda buat. Untuk setiap pekerjaan, ini menunjukkan konfigurasi pengoptimalan yang Anda lamar dan status pekerjaan.
**Untuk melihat detail pekerjaan**
+ Pada halaman **Pengoptimalan inferensi**, di tabel ringkasan, pilih nama pekerjaan.
Studio menampilkan halaman detail pekerjaan, yang menunjukkan status pekerjaan dan semua pengaturan yang Anda terapkan saat Anda membuat pekerjaan. Jika pekerjaan berhasil diselesaikan, SageMaker AI menyimpan artefak model yang dioptimalkan di lokasi Amazon S3 di **bawah URI model S3 yang dioptimalkan**.
# Mengevaluasi kinerja model yang dioptimalkan
Setelah Anda menggunakan pekerjaan pengoptimalan untuk membuat model yang dioptimalkan, Anda dapat menjalankan evaluasi kinerja model. Evaluasi ini menghasilkan metrik untuk latensi, throughput, dan harga. Gunakan metrik ini untuk menentukan apakah model yang dioptimalkan memenuhi kebutuhan kasus penggunaan Anda atau apakah itu memerlukan pengoptimalan lebih lanjut.
Anda dapat menjalankan evaluasi kinerja hanya dengan menggunakan Studio. Fitur ini tidak disediakan melalui Amazon SageMaker AI API atau Python SDK.
## Sebelum Anda mulai
Sebelum Anda dapat membuat evaluasi kinerja, Anda harus terlebih dahulu mengoptimalkan model dengan membuat pekerjaan pengoptimalan inferensi. Di Studio, Anda hanya dapat mengevaluasi model yang Anda buat dengan pekerjaan ini.
## Buat evaluasi kinerja
Selesaikan langkah-langkah berikut di Studio untuk membuat evaluasi kinerja untuk model yang dioptimalkan.
1. Di menu navigasi Studio, di bawah **Pekerjaan**, pilih **Optimasi inferensi**.
1. Pilih nama pekerjaan yang menciptakan model yang dioptimalkan yang ingin Anda evaluasi.
1. Pada halaman detail pekerjaan, pilih **Evaluasi kinerja**.
1. Pada halaman **Evaluasi kinerja**, beberapa JumpStart model mengharuskan Anda untuk menandatangani perjanjian lisensi pengguna akhir (EULA) sebelum Anda dapat melanjutkan. Jika diminta, tinjau persyaratan lisensi di bagian **Perjanjian Lisensi**. Jika persyaratan dapat diterima untuk kasus penggunaan Anda, pilih kotak centang untuk **Saya menerima EULA, dan baca syarat dan ketentuan**.
1. Untuk **Pilih model untuk tokenizer**, terima default, atau pilih model tertentu untuk bertindak sebagai tokenizer untuk evaluasi Anda.
1. Untuk **kumpulan data Input**, pilih apakah akan:
+ Gunakan kumpulan data sampel default dari SageMaker AI.
+ Berikan URI S3 yang menunjuk ke kumpulan data sampel Anda sendiri.
1. Untuk **URI S3 untuk hasil kinerja**, berikan URI yang menunjuk ke lokasi di Amazon S3 tempat Anda ingin menyimpan hasil evaluasi.
1. Pilih **Evaluasi**.
Studio menunjukkan halaman **evaluasi kinerja**, di mana pekerjaan evaluasi Anda ditampilkan dalam tabel. Kolom **Status** menunjukkan status evaluasi Anda.
1. Ketika status **selesai**, pilih nama pekerjaan untuk melihat hasil evaluasi.
Halaman detail evaluasi menampilkan tabel yang menyediakan metrik kinerja untuk latensi, throughput, dan harga. Untuk informasi lebih lanjut tentang setiap metrik, lihat[Referensi metrik untuk evaluasi kinerja inferensi](#performance-eval-metrics-reference).
## Referensi metrik untuk evaluasi kinerja inferensi
Setelah Anda berhasil mengevaluasi kinerja model yang dioptimalkan, halaman detail evaluasi di Studio menunjukkan metrik berikut.
### Metrik latensi
Bagian **Latensi** menunjukkan metrik berikut
**Bersamaan**
Jumlah pengguna bersamaan yang disimulasikan evaluasi untuk memanggil titik akhir secara bersamaan.
**Waktu ke token pertama (ms)**
Waktu yang berlalu antara saat permintaan dikirim dan kapan token pertama dari respons streaming diterima.
**Latensi antar-token (ms)**
Waktu untuk menghasilkan token output untuk setiap permintaan.
**Latensi klien (ms)**
Latensi permintaan dari saat permintaan dikirim ke waktu seluruh respons diterima.
**Masukan tokens/sec (hitungan)**
Jumlah total token input yang dihasilkan, di semua permintaan, dibagi dengan total durasi dalam detik untuk konkurensi.
**Keluaran tokens/sec (hitungan)**
Jumlah total token keluaran yang dihasilkan, di semua permintaan, dibagi dengan total durasi dalam detik untuk konkurensi.
**Pemanggilan klien (hitungan)**
Jumlah total permintaan inferensi yang dikirim ke titik akhir di semua pengguna secara bersamaan.
**Kesalahan pemanggilan klien (hitungan)**
Jumlah total permintaan inferensi yang dikirim ke titik akhir di semua pengguna pada konkurensi tertentu yang mengakibatkan kesalahan pemanggilan.
**Tokenizer gagal (hitungan)**
Jumlah total permintaan inferensi di mana tokenizer gagal mengurai permintaan atau respons.
**Respon inferensi kosong (hitungan)**
Jumlah total permintaan inferensi yang menghasilkan token keluaran nol atau tokenizer gagal mengurai respons.
### Metrik throughput
Bagian **Throughput** menunjukkan metrik berikut.
**Bersamaan**
Jumlah pengguna bersamaan yang disimulasikan evaluasi untuk memanggil titik akhir secara bersamaan.
**Masukan tokens/sec/req (hitungan)**
Jumlah total token input yang dihasilkan per detik per permintaan.
**Keluaran tokens/sec/req (hitungan)**
Jumlah total token keluaran yang dihasilkan per detik per permintaan.
**Token masukan (hitungan)**
Jumlah total token input yang dihasilkan per permintaan.
**Token keluaran (hitungan)**
Jumlah total token keluaran yang dihasilkan per permintaan.
### Metrik harga
Bagian **Harga** menunjukkan metrik berikut.
**Bersamaan**
Jumlah pengguna bersamaan yang disimulasikan evaluasi untuk memanggil titik akhir secara bersamaan.
**Harga per juta token masukan**
Biaya pemrosesan token masukan 1M.
**Harga per juta token keluaran**
Biaya menghasilkan token keluaran 1M.
# Referensi model yang didukung
Tabel berikut menunjukkan model yang SageMaker AI mendukung optimasi inferensi, dan mereka menunjukkan teknik pengoptimalan yang didukung.
**Model Llama yang didukung**
| Nama Model | Format Data yang Didukung untuk Kuantisasi | Mendukung Decoding Spekulatif | Mendukung Pemuatan Model Cepat | Perpustakaan Digunakan untuk Kompilasi |
| --- | --- | --- | --- | --- |
| Meta Llama 2 13B | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | AWSNeuron Tensorrt-LLM |
| Meta Llama 2 13B Obrolan | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | AWSNeuron Tensorrt-LLM |
| Meta Llama 2 70B | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | AWSNeuron Tensorrt-LLM |
| Meta Llama 2 70B Obrolan | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | AWSNeuron Tensorrt-LLM |
| Meta Llama 2 7B | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | AWSNeuron Tensorrt-LLM |
| Meta Llama 2 7B Obrolan | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | AWSNeuron Tensorrt-LLM |
| Meta Llama 3 70B | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | AWSNeuron Tensorrt-LLM |
| Instruksi Meta Llama 3 70B | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | AWSNeuron Tensorrt-LLM |
| Meta Llama 3 8B | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | AWSNeuron Tensorrt-LLM |
| Instruksi Meta Llama 3 8B | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | AWSNeuron Tensorrt-LLM |
| Kode Meta Llama 13B | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | Tensorrt-LLM |
| Meta Kode Llama 13B Instruksi | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | Tensorrt-LLM |
| Kode Meta Llama 13B Python | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | Tensorrt-LLM |
| Kode Meta Llama 34B | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | Tensorrt-LLM |
| Meta Kode Llama 34B Instruksi | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | Tensorrt-LLM |
| Kode Meta Llama 34B Python | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | Tensorrt-LLM |
| Kode Meta Llama 70B | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | Tensorrt-LLM |
| Meta Kode Llama 70B Instruksi | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | Tensorrt-LLM |
| Kode Meta Llama 70B Python | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | Tensorrt-LLM |
| Kode Meta Llama 7B | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | Tensorrt-LLM |
| Meta Kode Llama 7B Instruksi | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | Tensorrt-LLM |
| Kode Meta Llama 7B Python | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | Tensorrt-LLM |
| Meta Llama 2 13B Neuron | Tidak ada | Tidak | Tidak | AWSNeuron |
| Meta Llama 2 13B Obrolan Neuron | Tidak ada | Tidak | Tidak | AWSNeuron |
| Meta Llama 2 70B Neuron | Tidak ada | Tidak | Tidak | AWSNeuron |
| Meta Llama 2 70B Obrolan Neuron | Tidak ada | Tidak | Tidak | AWSNeuron |
| Meta Llama 2 7B Neuron | Tidak ada | Tidak | Tidak | AWSNeuron |
| Meta Llama 2 7B Neuron Obrolan | Tidak ada | Tidak | Tidak | AWSNeuron |
| Meta Llama 3 70B Neuron | Tidak ada | Tidak | Tidak | AWSNeuron |
| Meta Llama 3 70B Instruksi Neuron | Tidak ada | Tidak | Tidak | AWSNeuron |
| Meta Llama 3 8B Neuron | Tidak ada | Tidak | Tidak | AWSNeuron |
| Meta Llama 3 8B Instruksi Neuron | Tidak ada | Tidak | Tidak | AWSNeuron |
| Kode Meta Llama 70B Neuron | Tidak ada | Tidak | Tidak | AWSNeuron |
| Kode Meta Llama 7B Neuron | Tidak ada | Tidak | Tidak | AWSNeuron |
| Kode Meta Llama 7B Neuron Python | Tidak ada | Tidak | Tidak | AWSNeuron |
| Meta Llama 3.1 405B FP8 | Tidak ada | Ya | Ya | Tidak ada |
| Instruksi Meta Llama 3.1 405B FP8 | Tidak ada | Ya | Ya | Tidak ada |
| Meta Llama 3.1 70B | INT4-AWQ FP8 | Ya | Ya | Tidak ada |
| Instruksi Meta Llama 3.1 70B | INT4-AWQ FP8 | Ya | Ya | Tidak ada |
| Meta Llama 3.1 8B | INT4-AWQ FP8 | Ya | Ya | Tidak ada |
| Instruksi Meta Llama 3.1 8B | INT4-AWQ FP8 | Ya | Ya | Tidak ada |
| Meta Llama 3.1 70B Neuron | Tidak ada | Tidak | Tidak | AWSNeuron |
| Meta Llama 3.1 70B Instruksi Neuron | Tidak ada | Tidak | Tidak | AWSNeuron |
| Meta Llama 3 1 8B Neuron | Tidak ada | Tidak | Tidak | AWSNeuron |
| Meta Llama 3.1 8B Instruksi Neuron | Tidak ada | Tidak | Tidak | AWSNeuron |
**Model Mistral yang didukung**
| Nama Model | Format Data yang Didukung untuk Kuantisasi | Mendukung Decoding Spekulatif | Mendukung Pemuatan Model Cepat | Perpustakaan Digunakan untuk Kompilasi |
| --- | --- | --- | --- | --- |
| Mistral 7B | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | AWSNeuron Tensorrt-LLM |
| Instruksi Mistral 7B | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | AWSNeuron Tensorrt-LLM |
| Neuron Mistral 7B | Tidak ada | Tidak | Tidak | AWSNeuron |
| Mistral 7B Instruksikan Neuron | Tidak ada | Tidak | Tidak | AWSNeuron |
**Model Mixtral yang didukung**
| Nama Model | Format Data yang Didukung untuk Kuantisasi | Mendukung Decoding Spekulatif | Mendukung Pemuatan Model Cepat | Perpustakaan Digunakan untuk Kompilasi |
| --- | --- | --- | --- | --- |
| Mixtral-8x22B-Instruksi-V0.1 | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | Tensorrt-LLM |
| Mixtral-8x22B V1 | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | Tensorrt-LLM |
| Mixtral 8x7B | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | Tensorrt-LLM |
| Instruksi Mixtral 8x7B | INT4-AWQ INT8-SmoothQuant FP8 | Ya | Ya | Tensorrt-LLM |
**Arsitektur Model yang Didukung dan Tipe EAGLE**
| Nama Arsitektur Model | Jenis EAGLE |
| --- | --- |
| LlamaForCausalLM | ELANG 3 |
| Qwen3 ForCausal LM | ELANG 3 |
| Qwen3 NextForCausal LM | ELANG 2 |
| Qwen3 MoeForCausal LM | ELANG 3 |
| Qwen2 ForCausal LM | ELANG 3 |
| GptOssForCausalLM | ELANG 3 |
# Opsi untuk mengevaluasi model pembelajaran mesin Anda di Amazon AI SageMaker
Setelah melatih model, evaluasi untuk menentukan apakah kinerja dan akurasinya memungkinkan Anda untuk mencapai tujuan bisnis Anda. Anda dapat menghasilkan beberapa model menggunakan metode yang berbeda dan mengevaluasi masing-masing. Misalnya, Anda dapat menerapkan aturan bisnis yang berbeda untuk setiap model, dan kemudian menerapkan berbagai ukuran untuk menentukan kesesuaian setiap model. Anda mungkin mempertimbangkan apakah model Anda perlu lebih sensitif daripada spesifik (atau sebaliknya).
Anda dapat mengevaluasi model Anda menggunakan data historis (offline) atau data langsung:
+ **Pengujian offline** —Gunakan data historis, bukan langsung, untuk mengirim permintaan ke model untuk kesimpulan.
Terapkan model terlatih Anda ke titik akhir alfa, dan gunakan data historis untuk mengirim permintaan inferensi ke sana. Untuk mengirim permintaan, gunakan notebook Jupyter di instance notebook Amazon SageMaker AI Anda dan pustaka Python tingkat tinggi AWS SDK for Python (Boto) atau yang disediakan oleh AI. SageMaker
+ **Pengujian online dengan data langsung** — SageMaker AI mendukung A/B pengujian model dalam produksi dengan menggunakan varian produksi. Varian produksi adalah model yang menggunakan kode inferensi yang sama dan digunakan pada titik akhir SageMaker AI yang sama. Anda mengonfigurasi varian produksi sehingga sebagian kecil lalu lintas langsung masuk ke model yang ingin Anda validasi. Misalnya, Anda dapat memilih untuk mengirim 10% lalu lintas ke varian model untuk evaluasi. Setelah Anda puas dengan kinerja model, Anda dapat merutekan lalu lintas 100% ke model yang diperbarui. Untuk contoh model pengujian dalam produksi, lihat[Menguji model dengan varian produksi](model-ab-testing.md).
Untuk informasi selengkapnya, lihat artikel dan buku tentang cara mengevaluasi model, misalnya, [Evaluating Machine Learning Models](http://www.oreilly.com/data/free/evaluating-machine-learning-models.csp).
Opsi untuk evaluasi model offline meliputi:
+ **Memvalidasi menggunakan set penahanan** —Praktisi pembelajaran mesin sering menyisihkan sebagian data sebagai “set penahanan.” Mereka tidak menggunakan data ini untuk pelatihan model.
Dengan pendekatan ini, Anda mengevaluasi seberapa baik model Anda memberikan kesimpulan pada set penahanan. Anda kemudian menilai seberapa efektif model menggeneralisasi apa yang dipelajari dalam pelatihan awal, sebagai lawan menggunakan memori model. Pendekatan validasi ini memberi Anda gambaran tentang seberapa sering model dapat menyimpulkan jawaban yang benar.
Dalam beberapa hal, pendekatan ini mirip dengan mengajar siswa sekolah dasar. Pertama, Anda memberi mereka serangkaian contoh untuk dipelajari, dan kemudian menguji kemampuan mereka untuk menggeneralisasi dari pembelajaran mereka. Dengan pekerjaan rumah dan tes, Anda menimbulkan masalah yang tidak termasuk dalam pembelajaran awal dan menentukan apakah mereka dapat menggeneralisasi secara efektif. Siswa dengan ingatan yang sempurna dapat menghafal masalah, alih-alih mempelajari aturan.
Biasanya, dataset penahanan adalah 20-30% dari data pelatihan.
+ **validasi k-fold** *—Dalam pendekatan validasi ini, Anda membagi kumpulan data contoh menjadi k bagian.* Anda memperlakukan masing-masing bagian ini sebagai set penahanan untuk *k* latihan lari, dan menggunakan bagian *k* -1 lainnya sebagai set pelatihan untuk lari itu. Anda menghasilkan model *k* menggunakan proses serupa, dan menggabungkan model untuk menghasilkan model akhir Anda. Nilai *k* biasanya dalam kisaran 5-10.
# Rekomendasi SageMaker Inferensi Amazon
Amazon SageMaker Inference Recommender adalah kemampuan Amazon SageMaker AI. Ini mengurangi waktu yang diperlukan untuk mendapatkan model pembelajaran mesin (ML) dalam produksi dengan mengotomatiskan pengujian beban dan penyetelan model di seluruh instans SageMaker AI. Anda dapat menggunakan Inference Recommender untuk menyebarkan model Anda ke titik akhir inferensi real-time atau tanpa server yang memberikan kinerja terbaik dengan biaya terendah. Inference Recommender membantu Anda memilih jenis dan konfigurasi instans terbaik untuk model dan beban kerja ML Anda. Ini mempertimbangkan faktor-faktor seperti jumlah instance, parameter kontainer, pengoptimalan model, konkurensi maks, dan ukuran memori.
Amazon SageMaker Inference Recommender hanya menagih Anda untuk instans yang digunakan saat pekerjaan Anda dijalankan.
## Cara kerjanya
Untuk menggunakan Amazon SageMaker Inference Recommender, Anda dapat [membuat model SageMaker AI atau mendaftarkan model](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html) ke Registry Model dengan SageMaker artefak model Anda. Gunakan AWS SDK untuk Python (Boto3) atau konsol SageMaker AI untuk menjalankan tugas benchmarking untuk konfigurasi titik akhir SageMaker AI yang berbeda. Pekerjaan Inference Recommender membantu Anda mengumpulkan dan memvisualisasikan metrik di seluruh kinerja dan pemanfaatan sumber daya untuk membantu Anda memutuskan jenis dan konfigurasi titik akhir mana yang akan dipilih.
## Cara Memulai
Jika Anda adalah pengguna pertama kali Amazon SageMaker Inference Recommender, kami sarankan Anda melakukan hal berikut:
1. Baca [Prasyarat untuk menggunakan Amazon Inference Recommender SageMaker](inference-recommender-prerequisites.md) bagian untuk memastikan Anda telah memenuhi persyaratan untuk menggunakan Amazon SageMaker Inference Recommender.
1. Baca [Pekerjaan rekomendasi dengan Amazon SageMaker Inference Recommender](inference-recommender-recommendation-jobs.md) bagian untuk meluncurkan pekerjaan rekomendasi Inference Recommender pertama Anda.
1. Jelajahi contoh buku catatan pengantar Amazon SageMaker Inference Recommender [Jupyter, atau tinjau contoh buku](https://github.com/aws/amazon-sagemaker-examples/blob/master/sagemaker-inference-recommender/inference-recommender.ipynb) catatan di bagian berikut.
## Notebook contoh
Contoh notebook Jupyter berikut dapat membantu Anda dengan alur kerja untuk beberapa kasus penggunaan di Inference Recommender:
+ Jika Anda menginginkan buku catatan pengantar yang membandingkan TensorFlow model, lihat buku catatan [SageMaker Inference Recommender](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-inference-recommender/inference-recommender.ipynb). TensorFlow
+ Jika Anda ingin melakukan benchmark HuggingFace model, lihat [SageMaker Inference Recommender](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-inference-recommender/huggingface-inference-recommender/huggingface-inference-recommender.ipynb) untuk notebook. HuggingFace
+ Jika Anda ingin melakukan benchmark XGBoost model, lihat buku catatan [SageMaker Inference XGBoost Recommender](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-inference-recommender/xgboost/xgboost-inference-recommender.ipynb).
+ Jika Anda ingin meninjau CloudWatch metrik untuk pekerjaan Inference Recommender, lihat buku catatan metrik [SageMaker Inference](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-inference-recommender/tensorflow-cloudwatch/tf-cloudwatch-inference-recommender.ipynb) Recommender. CloudWatch
# Prasyarat untuk menggunakan Amazon Inference Recommender SageMaker
Sebelum Anda dapat menggunakan Amazon SageMaker Inference Recommender, Anda harus menyelesaikan langkah-langkah prasyarat. Sebagai contoh, kami menunjukkan cara menggunakan model pra-terlatih PyTorch (v1.7.1) ResNet -18 untuk kedua jenis pekerjaan rekomendasi Amazon SageMaker Inference Recommender. Contoh yang ditampilkan menggunakan AWS SDK untuk Python (Boto3).
**catatan**
Contoh kode berikut menggunakan Python. Hapus karakter `!` awalan jika Anda menjalankan salah satu contoh kode berikut di terminal Anda atau AWS CLI.
Anda dapat menjalankan contoh berikut dengan kernel Python 3 (TensorFlow 2.6 Python 3.8 CPU Optimized) di notebook Amazon Studio. SageMaker Untuk informasi selengkapnya tentang Studio, lihat[SageMaker Studio Amazon](studio-updated.md).
1. **Buat peran IAM untuk Amazon SageMaker AI.**
Buat peran IAM untuk Amazon SageMaker AI yang memiliki kebijakan terkelola `AmazonSageMakerFullAccess` IAM terlampir.
1. **Siapkan lingkungan Anda.**
Impor dependensi dan buat variabel untuk peran SageMaker AI IAM Anda (dari Langkah 1), dan klien AI. Wilayah AWS SageMaker
```
!pip install --upgrade pip awscli botocore boto3 --quiet
from sagemaker import get_execution_role, Session, image_uris
import boto3
region = boto3.Session().region_name
role = get_execution_role()
sagemaker_client = boto3.client("sagemaker", region_name=region)
sagemaker_session = Session()
```
1. **(Opsional) Tinjau model yang ada yang dipatokan oleh Inference Recommender.**
Inferensi Rekomendasi tolok ukur model dari kebun binatang model populer. Inference Recommender mendukung model Anda meskipun belum benchmark.
Gunakan `ListModelMetaData` untuk mendapatkan objek respons yang mencantumkan domain, kerangka kerja, tugas, dan nama model model pembelajaran mesin yang ditemukan di kebun binatang model umum.
Anda menggunakan domain, kerangka kerja, versi kerangka kerja, tugas, dan nama model di langkah selanjutnya untuk memilih gambar Docker inferensi dan mendaftarkan model Anda dengan SageMaker Model Registry. Berikut ini menunjukkan cara daftar metadata model dengan SDK for Python (Boto3):
```
list_model_metadata_response=sagemaker_client.list_model_metadata()
```
Outputnya mencakup ringkasan model (`ModelMetadataSummaries`) dan metadata respons (`ResponseMetadata`) mirip dengan contoh berikut:
```
{
'ModelMetadataSummaries': [{
'Domain': 'NATURAL_LANGUAGE_PROCESSING',
'Framework': 'PYTORCH:1.6.0',
'Model': 'bert-base-cased',
'Task': 'FILL_MASK'
},
{
'Domain': 'NATURAL_LANGUAGE_PROCESSING',
'Framework': 'PYTORCH:1.6.0',
'Model': 'bert-base-uncased',
'Task': 'FILL_MASK'
},
{
'Domain': 'COMPUTER_VISION',
'Framework': 'MXNET:1.8.0',
'Model': 'resnet18v2-gluon',
'Task': 'IMAGE_CLASSIFICATION'
},
{
'Domain': 'COMPUTER_VISION',
'Framework': 'PYTORCH:1.6.0',
'Model': 'resnet152',
'Task': 'IMAGE_CLASSIFICATION'
}],
'ResponseMetadata': {
'HTTPHeaders': {
'content-length': '2345',
'content-type': 'application/x-amz-json-1.1',
'date': 'Tue, 19 Oct 2021 20:52:03 GMT',
'x-amzn-requestid': 'xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx'
},
'HTTPStatusCode': 200,
'RequestId': 'xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx',
'RetryAttempts': 0
}
}
```
Untuk demo ini, kami menggunakan model PyTorch (v1.7.1) ResNet -18 untuk melakukan klasifikasi gambar. Contoh kode Python berikut menyimpan kerangka kerja, versi kerangka kerja, domain, dan tugas ke dalam variabel untuk digunakan nanti:
```
# ML framework details
framework = 'pytorch'
framework_version = '1.7.1'
# ML model details
ml_domain = 'COMPUTER_VISION'
ml_task = 'IMAGE_CLASSIFICATION'
```
1. **Unggah model pembelajaran mesin Anda ke Amazon S3.**
Gunakan model PyTorch (v1.7.1) ResNet -18 ini jika Anda tidak memiliki model pembelajaran mesin yang telah dilatih sebelumnya:
```
# Optional: Download a sample PyTorch model
import torch
from torchvision import models, transforms, datasets
# Create an example input for tracing
image = torch.zeros([1, 3, 256, 256], dtype=torch.float32)
# Load a pretrained resnet18 model from TorchHub
model = models.resnet18(pretrained=True)
# Tell the model we are using it for evaluation (not training). Note this is required for Inferentia compilation.
model.eval()
model_trace = torch.jit.trace(model, image)
# Save your traced model
model_trace.save('model.pth')
```
Unduh contoh skrip `inference.py` inferensi. Buat `code` direktori dan pindahkan skrip inferensi ke `code` direktori.
```
# Download the inference script
!wget https://aws-ml-blog-artifacts.s3.us-east-2.amazonaws.com/inference.py
# move it into a code/ directory
!mkdir code
!mv inference.py code/
```
Amazon SageMaker AI membutuhkan model pembelajaran mesin yang telah dilatih sebelumnya untuk dikemas sebagai file TAR terkompresi (). `*.tar.gz` Kompres model dan skrip inferensi Anda untuk memenuhi persyaratan ini:
```
!tar -czf test.tar.gz model.pth code/inference.py
```
Saat titik akhir Anda disediakan, file dalam arsip diekstraksi ke `/opt/ml/model/` titik akhir.
Setelah Anda mengompres model dan model artefak sebagai `.tar.gz` file, unggah ke bucket Amazon S3 Anda. Contoh berikut menunjukkan cara mengunggah model Anda ke Amazon S3 menggunakan: AWS CLI
```
!aws s3 cp test.tar.gz s3://{your-bucket}/models/
```
1. **Pilih gambar inferensi Docker bawaan atau buat Inference Docker Image Anda sendiri.**
SageMaker AI menyediakan wadah untuk algoritme bawaan dan gambar Docker bawaan untuk beberapa kerangka kerja pembelajaran mesin yang paling umum, seperti Apache MXNet,,, dan Chainer. TensorFlow PyTorch Untuk daftar lengkap gambar SageMaker AI yang tersedia, lihat Gambar [Deep Learning Containers yang Tersedia](https://github.com/aws/deep-learning-containers/blob/master/available_images.md).
Jika tidak ada kontainer SageMaker AI yang ada yang memenuhi kebutuhan Anda dan Anda tidak memiliki wadah sendiri, buat image Docker baru. Lihat [Wadah dengan kode inferensi khusus](your-algorithms-inference-main.md) untuk informasi tentang cara membuat image Docker Anda.
Berikut ini menunjukkan cara mengambil gambar inferensi PyTorch versi 1.7.1 menggunakan Python SDK: SageMaker
```
from sagemaker import image_uris
## Uncomment and replace with your own values if you did not define
## these variables a previous step.
#framework = 'pytorch'
#framework_version = '1.7.1'
# Note: you can use any CPU-based instance here,
# this is just to set the arch as CPU for the Docker image
instance_type = 'ml.m5.2xlarge'
image_uri = image_uris.retrieve(framework,
region,
version=framework_version,
py_version='py3',
instance_type=instance_type,
image_scope='inference')
```
Untuk daftar Instans SageMaker AI yang tersedia, lihat [Harga Amazon SageMaker AI](https://aws.amazon.com/sagemaker/pricing/).
1. **Buat contoh arsip payload.**
Buat arsip yang berisi file individual yang dapat dikirim oleh alat pengujian beban ke titik akhir SageMaker AI Anda. Kode inferensi Anda harus dapat membaca format file dari payload sampel.
Berikut ini mengunduh gambar.jpg yang digunakan contoh ini pada langkah selanjutnya untuk model ResNet -18.
```
!wget https://cdn.pixabay.com/photo/2020/12/18/05/56/flowers-5841251_1280.jpg
```
Kompres muatan sampel sebagai tarball:
```
!tar -cvzf payload.tar.gz flowers-5841251_1280.jpg
```
Unggah payload sampel ke Amazon S3 dan perhatikan URI Amazon S3:
```
!aws s3 cp payload.tar.gz s3://{bucket}/models/
```
Anda memerlukan URI Amazon S3 di langkah selanjutnya, jadi simpan dalam variabel:
```
bucket_prefix='models'
bucket = '' # Provide the name of your S3 bucket
payload_s3_key = f"{bucket_prefix}/payload.tar.gz"
sample_payload_url= f"s3://{bucket}/{payload_s3_key}"
```
1. **Siapkan masukan model Anda untuk pekerjaan rekomendasi**
Untuk prasyarat terakhir, Anda memiliki dua opsi untuk menyiapkan input model Anda. Anda dapat mendaftarkan model Anda dengan SageMaker Model Registry, yang dapat Anda gunakan untuk membuat katalog model untuk produksi, atau Anda dapat membuat model SageMaker AI dan menentukannya di `ContainerConfig` bidang saat membuat pekerjaan rekomendasi. Opsi pertama adalah yang terbaik jika Anda ingin memanfaatkan fitur yang disediakan [Model Registry](https://docs.aws.amazon.com/sagemaker/latest/dg/model-registry.html), seperti mengelola versi model dan mengotomatiskan penerapan model. Opsi kedua sangat ideal jika Anda ingin memulai dengan cepat. Untuk opsi pertama, lanjutkan ke langkah 7. Untuk opsi kedua, lewati langkah 7 dan lanjutkan ke langkah 8.
1. **Opsi 1: Daftarkan model Anda di registri model**
Dengan SageMaker Model Registry, Anda dapat membuat katalog model untuk produksi, mengelola versi model, mengaitkan metadata (seperti metrik pelatihan) dengan model, mengelola status persetujuan model, menyebarkan model ke produksi, dan mengotomatiskan penerapan model dengan CI/CD.
Bila Anda menggunakan SageMaker Model Registry untuk melacak dan mengelola model Anda, mereka direpresentasikan sebagai paket model berversi dalam grup paket model. Paket model tidak berversi bukan bagian dari grup model. Grup paket model menyimpan beberapa versi atau iterasi model. Meskipun tidak diperlukan untuk membuatnya untuk setiap model dalam registri, mereka membantu mengatur berbagai model yang semuanya memiliki tujuan yang sama dan menyediakan versi otomatis.
Untuk menggunakan Amazon SageMaker Inference Recommender, Anda harus memiliki paket model berversi. Anda dapat membuat paket model berversi secara terprogram dengan atau AWS SDK untuk Python (Boto3) dengan Amazon Studio Classic. SageMaker Untuk membuat paket model berversi secara terprogram, pertama-tama buat grup paket model dengan API. `CreateModelPackageGroup` Selanjutnya, buat paket model menggunakan `CreateModelPackage` API. Memanggil metode ini membuat paket model berversi.
Lihat [Buat Grup Model](model-registry-model-group.md) dan [Daftarkan Versi Model](model-registry-version.md) untuk petunjuk terperinci tentang cara membuat grup paket model secara terprogram dan interaktif dan cara membuat paket model berversi, masing-masing, dengan Amazon Studio Classic dan AWS SDK untuk Python (Boto3) Amazon. SageMaker
Contoh kode berikut menunjukkan cara membuat paket model berversi menggunakan. AWS SDK untuk Python (Boto3)
**catatan**
Anda tidak perlu menyetujui paket model untuk membuat pekerjaan Inference Recommender.
1. **Buat grup paket model**
Buat grup paket model dengan `CreateModelPackageGroup` API. Berikan nama ke grup paket model untuk `ModelPackageGroupName` dan secara opsional memberikan deskripsi paket model di `ModelPackageGroupDescription` lapangan.
```
model_package_group_name = ''
model_package_group_description = ''
model_package_group_input_dict = {
"ModelPackageGroupName" : model_package_group_name,
"ModelPackageGroupDescription" : model_package_group_description,
}
model_package_group_response = sagemaker_client.create_model_package_group(**model_package_group_input_dict)
```
Lihat [Panduan Referensi Amazon SageMaker API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/Welcome.html) untuk daftar lengkap argumen opsional dan wajib yang dapat Anda berikan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModelPackageGroup.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModelPackageGroup.html).
Buat paket model dengan menentukan image Docker yang menjalankan kode inferensi dan lokasi Amazon S3 dari artefak model Anda dan berikan nilai untuknya. `InferenceSpecification` `InferenceSpecification`harus berisi informasi tentang pekerjaan inferensi yang dapat dijalankan dengan model berdasarkan paket model ini, termasuk yang berikut:
+ Jalur Amazon ECR dari gambar yang menjalankan kode inferensi Anda.
+ (Opsional) Jenis instance yang didukung paket model untuk pekerjaan transformasi dan titik akhir waktu nyata yang digunakan untuk inferensi.
+ Format konten input dan output yang didukung paket model untuk inferensi.
Selain itu, Anda harus menentukan parameter berikut saat membuat paket model:
+ [Domain](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModelPackage.html#sagemaker-CreateModelPackage-request-Domain): Domain pembelajaran mesin dari paket model Anda dan komponennya. Domain pembelajaran mesin yang umum termasuk visi komputer dan pemrosesan bahasa alami.
+ [Tugas: Tugas](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModelPackage.html#sagemaker-CreateModelPackage-request-Task) pembelajaran mesin yang diselesaikan oleh paket model Anda. Tugas pembelajaran mesin yang umum termasuk deteksi objek dan klasifikasi gambar. Tentukan “LAINNYA” jika tidak ada tugas yang tercantum dalam [Panduan Referensi API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/Welcome.html) yang memenuhi kasus penggunaan Anda. Lihat deskripsi bidang API [Tugas](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModelPackage.html#sagemaker-CreateModelPackage-request-Task) untuk daftar tugas pembelajaran mesin yang didukung.
+ [SamplePayloadUrl](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModelPackage.html#sagemaker-CreateModelPackage-request-SamplePayloadUrl): Jalur Amazon Simple Storage Service (Amazon S3) Simple Storage Service (Amazon S3) tempat muatan sampel disimpan. Jalur ini harus menunjuk ke satu arsip TAR terkompresi GZIP (akhiran .tar.gz).
+ [Kerangka kerja](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelPackageContainerDefinition.html#sagemaker-Type-ModelPackageContainerDefinition-Framework): Kerangka pembelajaran mesin dari gambar wadah paket model.
+ [FrameworkVersion](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelPackageContainerDefinition.html#sagemaker-Type-ModelPackageContainerDefinition-FrameworkVersion): Versi kerangka dari gambar wadah paket model.
Jika Anda memberikan daftar jenis instans yang diizinkan untuk digunakan untuk menghasilkan inferensi secara real-time [SupportedRealtimeInferenceInstanceTypes](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_InferenceSpecification.html#sagemaker-Type-InferenceSpecification-SupportedRealtimeInferenceInstanceTypes), Inference Recommender membatasi ruang pencarian untuk jenis instans selama pekerjaan. `Default` Gunakan parameter ini jika Anda memiliki batasan anggaran atau mengetahui ada sekumpulan tipe instance tertentu yang dapat mendukung model dan gambar kontainer Anda.
Pada langkah sebelumnya, kami mengunduh model ResNet 18 yang telah dilatih sebelumnya dan menyimpannya di bucket Amazon S3 di direktori bernama. `models` Kami mengambil gambar inferensi Deep Learning Container PyTorch (v1.7.1) dan menyimpan URI dalam variabel yang disebut. `image_uri` Gunakan variabel-variabel tersebut dalam contoh kode berikut untuk mendefinisikan kamus yang digunakan sebagai masukan ke [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModelPackage.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModelPackage.html)API.
```
# Provide the Amazon S3 URI of your compressed tarfile
# so that Model Registry knows where to find your model artifacts
bucket_prefix='models'
bucket = '' # Provide the name of your S3 bucket
model_s3_key = f"{bucket_prefix}/test.tar.gz"
model_url= f"s3://{bucket}/{model_s3_key}"
# Similar open source model to the packaged model
# The name of the ML model as standardized by common model zoos
nearest_model_name = 'resnet18'
# The supported MIME types for input and output data. In this example,
# we are using images as input.
input_content_type='image/jpeg'
# Optional - provide a description of your model.
model_package_description = ''
## Uncomment if you did not store the domain and task in an earlier
## step
#ml_domain = 'COMPUTER_VISION'
#ml_task = 'IMAGE_CLASSIFICATION'
## Uncomment if you did not store the framework and framework version
## in a previous step.
#framework = 'PYTORCH'
#framework_version = '1.7.1'
# Optional: Used for optimizing your model using SageMaker Neo
# PyTorch uses NCHW format for images
data_input_configuration = "[[1,3,256,256]]"
# Create a dictionary to use as input for creating a model pacakge group
model_package_input_dict = {
"ModelPackageGroupName" : model_package_group_name,
"ModelPackageDescription" : model_package_description,
"Domain": ml_domain,
"Task": ml_task,
"SamplePayloadUrl": sample_payload_url,
"InferenceSpecification": {
"Containers": [
{
"Image": image_uri,
"ModelDataUrl": model_url,
"Framework": framework.upper(),
"FrameworkVersion": framework_version,
"NearestModelName": nearest_model_name,
"ModelInput": {"DataInputConfig": data_input_configuration}
}
],
"SupportedContentTypes": [input_content_type]
}
}
```
1. **Buat paket model**
Gunakan `CreateModelPackage` API untuk membuat paket model. Lulus kamus masukan yang ditentukan pada langkah sebelumnya:
```
model_package_response = sagemaker_client.create_model_package(**model_package_input_dict)
```
Anda memerlukan paket model ARN untuk menggunakan Amazon SageMaker Inference Recommender. Perhatikan ARN dari paket model atau simpan dalam variabel:
```
model_package_arn = model_package_response["ModelPackageArn"]
print('ModelPackage Version ARN : {}'.format(model_package_arn))
```
1. **Opsi 2: Buat model dan konfigurasikan `ContainerConfig` bidang**
Gunakan opsi ini jika Anda ingin memulai pekerjaan rekomendasi inferensi dan tidak perlu mendaftarkan model Anda di Registri Model. Pada langkah-langkah berikut, Anda membuat model di SageMaker AI dan mengonfigurasi `ContainerConfig` bidang sebagai input untuk pekerjaan rekomendasi.
1. **Buat model**
Buat model dengan `CreateModel` API. Untuk contoh yang memanggil metode ini saat menerapkan model ke SageMaker AI Hosting, lihat [Membuat Model (AWS SDK untuk Python (Boto3))](https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints-deployment.html#realtime-endpoints-deployment-create-model).
Pada langkah sebelumnya, kami mengunduh model ResNet 18 yang telah dilatih sebelumnya dan menyimpannya di bucket Amazon S3 di direktori bernama. `models` Kami mengambil gambar inferensi Deep Learning Container PyTorch (v1.7.1) dan menyimpan URI dalam variabel yang disebut. `image_uri` Kami menggunakan variabel-variabel tersebut dalam contoh kode berikut di mana kami mendefinisikan kamus yang digunakan sebagai masukan ke `[CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html#sagemaker-CreateModel-request-ModelName)` API.
```
model_name = ''
# Role to give SageMaker permission to access AWS services.
sagemaker_role= "arn:aws:iam::::role/*"
# Provide the Amazon S3 URI of your compressed tarfile
# so that Model Registry knows where to find your model artifacts
bucket_prefix='models'
bucket = '' # Provide the name of your S3 bucket
model_s3_key = f"{bucket_prefix}/test.tar.gz"
model_url= f"s3://{bucket}/{model_s3_key}"
#Create model
create_model_response = sagemaker_client.create_model(
ModelName = model_name,
ExecutionRoleArn = sagemaker_role,
PrimaryContainer = {
'Image': image_uri,
'ModelDataUrl': model_url,
})
```
1. **Konfigurasikan `ContainerConfig` bidang**
Selanjutnya, Anda harus mengkonfigurasi [ContainerConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_RecommendationJobInputConfig.html#sagemaker-Type-RecommendationJobInputConfig-ContainerConfig)bidang dengan model yang baru saja Anda buat dan tentukan parameter berikut di dalamnya:
+ `Domain`: Domain pembelajaran mesin model dan komponennya, seperti visi komputer atau pemrosesan bahasa alami.
+ `Task`Tugas pembelajaran mesin yang diselesaikan model, seperti klasifikasi gambar atau deteksi objek.
+ `PayloadConfig`: Konfigurasi untuk payload untuk pekerjaan rekomendasi. Untuk informasi selengkapnya tentang subbidang, lihat`[RecommendationJobPayloadConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_RecommendationJobPayloadConfig.html#sagemaker-Type-RecommendationJobPayloadConfig-SamplePayloadUrl)`.
+ `Framework`: Kerangka pembelajaran mesin dari gambar wadah, seperti PyTorch.
+ `FrameworkVersion`: Versi kerangka gambar kontainer.
+ (Opsional)`SupportedInstanceTypes`: Daftar jenis instance yang digunakan untuk menghasilkan kesimpulan secara real-time.
Jika Anda menggunakan `SupportedInstanceTypes` parameter, Inference Recommender membatasi ruang pencarian untuk jenis instance selama pekerjaan. `Default` Gunakan parameter ini jika Anda memiliki batasan anggaran atau mengetahui ada sekumpulan tipe instance tertentu yang dapat mendukung model dan gambar kontainer Anda.
Dalam contoh kode berikut, kita menggunakan parameter yang ditentukan sebelumnya, bersama dengan`NearestModelName`, untuk mendefinisikan kamus yang digunakan sebagai masukan ke `[CreateInferenceRecommendationsJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateInferenceRecommendationsJob.html)` API.
```
## Uncomment if you did not store the domain and task in a previous step
#ml_domain = 'COMPUTER_VISION'
#ml_task = 'IMAGE_CLASSIFICATION'
## Uncomment if you did not store the framework and framework version in a previous step
#framework = 'PYTORCH'
#framework_version = '1.7.1'
# The name of the ML model as standardized by common model zoos
nearest_model_name = 'resnet18'
# The supported MIME types for input and output data. In this example,
# we are using images as input
input_content_type='image/jpeg'
# Optional: Used for optimizing your model using SageMaker Neo
# PyTorch uses NCHW format for images
data_input_configuration = "[[1,3,256,256]]"
# Create a dictionary to use as input for creating an inference recommendation job
container_config = {
"Domain": ml_domain,
"Framework": framework.upper(),
"FrameworkVersion": framework_version,
"NearestModelName": nearest_model_name,
"PayloadConfig": {
"SamplePayloadUrl": sample_payload_url,
"SupportedContentTypes": [ input_content_type ]
},
"DataInputConfig": data_input_configuration
"Task": ml_task,
}
```
# Pekerjaan rekomendasi dengan Amazon SageMaker Inference Recommender
Amazon SageMaker Inference Recommender dapat membuat dua jenis rekomendasi:
1. Rekomendasi inferensi (tipe `Default` pekerjaan) menjalankan serangkaian tes beban pada jenis instance yang direkomendasikan. Anda juga dapat memuat pengujian untuk titik akhir tanpa server.. Anda hanya perlu menyediakan paket model Amazon Resource Name (ARN) untuk meluncurkan jenis pekerjaan rekomendasi ini. Pekerjaan rekomendasi inferensi selesai dalam waktu 45 menit.
1. Rekomendasi titik akhir (tipe `Advanced` pekerjaan) didasarkan pada uji beban khusus di mana Anda memilih instans ML yang diinginkan atau titik akhir tanpa server, menyediakan pola lalu lintas khusus, dan menyediakan persyaratan untuk latensi dan throughput berdasarkan persyaratan produksi Anda. Pekerjaan ini membutuhkan waktu rata-rata 2 jam untuk diselesaikan tergantung pada durasi pekerjaan yang ditetapkan dan jumlah total konfigurasi inferensi yang diuji.
Kedua jenis rekomendasi menggunakan hal yang sama APIs untuk membuat, mendeskripsikan, dan menghentikan pekerjaan. Outputnya adalah daftar rekomendasi konfigurasi instance dengan variabel lingkungan terkait, biaya, throughput, dan metrik latensi. Pekerjaan rekomendasi juga menyediakan jumlah instans awal, yang dapat Anda gunakan untuk mengonfigurasi kebijakan penskalaan otomatis. Untuk membedakan antara dua jenis pekerjaan, saat Anda membuat pekerjaan melalui konsol SageMaker AI atau APIs, tentukan `Default` untuk membuat rekomendasi titik akhir awal dan untuk pengujian beban khusus dan `Advanced` rekomendasi titik akhir.
**catatan**
Anda tidak perlu melakukan kedua jenis pekerjaan rekomendasi dalam alur kerja Anda sendiri. Anda dapat melakukan keduanya secara independen dari yang lain.
Inference Recommender juga dapat memberi Anda daftar instans prospektif, atau lima jenis instans teratas yang dioptimalkan untuk biaya, throughput, dan latensi untuk penerapan model, bersama dengan skor kepercayaan. Anda dapat memilih instance ini saat menerapkan model Anda. Inference Recommender secara otomatis melakukan benchmarking terhadap model Anda agar Anda dapat memberikan contoh prospektif. Karena ini adalah rekomendasi awal, kami sarankan Anda menjalankan pekerjaan rekomendasi contoh lebih lanjut untuk mendapatkan hasil yang lebih akurat. Untuk melihat instance prospektif, buka halaman detail model SageMaker AI Anda. Untuk informasi selengkapnya, lihat [Dapatkan instans prospektif instan](inference-recommender-prospective.md).
**Topics**
+ [Dapatkan instans prospektif instan](inference-recommender-prospective.md)
+ [Rekomendasi inferensi](inference-recommender-instance-recommendation.md)
+ [Dapatkan rekomendasi inferensi untuk titik akhir yang ada](inference-recommender-existing-endpoint.md)
+ [Hentikan rekomendasi inferensi Anda](instance-recommendation-stop.md)
+ [Rekomendasi yang dikompilasi dengan Neo](inference-recommender-neo-compilation.md)
+ [Hasil rekomendasi](inference-recommender-interpret-results.md)
+ [Dapatkan rekomendasi kebijakan penskalaan otomatis](inference-recommender-autoscaling.md)
+ [Jalankan uji beban khusus](inference-recommender-load-test.md)
+ [Hentikan uji beban Anda](load-test-stop.md)
+ [Memecahkan masalah kesalahan Inference Recommender](inference-recommender-troubleshooting.md)
# Dapatkan instans prospektif instan
Inference Recommender juga dapat memberi Anda daftar *instance prospektif, atau jenis instans* yang mungkin cocok untuk model Anda, di halaman detail model SageMaker AI Anda. Inference Recommender secara otomatis melakukan benchmarking awal terhadap model Anda agar Anda dapat memberikan lima contoh prospektif teratas. Karena ini adalah rekomendasi awal, kami sarankan Anda menjalankan pekerjaan rekomendasi contoh lebih lanjut untuk mendapatkan hasil yang lebih akurat.
Anda dapat melihat daftar instance prospektif untuk model Anda baik secara terprogram dengan menggunakan API, SageMaker Python SDK [DescribeModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeModel.html), atau konsol AI. SageMaker
**catatan**
Anda tidak akan mendapatkan instance prospektif untuk model yang Anda buat di SageMaker AI sebelum fitur ini tersedia.
Untuk melihat instance prospektif model Anda melalui konsol, lakukan hal berikut:
1. Pergi ke SageMaker konsol di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. **Di panel navigasi kiri, pilih **Inferensi**, lalu pilih Model.**
1. Dari daftar model, pilih model Anda.
Pada halaman detail untuk model Anda, buka bagian **Instans prospektif untuk menyebarkan** model. Screenshot berikut menunjukkan bagian ini.
![\[Screenshot dari daftar instance prospektif pada halaman detail model.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/inf-rec-prospective.png)
Di bagian ini, Anda dapat melihat instans prospektif yang dioptimalkan untuk biaya, throughput, dan latensi untuk penerapan model, bersama dengan informasi tambahan untuk setiap jenis instans seperti ukuran memori, jumlah CPU dan GPU, dan biaya per jam.
Jika Anda memutuskan ingin membandingkan muatan sampel dan menjalankan pekerjaan rekomendasi inferensi penuh untuk model Anda, Anda dapat memulai pekerjaan rekomendasi inferensi default dari halaman ini. Untuk memulai pekerjaan default melalui konsol, lakukan hal berikut:
1. Pada halaman detail model Anda di **bagian Prospective instance to deploy model**, pilih **Run Inference** recommended job.
1. Di kotak dialog yang muncul, untuk **bucket S3 untuk benchmarking payload, masukkan** lokasi Amazon S3 tempat Anda menyimpan muatan sampel untuk model Anda.
1. Untuk **jenis konten Payload, masukkan tipe** MIME untuk data payload Anda.
1. (Opsional) Dalam **kompilasi Model menggunakan bagian SageMaker Neo**, untuk **konfigurasi input Data**, masukkan bentuk data dalam format kamus.
1. Pilih **Jalankan tugas**.
Inference Recommender memulai pekerjaan, dan Anda dapat melihat pekerjaan dan hasilnya dari halaman daftar **pemberi rekomendasi Inferensi** di konsol AI. SageMaker
Jika Anda ingin menjalankan pekerjaan lanjutan dan melakukan uji beban khusus, atau jika Anda ingin mengonfigurasi pengaturan dan parameter tambahan untuk pekerjaan Anda, lihat[Jalankan uji beban khusus](inference-recommender-load-test.md).
# Rekomendasi inferensi
Pekerjaan rekomendasi inferensi menjalankan serangkaian tes beban pada jenis instance yang direkomendasikan atau titik akhir tanpa server. Pekerjaan rekomendasi inferensi menggunakan metrik kinerja yang didasarkan pada uji beban menggunakan data sampel yang Anda berikan selama pendaftaran versi model.
**catatan**
Sebelum Anda membuat pekerjaan rekomendasi Inference Recommender, pastikan Anda telah puas. [Prasyarat untuk menggunakan Amazon Inference Recommender SageMaker](inference-recommender-prerequisites.md)
Berikut ini menunjukkan cara menggunakan Amazon SageMaker Inference Recommender untuk membuat rekomendasi inferensi berdasarkan jenis model Anda menggunakan AWS SDK untuk Python (Boto3),, AWS CLI dan Amazon SageMaker Studio Classic, dan konsol AI SageMaker
**Topics**
+ [Buat rekomendasi inferensi](instance-recommendation-create.md)
+ [Dapatkan hasil pekerjaan rekomendasi inferensi Anda](instance-recommendation-results.md)
# Buat rekomendasi inferensi
Buat rekomendasi inferensi secara terprogram menggunakan atau AWS CLI, AWS SDK untuk Python (Boto3) atau secara interaktif menggunakan Studio Classic atau konsol AI. SageMaker **Tentukan nama pekerjaan untuk rekomendasi inferensi Anda, ARN peran AWS IAM, konfigurasi input, dan paket model ARN saat Anda mendaftarkan model Anda dengan registri model, atau nama model dan `ContainerConfig` kamus dari saat Anda membuat model di bagian Prasyarat.**
------
#### [ AWS SDK untuk Python (Boto3) ]
Gunakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateInferenceRecommendationsJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateInferenceRecommendationsJob.html)API untuk memulai pekerjaan rekomendasi inferensi. Tetapkan `JobType` bidang `'Default'` untuk pekerjaan rekomendasi inferensi. Selain itu, berikan yang berikut:
+ Nama Sumber Daya Amazon (ARN) dari peran IAM yang memungkinkan Inference Recommender untuk melakukan tugas atas nama Anda. Tentukan ini untuk `RoleArn` bidang.
+ Paket model ARN atau nama model. Inference Recommender mendukung salah satu paket model ARN atau nama model sebagai input. Tentukan satu dari yang berikut ini:
+ ARN dari paket model berversi yang Anda buat saat Anda mendaftarkan model Anda dengan SageMaker registri model AI. Tentukan ini untuk `ModelPackageVersionArn` di `InputConfig` lapangan.
+ Nama model yang Anda buat. Tentukan ini untuk `ModelName` di `InputConfig` lapangan. Juga, berikan `ContainerConfig` kamus, yang mencakup bidang wajib yang perlu disediakan dengan nama model. Tentukan ini untuk `ContainerConfig` di `InputConfig` lapangan. Dalam`ContainerConfig`, Anda juga dapat secara opsional menentukan `SupportedEndpointType` bidang sebagai salah satu `RealTime` atau`Serverless`. Jika Anda menentukan bidang ini, Inference Recommender mengembalikan rekomendasi hanya untuk jenis titik akhir tersebut. Jika Anda tidak menentukan bidang ini, Inference Recommender mengembalikan rekomendasi untuk kedua tipe titik akhir.
+ Nama untuk pekerjaan rekomendasi Inference Recommender Anda untuk bidang tersebut. `JobName` Nama pekerjaan Inference Recommender harus unik di dalam AWS Wilayah dan di dalam akun Anda AWS .
Impor AWS SDK untuk Python (Boto3) paket dan buat objek klien SageMaker AI menggunakan kelas klien. Jika Anda mengikuti langkah-langkah di bagian **Prasyarat**, hanya tentukan salah satu dari berikut ini:
+ Opsi 1: Jika Anda ingin membuat pekerjaan rekomendasi inferensi dengan paket model ARN, maka simpan grup paket model ARN dalam variabel bernama. `model_package_arn`
+ Opsi 2: Jika Anda ingin membuat pekerjaan rekomendasi inferensi dengan nama model dan`ContainerConfig`, simpan nama model dalam variabel bernama `model_name` dan `ContainerConfig` kamus dalam variabel bernama`container_config`.
```
# Create a low-level SageMaker service client.
import boto3
aws_region = ''
sagemaker_client = boto3.client('sagemaker', region_name=aws_region)
# Provide only one of model package ARN or model name, not both.
# Provide your model package ARN that was created when you registered your
# model with Model Registry
model_package_arn = ''
## Uncomment if you would like to create an inference recommendations job with a
## model name instead of a model package ARN, and comment out model_package_arn above
## Provide your model name
# model_name = ''
## Provide your container config
# container_config = ''
# Provide a unique job name for SageMaker Inference Recommender job
job_name = ''
# Inference Recommender job type. Set to Default to get an initial recommendation
job_type = 'Default'
# Provide an IAM Role that gives SageMaker Inference Recommender permission to
# access AWS services
role_arn = 'arn:aws:iam:::role/*'
sagemaker_client.create_inference_recommendations_job(
JobName = job_name,
JobType = job_type,
RoleArn = role_arn,
# Provide only one of model package ARN or model name, not both.
# If you would like to create an inference recommendations job with a model name,
# uncomment ModelName and ContainerConfig, and comment out ModelPackageVersionArn.
InputConfig = {
'ModelPackageVersionArn': model_package_arn
# 'ModelName': model_name,
# 'ContainerConfig': container_config
}
)
```
Lihat [Panduan Referensi Amazon SageMaker API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/Welcome.html) untuk daftar lengkap argumen opsional dan wajib yang dapat Anda berikan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateInferenceRecommendationsJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateInferenceRecommendationsJob.html).
------
#### [ AWS CLI ]
Gunakan `create-inference-recommendations-job` API untuk memulai pekerjaan rekomendasi inferensi. Tetapkan `job-type` bidang `'Default'` untuk pekerjaan rekomendasi inferensi. Selain itu, berikan yang berikut:
+ Nama Sumber Daya Amazon (ARN) dari peran IAM yang memungkinkan Amazon SageMaker Inference Recommender untuk melakukan tugas atas nama Anda. Tentukan ini untuk `role-arn` bidang.
+ Paket model ARN atau nama model. Inference Recommender mendukung salah satu paket model ARN atau nama model sebagai input. Tentukan salah satu dari berikut ini
+ ARN dari paket model berversi yang Anda buat saat Anda mendaftarkan model Anda dengan Model Registry. Tentukan ini untuk `ModelPackageVersionArn` di `input-config` lapangan.
+ Nama model yang Anda buat. Tentukan ini untuk `ModelName` di `input-config` lapangan. Juga, berikan `ContainerConfig` kamus yang mencakup bidang wajib yang perlu disediakan dengan nama model. Tentukan ini untuk `ContainerConfig` di `input-config` lapangan. Dalam`ContainerConfig`, Anda juga dapat secara opsional menentukan `SupportedEndpointType` bidang sebagai salah satu `RealTime` atau`Serverless`. Jika Anda menentukan bidang ini, Inference Recommender mengembalikan rekomendasi hanya untuk jenis titik akhir tersebut. Jika Anda tidak menentukan bidang ini, Inference Recommender mengembalikan rekomendasi untuk kedua tipe titik akhir.
+ Nama untuk pekerjaan rekomendasi Inference Recommender Anda untuk bidang tersebut. `job-name` Nama pekerjaan Inference Recommender harus unik di dalam AWS Wilayah dan di dalam akun Anda AWS .
Untuk membuat lowongan rekomendasi inferensi dengan paket model ARN, gunakan contoh berikut:
```
aws sagemaker create-inference-recommendations-job
--region \
--job-name \
--job-type Default\
--role-arn arn:aws:iam::\
--input-config "{
\"ModelPackageVersionArn\": \"arn:aws:sagemaker:\",
}"
```
Untuk membuat pekerjaan rekomendasi inferensi dengan nama model dan`ContainerConfig`, gunakan contoh berikut. Contoh menggunakan `SupportedEndpointType` bidang untuk menentukan bahwa kami hanya ingin mengembalikan rekomendasi inferensi waktu nyata:
```
aws sagemaker create-inference-recommendations-job
--region \
--job-name \
--job-type Default\
--role-arn arn:aws:iam::\
--input-config "{
\"ModelName\": \"model-name\",
\"ContainerConfig\" : {
\"Domain\": \"COMPUTER_VISION\",
\"Framework\": \"PYTORCH\",
\"FrameworkVersion\": \"1.7.1\",
\"NearestModelName\": \"resnet18\",
\"PayloadConfig\":
{
\"SamplePayloadUrl\": \"s3://{bucket}/{payload_s3_key}\",
\"SupportedContentTypes\": [\"image/jpeg\"]
},
\"SupportedEndpointType\": \"RealTime\",
\"DataInputConfig\": \"[[1,3,256,256]]\",
\"Task\": \"IMAGE_CLASSIFICATION\",
},
}"
```
------
#### [ Amazon SageMaker Studio Classic ]
Buat pekerjaan rekomendasi inferensi di Studio Classic.
1. Di aplikasi Studio Classic Anda, pilih ikon beranda (![\[Black square icon representing a placeholder or empty image.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/studio/icons/house.png)).
1. Di bilah sisi kiri Studio Classic, pilih **Model**.
1. Pilih **Model Registry** dari daftar dropdown untuk menampilkan model yang telah Anda daftarkan dengan registri model.
Panel kiri menampilkan daftar grup model. Daftar ini mencakup semua grup model yang terdaftar dengan registri model di akun Anda, termasuk model yang terdaftar di luar Studio Classic.
1. Pilih nama grup model Anda. Saat Anda memilih grup model, panel kanan Studio Classic menampilkan kepala kolom seperti **Versi** dan **Pengaturan**.
Jika Anda memiliki satu atau beberapa paket model dalam grup model Anda, Anda akan melihat daftar paket model tersebut dalam kolom **Versions**.
1. Pilih kolom **Inference recommended.**
1. Pilih peran IAM yang memberikan izin Inference Recommender untuk mengakses layanan. AWS Anda dapat membuat peran dan melampirkan kebijakan terkelola `AmazonSageMakerFullAccess` IAM untuk mencapai hal ini. Atau Anda dapat membiarkan Studio Classic membuat peran untuk Anda.
1. Pilih **Dapatkan rekomendasi**.
Rekomendasi inferensi dapat memakan waktu hingga 45 menit.
**Awas**
Jangan tutup tab ini. Jika Anda menutup tab ini, Anda membatalkan pekerjaan rekomendasi instans.
------
#### [ SageMaker AI console ]
Buat pekerjaan rekomendasi instans melalui konsol SageMaker AI dengan melakukan hal berikut:
1. Buka konsol SageMaker AI di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. Di panel navigasi kiri, pilih **Inferensi, lalu pilih **Inference**** recommended.
1. Pada halaman **lowongan pemberi rekomendasi inferensi, pilih **Buat** pekerjaan**.
1. Untuk **Langkah 1: Konfigurasi model**, lakukan hal berikut:
1. Untuk **jenis Job**, pilih **Default recommended job**.
1. Jika Anda menggunakan model yang terdaftar di registri model SageMaker AI, aktifkan sakelar **Pilih model dari registri model** dan lakukan hal berikut:
1. Dari daftar dropdown **grup Model**, pilih grup model di registri model SageMaker AI tempat model Anda berada.
1. Dari daftar dropdown **versi Model**, pilih versi model yang diinginkan.
1. Jika Anda menggunakan model yang telah Anda buat di SageMaker AI, matikan **sakelar Pilih model dari registri model** dan lakukan hal berikut:
1. Untuk bidang **Nama Model**, masukkan nama model SageMaker AI Anda.
1. Dari daftar tarik-turun **peran IAM**, Anda dapat memilih peran AWS IAM yang ada yang memiliki izin yang diperlukan untuk membuat pekerjaan rekomendasi instans. Atau, jika Anda tidak memiliki peran yang ada, Anda dapat memilih **Buat peran baru** untuk membuka pop-up pembuatan peran, dan SageMaker AI menambahkan izin yang diperlukan ke peran baru yang Anda buat.
1. Untuk **bucket S3 untuk benchmarking payload**, masukkan path Amazon S3 ke arsip payload sampel Anda, yang harus berisi contoh file payload yang digunakan Inference Recomder untuk membandingkan model Anda pada jenis instans yang berbeda.
1. Untuk **jenis konten Payload, masukkan tipe** MIME dari data payload sampel Anda.
1. (Opsional) Jika Anda mematikan **tombol Pilih model dari registri model** dan menentukan model SageMaker AI, lalu untuk **konfigurasi Container**, lakukan hal berikut:
1. Untuk daftar dropdown **Domain**, pilih domain pembelajaran mesin model, seperti visi komputer, pemrosesan bahasa alami, atau pembelajaran mesin.
1. Untuk daftar dropdown **Framework**, pilih framework penampung Anda, seperti TensorFlow atau. XGBoost
1. Untuk **versi Framework**, masukkan versi kerangka gambar kontainer Anda.
1. Untuk daftar dropdown **nama model terdekat**, pilih model pra-terlatih yang sebagian besar cocok dengan model Anda.
1. Untuk daftar tarik-turun **Tugas**, pilih tugas pembelajaran mesin yang diselesaikan model, seperti klasifikasi gambar atau regresi.
1. (Opsional) Untuk **kompilasi Model menggunakan SageMaker Neo**, Anda dapat mengonfigurasi pekerjaan rekomendasi untuk model yang telah Anda kompilasi menggunakan SageMaker Neo. Untuk **konfigurasi input Data**, masukkan bentuk data input yang benar untuk model Anda dalam format yang mirip dengan`{'input':[1,1024,1024,3]}`.
1. Pilih **Berikutnya**.
1. Untuk **Langkah 2: Contoh dan parameter lingkungan**, lakukan hal berikut:
1. (Opsional) Untuk **Select instance untuk benchmarking**, Anda dapat memilih hingga 8 jenis instans yang ingin Anda benchmark. Jika Anda tidak memilih instans apa pun, Inference Recommender mempertimbangkan semua jenis instance.
1. Pilih **Berikutnya**.
1. Untuk **Langkah 3: Parameter Job**, lakukan hal berikut:
1. (Opsional) Untuk bidang **Nama Job**, masukkan nama untuk pekerjaan rekomendasi instans Anda. Saat Anda membuat pekerjaan, SageMaker AI menambahkan stempel waktu di akhir nama ini.
1. (Opsional) Untuk kolom **Job description**, masukkan deskripsi untuk pekerjaan tersebut.
1. (Opsional) Untuk daftar dropdown **kunci Enkripsi**, pilih AWS KMS kunci berdasarkan nama atau masukkan ARN untuk mengenkripsi data Anda.
1. (Opsional) Untuk **durasi pengujian Maks**, masukkan jumlah detik maksimum yang Anda inginkan setiap pengujian dijalankan.
1. (Opsional) Untuk **pemanggilan Maks per menit**, masukkan jumlah maksimum permintaan per menit yang dapat dicapai titik akhir sebelum menghentikan pekerjaan rekomendasi. Setelah mencapai batas ini, SageMaker AI mengakhiri pekerjaan.
1. (Opsional) Untuk **ambang latensi Model P99 (ms)**, masukkan persentil latensi model dalam milidetik.
1. Pilih **Berikutnya**.
1. Untuk **Langkah 4: Tinjau pekerjaan**, tinjau konfigurasi Anda, lalu pilih **Kirim**.
------
# Dapatkan hasil pekerjaan rekomendasi inferensi Anda
Kumpulkan hasil pekerjaan rekomendasi inferensi Anda secara terprogram dengan AWS SDK untuk Python (Boto3), Studio Classic AWS CLI, atau konsol AI. SageMaker
------
#### [ AWS SDK untuk Python (Boto3) ]
Setelah rekomendasi inferensi selesai, Anda dapat menggunakan `DescribeInferenceRecommendationsJob` untuk mendapatkan rincian pekerjaan dan rekomendasi. Berikan nama pekerjaan yang Anda gunakan saat Anda membuat pekerjaan rekomendasi inferensi.
```
job_name=''
response = sagemaker_client.describe_inference_recommendations_job(
JobName=job_name)
```
Cetak objek respons. Sampel kode sebelumnya menyimpan respons dalam variabel bernama`response`.
```
print(response['Status'])
```
Ini mengembalikan respon JSON mirip dengan contoh berikut. Perhatikan bahwa contoh ini menunjukkan jenis instance yang direkomendasikan untuk inferensi waktu nyata (untuk contoh yang menunjukkan rekomendasi inferensi tanpa server, lihat contoh setelah yang ini).
```
{
'JobName': 'job-name',
'JobDescription': 'job-description',
'JobType': 'Default',
'JobArn': 'arn:aws:sagemaker:region:account-id:inference-recommendations-job/resource-id',
'Status': 'COMPLETED',
'CreationTime': datetime.datetime(2021, 10, 26, 20, 4, 57, 627000, tzinfo=tzlocal()),
'LastModifiedTime': datetime.datetime(2021, 10, 26, 20, 25, 1, 997000, tzinfo=tzlocal()),
'InputConfig': {
'ModelPackageVersionArn': 'arn:aws:sagemaker:region:account-id:model-package/resource-id',
'JobDurationInSeconds': 0
},
'InferenceRecommendations': [{
'Metrics': {
'CostPerHour': 0.20399999618530273,
'CostPerInference': 5.246913588052848e-06,
'MaximumInvocations': 648,
'ModelLatency': 263596
},
'EndpointConfiguration': {
'EndpointName': 'endpoint-name',
'VariantName': 'variant-name',
'InstanceType': 'ml.c5.xlarge',
'InitialInstanceCount': 1
},
'ModelConfiguration': {
'Compiled': False,
'EnvironmentParameters': []
}
},
{
'Metrics': {
'CostPerHour': 0.11500000208616257,
'CostPerInference': 2.92620870823157e-06,
'MaximumInvocations': 655,
'ModelLatency': 826019
},
'EndpointConfiguration': {
'EndpointName': 'endpoint-name',
'VariantName': 'variant-name',
'InstanceType': 'ml.c5d.large',
'InitialInstanceCount': 1
},
'ModelConfiguration': {
'Compiled': False,
'EnvironmentParameters': []
}
},
{
'Metrics': {
'CostPerHour': 0.11500000208616257,
'CostPerInference': 3.3625731248321244e-06,
'MaximumInvocations': 570,
'ModelLatency': 1085446
},
'EndpointConfiguration': {
'EndpointName': 'endpoint-name',
'VariantName': 'variant-name',
'InstanceType': 'ml.m5.large',
'InitialInstanceCount': 1
},
'ModelConfiguration': {
'Compiled': False,
'EnvironmentParameters': []
}
}],
'ResponseMetadata': {
'RequestId': 'request-id',
'HTTPStatusCode': 200,
'HTTPHeaders': {
'x-amzn-requestid': 'x-amzn-requestid',
'content-type': 'content-type',
'content-length': '1685',
'date': 'Tue, 26 Oct 2021 20:31:10 GMT'
},
'RetryAttempts': 0
}
}
```
Beberapa baris pertama memberikan informasi tentang pekerjaan rekomendasi inferensi itu sendiri. Ini termasuk nama pekerjaan, ARN peran, dan waktu pembuatan dan penghapusan.
`InferenceRecommendations`Kamus berisi daftar rekomendasi inferensi Inference Recommender.
Kamus `EndpointConfiguration` bersarang berisi rekomendasi instance type (`InstanceType`) bersama dengan titik akhir dan nama varian (model pembelajaran AWS mesin yang diterapkan) yang digunakan selama pekerjaan rekomendasi. Anda dapat menggunakan nama endpoint dan varian untuk pemantauan di Amazon CloudWatch Events. Untuk informasi selengkapnya, lihat [Metrik Amazon SageMaker AI di Amazon CloudWatch](monitoring-cloudwatch.md).
Kamus `Metrics` bersarang berisi informasi tentang perkiraan biaya per jam (`CostPerHour`) untuk titik akhir real-time Anda dalam dolar AS, perkiraan biaya per inferensi (`CostPerInference`) dalam dolar AS untuk titik akhir waktu nyata Anda, jumlah maksimum yang diharapkan `InvokeEndpoint` permintaan per menit yang dikirim ke titik akhir (`MaxInvocations`), dan latensi model (`ModelLatency`), yang merupakan interval waktu (dalam mikrodetik) yang diambil model Anda untuk merespons AI. SageMaker Latensi model mencakup waktu komunikasi lokal yang diambil untuk mengirim permintaan dan untuk mengambil respons dari wadah model dan waktu yang dibutuhkan untuk menyelesaikan inferensi dalam wadah.
Contoh berikut menunjukkan `InferenceRecommendations` bagian dari respons untuk pekerjaan rekomendasi inferensi yang dikonfigurasi untuk mengembalikan rekomendasi inferensi tanpa server:
```
"InferenceRecommendations": [
{
"EndpointConfiguration": {
"EndpointName": "value",
"InitialInstanceCount": value,
"InstanceType": "value",
"VariantName": "value",
"ServerlessConfig": {
"MaxConcurrency": value,
"MemorySizeInMb": value
}
},
"InvocationEndTime": value,
"InvocationStartTime": value,
"Metrics": {
"CostPerHour": value,
"CostPerInference": value,
"CpuUtilization": value,
"MaxInvocations": value,
"MemoryUtilization": value,
"ModelLatency": value,
"ModelSetupTime": value
},
"ModelConfiguration": {
"Compiled": "False",
"EnvironmentParameters": [],
"InferenceSpecificationName": "value"
},
"RecommendationId": "value"
}
]
```
Anda dapat menafsirkan rekomendasi untuk inferensi tanpa server mirip dengan hasil untuk inferensi waktu nyata, dengan pengecualian`ServerlessConfig`, yang memberi tahu Anda metrik yang dikembalikan untuk titik akhir tanpa server dengan yang diberikan dan kapan. `MemorySizeInMB` `MaxConcurrency = 1` Untuk meningkatkan throughput yang mungkin pada titik akhir, tingkatkan nilai linier. `MaxConcurrency` Misalnya, jika rekomendasi inferensi menunjukkan `MaxInvocations` sebagai`1000`, maka meningkat `MaxConcurrency` menjadi `2` akan mendukung 2000`MaxInvocations`. Perhatikan bahwa ini benar hanya sampai titik tertentu, yang dapat bervariasi berdasarkan model dan kode Anda. Rekomendasi tanpa server juga mengukur metrik`ModelSetupTime`, yang mengukur (dalam mikrodetik) waktu yang diperlukan untuk meluncurkan sumber daya komputer pada titik akhir tanpa server. Untuk informasi selengkapnya tentang pengaturan titik akhir tanpa server, lihat dokumentasi Inferensi Tanpa [Server](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html).
------
#### [ AWS CLI ]
Setelah rekomendasi inferensi selesai, Anda dapat menggunakan `describe-inference-recommendations-job` untuk mendapatkan detail pekerjaan dan jenis instans yang direkomendasikan. Berikan nama pekerjaan yang Anda gunakan saat Anda membuat pekerjaan rekomendasi inferensi.
```
aws sagemaker describe-inference-recommendations-job\
--job-name \
--region
```
Respons JSON serupa harus menyerupai contoh berikut. Perhatikan bahwa contoh ini menunjukkan jenis instance yang direkomendasikan untuk inferensi waktu nyata (untuk contoh yang menunjukkan rekomendasi inferensi tanpa server, lihat contoh setelah yang ini).
```
{
'JobName': 'job-name',
'JobDescription': 'job-description',
'JobType': 'Default',
'JobArn': 'arn:aws:sagemaker:region:account-id:inference-recommendations-job/resource-id',
'Status': 'COMPLETED',
'CreationTime': datetime.datetime(2021, 10, 26, 20, 4, 57, 627000, tzinfo=tzlocal()),
'LastModifiedTime': datetime.datetime(2021, 10, 26, 20, 25, 1, 997000, tzinfo=tzlocal()),
'InputConfig': {
'ModelPackageVersionArn': 'arn:aws:sagemaker:region:account-id:model-package/resource-id',
'JobDurationInSeconds': 0
},
'InferenceRecommendations': [{
'Metrics': {
'CostPerHour': 0.20399999618530273,
'CostPerInference': 5.246913588052848e-06,
'MaximumInvocations': 648,
'ModelLatency': 263596
},
'EndpointConfiguration': {
'EndpointName': 'endpoint-name',
'VariantName': 'variant-name',
'InstanceType': 'ml.c5.xlarge',
'InitialInstanceCount': 1
},
'ModelConfiguration': {
'Compiled': False,
'EnvironmentParameters': []
}
},
{
'Metrics': {
'CostPerHour': 0.11500000208616257,
'CostPerInference': 2.92620870823157e-06,
'MaximumInvocations': 655,
'ModelLatency': 826019
},
'EndpointConfiguration': {
'EndpointName': 'endpoint-name',
'VariantName': 'variant-name',
'InstanceType': 'ml.c5d.large',
'InitialInstanceCount': 1
},
'ModelConfiguration': {
'Compiled': False,
'EnvironmentParameters': []
}
},
{
'Metrics': {
'CostPerHour': 0.11500000208616257,
'CostPerInference': 3.3625731248321244e-06,
'MaximumInvocations': 570,
'ModelLatency': 1085446
},
'EndpointConfiguration': {
'EndpointName': 'endpoint-name',
'VariantName': 'variant-name',
'InstanceType': 'ml.m5.large',
'InitialInstanceCount': 1
},
'ModelConfiguration': {
'Compiled': False,
'EnvironmentParameters': []
}
}],
'ResponseMetadata': {
'RequestId': 'request-id',
'HTTPStatusCode': 200,
'HTTPHeaders': {
'x-amzn-requestid': 'x-amzn-requestid',
'content-type': 'content-type',
'content-length': '1685',
'date': 'Tue, 26 Oct 2021 20:31:10 GMT'
},
'RetryAttempts': 0
}
}
```
Beberapa baris pertama memberikan informasi tentang pekerjaan rekomendasi inferensi itu sendiri. Ini termasuk nama pekerjaan, peran ARN, pembuatan, dan waktu penghapusan.
`InferenceRecommendations`Kamus berisi daftar rekomendasi inferensi Inference Recommender.
Kamus `EndpointConfiguration` bersarang berisi rekomendasi instance type (`InstanceType`) bersama dengan titik akhir dan nama varian (model pembelajaran AWS mesin yang diterapkan) yang digunakan selama pekerjaan rekomendasi. Anda dapat menggunakan nama endpoint dan varian untuk pemantauan di Amazon CloudWatch Events. Untuk informasi selengkapnya, lihat [Metrik Amazon SageMaker AI di Amazon CloudWatch](monitoring-cloudwatch.md).
Kamus `Metrics` bersarang berisi informasi tentang perkiraan biaya per jam (`CostPerHour`) untuk titik akhir real-time Anda dalam dolar AS, perkiraan biaya per inferensi (`CostPerInference`) dalam dolar AS untuk titik akhir waktu nyata Anda, jumlah maksimum yang diharapkan `InvokeEndpoint` permintaan per menit yang dikirim ke titik akhir (`MaxInvocations`), dan latensi model (`ModelLatency`), yang merupakan interval waktu (dalam milidetik) yang diambil model Anda untuk merespons AI. SageMaker Latensi model mencakup waktu komunikasi lokal yang diambil untuk mengirim permintaan dan untuk mengambil respons dari wadah model dan waktu yang dibutuhkan untuk menyelesaikan inferensi dalam wadah.
Contoh berikut menunjukkan `InferenceRecommendations` bagian dari respons untuk pekerjaan rekomendasi inferensi yang dikonfigurasi untuk mengembalikan rekomendasi inferensi tanpa server:
```
"InferenceRecommendations": [
{
"EndpointConfiguration": {
"EndpointName": "value",
"InitialInstanceCount": value,
"InstanceType": "value",
"VariantName": "value",
"ServerlessConfig": {
"MaxConcurrency": value,
"MemorySizeInMb": value
}
},
"InvocationEndTime": value,
"InvocationStartTime": value,
"Metrics": {
"CostPerHour": value,
"CostPerInference": value,
"CpuUtilization": value,
"MaxInvocations": value,
"MemoryUtilization": value,
"ModelLatency": value,
"ModelSetupTime": value
},
"ModelConfiguration": {
"Compiled": "False",
"EnvironmentParameters": [],
"InferenceSpecificationName": "value"
},
"RecommendationId": "value"
}
]
```
Anda dapat menafsirkan rekomendasi untuk inferensi tanpa server mirip dengan hasil untuk inferensi waktu nyata, dengan pengecualian`ServerlessConfig`, yang memberi tahu Anda metrik yang dikembalikan untuk titik akhir tanpa server dengan yang diberikan dan kapan. `MemorySizeInMB` `MaxConcurrency = 1` Untuk meningkatkan throughput yang mungkin pada titik akhir, tingkatkan nilai linier. `MaxConcurrency` Misalnya, jika rekomendasi inferensi menunjukkan `MaxInvocations` sebagai`1000`, maka meningkat `MaxConcurrency` menjadi `2` akan mendukung 2000`MaxInvocations`. Perhatikan bahwa ini benar hanya sampai titik tertentu, yang dapat bervariasi berdasarkan model dan kode Anda. Rekomendasi tanpa server juga mengukur metrik`ModelSetupTime`, yang mengukur (dalam mikrodetik) waktu yang diperlukan untuk meluncurkan sumber daya komputer pada titik akhir tanpa server. Untuk informasi selengkapnya tentang pengaturan titik akhir tanpa server, lihat dokumentasi Inferensi Tanpa [Server](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html).
------
#### [ Amazon SageMaker Studio Classic ]
Rekomendasi inferensi terisi di tab Rekomendasi **Inferensi baru dalam Studio** Classic. Diperlukan waktu hingga 45 menit agar hasilnya muncul. Tab ini berisi judul kolom **Hasil** dan **Detail**.
Kolom **Detail** memberikan informasi tentang pekerjaan rekomendasi inferensi, seperti nama rekomendasi inferensi, kapan pekerjaan dibuat (**Waktu pembuatan**), dan banyak lagi. Ini juga menyediakan informasi **Pengaturan**, seperti jumlah maksimum pemanggilan yang terjadi per menit dan informasi tentang Nama Sumber Daya Amazon yang digunakan.
Kolom **Results** menyediakan jendela **sasaran Deployment** dan **rekomendasi SageMaker AI** di mana Anda dapat menyesuaikan urutan hasil yang ditampilkan berdasarkan kepentingan penerapan. Ada tiga menu tarik-turun yang dapat Anda gunakan untuk memberikan tingkat kepentingan **Biaya**, **Latensi**, dan **Throughput** untuk kasus penggunaan Anda. Untuk setiap tujuan (biaya, latensi, dan throughput), Anda dapat menetapkan tingkat kepentingan: Kepentingan **Terendah, Kepentingan** **Rendah, Kepentingan** **sedang, Kepentingan** **tinggi, atau Kepentingan** **tertinggi**.
Berdasarkan pilihan penting Anda untuk setiap tujuan, Inference Recommender menampilkan rekomendasi teratasnya di bidang **SageMakerrekomendasi** di sebelah kanan panel, bersama dengan perkiraan biaya per jam dan permintaan inferensi. Ini juga memberikan informasi tentang latensi model yang diharapkan, jumlah maksimum pemanggilan, dan jumlah instance. Untuk rekomendasi tanpa server, Anda dapat melihat nilai ideal untuk konkurensi maksimum dan ukuran memori titik akhir.
Selain rekomendasi teratas yang ditampilkan, Anda juga dapat melihat informasi yang sama ditampilkan untuk semua instance yang diuji oleh Inference Recommender di bagian **Semua** berjalan.
------
#### [ SageMaker AI console ]
Anda dapat melihat pekerjaan rekomendasi instans Anda di konsol SageMaker AI dengan melakukan hal berikut:
1. Buka konsol SageMaker AI di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. Di panel navigasi kiri, pilih **Inferensi, lalu pilih **Inference**** recommended.
1. Pada halaman **pekerjaan pemberi rekomendasi inferensi**, pilih nama pekerjaan rekomendasi inferensi Anda.
Pada halaman detail untuk pekerjaan Anda, Anda dapat melihat **rekomendasi Inferensi**, yang merupakan jenis instans yang direkomendasikan SageMaker AI untuk model Anda, seperti yang ditunjukkan pada tangkapan layar berikut.
![\[Tangkapan layar dari daftar rekomendasi inferensi di halaman detail pekerjaan di konsol SageMaker AI.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/inf-rec-instant-recs.png)
Di bagian ini, Anda dapat membandingkan jenis instans dengan berbagai faktor seperti **latensi Model**, **Biaya per jam, Biaya per** **inferensi**, dan **Pemanggilan** per menit.
Di halaman ini, Anda juga dapat melihat konfigurasi yang Anda tentukan untuk pekerjaan Anda. Di bagian **Monitor**, Anda dapat melihat CloudWatch metrik Amazon yang dicatat untuk setiap jenis instans. Untuk mempelajari lebih lanjut tentang menafsirkan metrik ini, lihat [Menafsirkan](https://docs.aws.amazon.com/sagemaker/latest/dg/inference-recommender-interpret-results.html) hasil.
------
Untuk informasi lebih lanjut tentang menafsirkan hasil pekerjaan rekomendasi Anda, lihat[Hasil rekomendasi](inference-recommender-interpret-results.md).
# Dapatkan rekomendasi inferensi untuk titik akhir yang ada
Pekerjaan rekomendasi inferensi menjalankan serangkaian uji beban pada jenis instance yang direkomendasikan dan titik akhir yang ada. Pekerjaan rekomendasi inferensi menggunakan metrik kinerja yang didasarkan pada uji beban menggunakan data sampel yang Anda berikan selama pendaftaran versi model.
Anda dapat melakukan benchmark dan mendapatkan rekomendasi inferensi untuk titik akhir Inferensi SageMaker AI yang ada untuk membantu Anda meningkatkan kinerja titik akhir Anda. Prosedur mendapatkan rekomendasi untuk titik akhir Inferensi SageMaker AI yang ada mirip dengan prosedur untuk [mendapatkan rekomendasi inferensi](https://docs.aws.amazon.com/sagemaker/latest/dg/inference-recommender-instance-recommendation.html) tanpa titik akhir. Ada beberapa pengecualian fitur yang perlu diperhatikan saat membandingkan titik akhir yang ada:
+ Anda hanya dapat menggunakan satu titik akhir yang ada per pekerjaan Inference Recommender.
+ Anda hanya dapat memiliki satu varian di titik akhir Anda.
+ Anda tidak dapat menggunakan titik akhir yang memungkinkan penskalaan otomatis.
+ Fungsionalitas ini hanya didukung untuk [Inferensi Real-Time](https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints.html).
+ Fungsionalitas ini tidak mendukung Titik [Akhir Multi-Model Real-Time](https://docs.aws.amazon.com/sagemaker/latest/dg/multi-model-endpoints.html).
**Awas**
Kami sangat menyarankan agar Anda tidak menjalankan pekerjaan Inference Recommender pada titik akhir produksi yang menangani lalu lintas langsung. Beban sintetis selama pembandingan dapat memengaruhi titik akhir produksi Anda dan menyebabkan pelambatan atau memberikan hasil benchmark yang tidak akurat. Kami menyarankan Anda menggunakan titik akhir non-produksi atau pengembang untuk tujuan perbandingan.
Bagian berikut menunjukkan cara menggunakan Amazon SageMaker Inference Recommender untuk membuat rekomendasi inferensi untuk titik akhir yang ada berdasarkan jenis model Anda menggunakan AWS SDK for Python (Boto3) dan file. AWS CLI
**catatan**
Sebelum Anda membuat pekerjaan rekomendasi Inference Recommender, pastikan Anda telah puas. [Prasyarat untuk menggunakan Amazon Inference Recommender SageMaker](inference-recommender-prerequisites.md)
## Prasyarat
Jika Anda belum memiliki titik akhir Inferensi SageMaker AI, Anda bisa [mendapatkan rekomendasi inferensi tanpa titik akhir, atau Anda dapat membuat titik akhir Inferensi](https://docs.aws.amazon.com/sagemaker/latest/dg/inference-recommender-instance-recommendation.html) Waktu Nyata dengan mengikuti instruksi di [Buat titik akhir Anda dan terapkan model Anda](https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints-deployment.html).
## Buat pekerjaan rekomendasi inferensi untuk titik akhir yang ada
Buat rekomendasi inferensi secara terprogram menggunakan AWS SDK untuk Python (Boto3), atau. AWS CLI Tentukan nama pekerjaan untuk rekomendasi inferensi Anda, nama titik akhir Inferensi SageMaker AI yang ada, ARN peran AWS IAM, konfigurasi input, dan ARN paket model Anda sejak Anda mendaftarkan model Anda dengan registri model.
------
#### [ AWS SDK untuk Python (Boto3) ]
Gunakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateInferenceRecommendationsJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateInferenceRecommendationsJob.html)API untuk mendapatkan rekomendasi inferensi. Tetapkan `JobType` bidang `'Default'` untuk pekerjaan rekomendasi inferensi. Selain itu, berikan yang berikut:
+ Berikan nama untuk pekerjaan rekomendasi Inference Recommender Anda untuk bidang tersebut. `JobName` Nama pekerjaan Inference Recommender harus unik di dalam AWS Wilayah dan di dalam akun Anda AWS .
+ Nama Sumber Daya Amazon (ARN) dari peran IAM yang memungkinkan Inference Recommender untuk melakukan tugas atas nama Anda. Tentukan ini untuk `RoleArn` bidang.
+ ARN dari paket model berversi yang Anda buat saat Anda mendaftarkan model Anda dengan registri model. Tentukan ini untuk `ModelPackageVersionArn` di `InputConfig` lapangan.
+ Berikan nama titik akhir Inferensi SageMaker AI yang ada yang ingin Anda benchmark di Inference Recommender di lapangan. `Endpoints` `InputConfig`
Impor AWS SDK untuk Python (Boto3) paket dan buat objek klien SageMaker AI menggunakan kelas klien. Jika Anda mengikuti langkah-langkah di bagian **Prasyarat**, kelompok paket model ARN disimpan dalam variabel bernama. `model_package_arn`
```
# Create a low-level SageMaker service client.
import boto3
aws_region = ''
sagemaker_client = boto3.client('sagemaker', region_name=aws_region)
# Provide your model package ARN that was created when you registered your
# model with Model Registry
model_package_arn = ''
# Provide a unique job name for SageMaker Inference Recommender job
job_name = ''
# Inference Recommender job type. Set to Default to get an initial recommendation
job_type = 'Default'
# Provide an IAM Role that gives SageMaker Inference Recommender permission to
# access AWS services
role_arn = ':role/*>'
# Provide endpoint name for your endpoint that want to benchmark in Inference Recommender
endpoint_name = ''
sagemaker_client.create_inference_recommendations_job(
JobName = job_name,
JobType = job_type,
RoleArn = role_arn,
InputConfig = {
'ModelPackageVersionArn': model_package_arn,
'Endpoints': [{'EndpointName': endpoint_name}]
}
)
```
Lihat [Panduan Referensi Amazon SageMaker API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/Welcome.html) untuk daftar lengkap argumen opsional dan wajib yang dapat Anda berikan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateInferenceRecommendationsJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateInferenceRecommendationsJob.html).
------
#### [ AWS CLI ]
Gunakan `create-inference-recommendations-job` API untuk mendapatkan rekomendasi titik akhir instance. Tetapkan `job-type` bidang untuk `'Default'` misalnya pekerjaan rekomendasi titik akhir. Selain itu, berikan yang berikut:
+ Berikan nama untuk pekerjaan rekomendasi Inference Recommender Anda untuk bidang tersebut. `job-name` Nama pekerjaan Inference Recommender harus unik di dalam AWS Wilayah dan di dalam akun Anda AWS .
+ Nama Sumber Daya Amazon (ARN) dari peran IAM yang memungkinkan Amazon SageMaker Inference Recommender untuk melakukan tugas atas nama Anda. Tentukan ini untuk `role-arn` bidang.
+ ARN dari paket model berversi yang Anda buat saat Anda mendaftarkan model Anda dengan Model Registry. Tentukan ini untuk `ModelPackageVersionArn` di `input-config` lapangan.
+ Berikan nama titik akhir Inferensi SageMaker AI yang ada yang ingin Anda benchmark di Inference Recommender di lapangan. `Endpoints` `input-config`
```
aws sagemaker create-inference-recommendations-job
--region \
--job-name \
--job-type Default\
--role-arn arn:aws:iam::\
--input-config "{
\"ModelPackageVersionArn\": \"arn:aws:sagemaker:\",
\"Endpoints\": [{\"EndpointName\": }]
}"
```
------
## Dapatkan hasil pekerjaan rekomendasi inferensi Anda
Anda dapat mengumpulkan hasil pekerjaan rekomendasi inferensi Anda secara terprogram dengan prosedur yang sama untuk pekerjaan rekomendasi inferensi standar. Untuk informasi selengkapnya, lihat [Dapatkan hasil pekerjaan rekomendasi inferensi Anda](instance-recommendation-results.md).
Ketika Anda mendapatkan hasil pekerjaan rekomendasi inferensi untuk titik akhir yang ada, Anda harus menerima respons JSON yang mirip dengan berikut ini:
```
{
"JobName": "job-name",
"JobType": "Default",
"JobArn": "arn:aws:sagemaker:region:account-id:inference-recommendations-job/resource-id",
"RoleArn": "iam-role-arn",
"Status": "COMPLETED",
"CreationTime": 1664922919.2,
"LastModifiedTime": 1664924208.291,
"InputConfig": {
"ModelPackageVersionArn": "arn:aws:sagemaker:region:account-id:model-package/resource-id",
"Endpoints": [
{
"EndpointName": "endpoint-name"
}
]
},
"InferenceRecommendations": [
{
"Metrics": {
"CostPerHour": 0.7360000014305115,
"CostPerInference": 7.456940238625975e-06,
"MaxInvocations": 1645,
"ModelLatency": 171
},
"EndpointConfiguration": {
"EndpointName": "sm-endpoint-name",
"VariantName": "variant-name",
"InstanceType": "ml.g4dn.xlarge",
"InitialInstanceCount": 1
},
"ModelConfiguration": {
"EnvironmentParameters": [
{
"Key": "TS_DEFAULT_WORKERS_PER_MODEL",
"ValueType": "string",
"Value": "4"
}
]
}
}
],
"EndpointPerformances": [
{
"Metrics": {
"MaxInvocations": 184,
"ModelLatency": 1312
},
"EndpointConfiguration": {
"EndpointName": "endpoint-name"
}
}
]
}
```
Beberapa baris pertama memberikan informasi tentang pekerjaan rekomendasi inferensi itu sendiri. Ini termasuk nama pekerjaan, peran ARN, dan pembuatan dan waktu modifikasi terbaru.
`InferenceRecommendations`Kamus berisi daftar rekomendasi inferensi Inference Recommender.
Kamus `EndpointConfiguration` bersarang berisi rekomendasi instance type (`InstanceType`) bersama dengan titik akhir dan nama varian (model pembelajaran AWS mesin yang diterapkan) yang digunakan selama pekerjaan rekomendasi.
Kamus `Metrics` bersarang berisi informasi tentang perkiraan biaya per jam (`CostPerHour`) untuk titik akhir real-time Anda dalam dolar AS, perkiraan biaya per inferensi (`CostPerInference`) dalam dolar AS untuk titik akhir waktu nyata Anda, jumlah maksimum yang diharapkan `InvokeEndpoint` permintaan per menit yang dikirim ke titik akhir (`MaxInvocations`), dan latensi model (`ModelLatency`), yang merupakan interval waktu (dalam milidetik) yang diambil model Anda untuk merespons AI. SageMaker Latensi model mencakup waktu komunikasi lokal yang diambil untuk mengirim permintaan dan untuk mengambil respons dari wadah model dan waktu yang dibutuhkan untuk menyelesaikan inferensi dalam wadah.
Kamus `EndpointPerformances` bersarang berisi nama titik akhir yang ada tempat tugas rekomendasi dijalankan (`EndpointName`) dan metrik kinerja untuk titik akhir Anda (dan). `MaxInvocations` `ModelLatency`
# Hentikan rekomendasi inferensi Anda
Anda mungkin ingin menghentikan pekerjaan yang sedang berjalan jika Anda memulai pekerjaan secara tidak sengaja atau tidak perlu lagi menjalankan pekerjaan itu. Hentikan pekerjaan rekomendasi inferensi Inference Recommender Anda secara terprogram dengan `StopInferenceRecommendationsJob` API atau dengan Studio Classic.
------
#### [ AWS SDK untuk Python (Boto3) ]
Tentukan nama pekerjaan rekomendasi inferensi untuk `JobName` bidang tersebut:
```
sagemaker_client.stop_inference_recommendations_job(
JobName=''
)
```
------
#### [ AWS CLI ]
Tentukan nama pekerjaan pekerjaan rekomendasi inferensi untuk `job-name` bendera:
```
aws sagemaker stop-inference-recommendations-job --job-name
```
------
#### [ Amazon SageMaker Studio Classic ]
Tutup tab di mana Anda memulai rekomendasi inferensi untuk menghentikan rekomendasi inferensi Inference Recommender Anda.
------
#### [ SageMaker AI console ]
Untuk menghentikan pekerjaan rekomendasi instans Anda melalui konsol SageMaker AI, lakukan hal berikut:
1. Buka konsol SageMaker AI di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. Di panel navigasi kiri, pilih **Inferensi, lalu pilih **Inference**** recommended.
1. Pada halaman **lowongan pemberi rekomendasi inferensi, pilih lowongan** rekomendasi instans Anda.
1. Pilih **Stop Job**.
1. Di kotak dialog yang muncul, pilih **Konfirmasi**.
Setelah menghentikan pekerjaan Anda, **Status** pekerjaan harus berubah menjadi **Berhenti**.
------
# Rekomendasi yang dikompilasi dengan Neo
Di Inference Recommender, Anda dapat mengkompilasi model Anda dengan Neo dan mendapatkan rekomendasi endpoint untuk model kompilasi Anda. [SageMaker Neo](https://docs.aws.amazon.com/sagemaker/latest/dg/neo.html) adalah layanan yang dapat mengoptimalkan model Anda untuk platform perangkat keras target (yaitu, jenis atau lingkungan instans tertentu). Mengoptimalkan model dengan Neo dapat meningkatkan kinerja model host Anda.
Untuk kerangka kerja dan kontainer yang didukung NEO, Inference Recommender secara otomatis menyarankan rekomendasi yang dioptimalkan oleh NEO. Agar memenuhi syarat untuk kompilasi Neo, masukan Anda harus memenuhi prasyarat berikut:
+ Anda menggunakan [DLC atau SageMaker XGBoost kontainer](https://docs.aws.amazon.com/deep-learning-containers/latest/devguide/what-is-dlc.html) milik AI.
+ Anda menggunakan versi kerangka kerja yang didukung oleh Neo. Untuk versi kerangka kerja yang didukung oleh Neo, lihat [Instans Cloud](neo-supported-cloud.md#neo-supported-cloud-instances) di dokumentasi SageMaker Neo.
+ Neo mengharuskan Anda memberikan bentuk data input yang benar untuk model Anda. Anda dapat menentukan bentuk data ini seperti `[DataInputConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelInput.html#sagemaker-Type-ModelInput-DataInputConfig)` pada `[InferenceSpecification](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModelPackage.html#sagemaker-CreateModelPackage-request-InferenceSpecification)` saat Anda membuat paket model. Untuk informasi tentang bentuk data yang benar untuk setiap framework, lihat [Mempersiapkan Model untuk Kompilasi](https://docs.aws.amazon.com/sagemaker/latest/dg/neo-compilation-preparing-model.html) dalam dokumentasi SageMaker Neo.
Contoh berikut menunjukkan bagaimana menentukan `DataInputConfig` bidang di`InferenceSpecification`, di mana `data_input_configuration` adalah variabel yang berisi bentuk data dalam format kamus (misalnya,`{'input':[1,1024,1024,3]}`).
```
"InferenceSpecification": {
"Containers": [
{
"Image": dlc_uri,
"Framework": framework.upper(),
"FrameworkVersion": framework_version,
"NearestModelName": model_name,
"ModelInput": {"DataInputConfig": data_input_configuration},
}
],
"SupportedContentTypes": input_mime_types, # required, must be non-null
"SupportedResponseMIMETypes": [],
"SupportedRealtimeInferenceInstanceTypes": supported_realtime_inference_types, # optional
}
```
Jika kondisi ini terpenuhi dalam permintaan Anda, maka Inference Recommender menjalankan skenario untuk versi model Anda yang dikompilasi dan tidak dikompilasi, memberi Anda beberapa kombinasi rekomendasi untuk dipilih. Anda dapat membandingkan konfigurasi untuk versi yang dikompilasi dan tidak dikompilasi dari rekomendasi inferensi yang sama dan menentukan mana yang paling sesuai dengan kasus penggunaan Anda. Rekomendasi diberi peringkat berdasarkan biaya per inferensi.
Untuk mendapatkan rekomendasi kompilasi Neo, Anda tidak perlu melakukan konfigurasi tambahan selain memastikan bahwa input Anda memenuhi persyaratan sebelumnya. Inference Recommender secara otomatis menjalankan kompilasi Neo pada model Anda jika input Anda memenuhi persyaratan, dan Anda menerima respons yang menyertakan rekomendasi Neo.
Jika Anda mengalami kesalahan selama kompilasi Neo Anda, lihat[Memecahkan Masalah Kesalahan Kompilasi Neo](neo-troubleshooting-compilation.md).
Tabel berikut adalah contoh respons yang mungkin Anda dapatkan dari pekerjaan Inference Recommender yang mencakup rekomendasi untuk model yang dikompilasi. Jika `InferenceSpecificationName` bidangnya`None`, maka rekomendasinya adalah model yang tidak dikompilasi. Baris terakhir, di mana nilai untuk **InferenceSpecificationName**bidang tersebut`neo-00011122-2333-4445-5566-677788899900`, adalah untuk model yang dikompilasi dengan Neo. Nilai di bidang adalah nama pekerjaan Neo yang digunakan untuk mengkompilasi dan mengoptimalkan model Anda.
| EndpointName | InstanceType | InitialInstanceCount | EnvironmentParameters | CostPerHour | CostPerInference | MaxInvocations | ModelLatency | InferenceSpecificationName |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| sm-epc-example-000111222 | ml.c5.9xlarge | 1 | [] | 1.836 | 9.15E-07 | 33456 | 7 | Tidak ada |
| sm-epc-example-111222333 | ml.c5.2xlarge | 1 | [] | 0,408 | 2.11E-07 | 32211 | 21 | Tidak ada |
| sm-epc-example-222333444 | ml.c5.xlarge | 1 | [] | 0,204 | 1.86E-07 | 18276 | 92 | Tidak ada |
| sm-epc-example-333444555 | ml.c5.xlarge | 1 | [] | 0,204 | 1.60E-07 | 21286 | 42 | neo-00011122-2333-4445-5566-677788899900 |
## Memulai
Langkah-langkah umum untuk membuat pekerjaan Inference Recommender yang mencakup rekomendasi yang dioptimalkan NEO adalah sebagai berikut:
+ Siapkan model ML Anda untuk kompilasi. Untuk informasi lebih lanjut, lihat [Mempersiapkan Model untuk Kompilasi](https://docs.aws.amazon.com/sagemaker/latest/dg/neo-compilation-preparing-model.html) dalam dokumentasi Neo.
+ Package model Anda dalam arsip model (`.tar.gz`file).
+ Buat contoh arsip payload.
+ Daftarkan model Anda di SageMaker Model Registry.
+ Buat pekerjaan Inference Recommender.
+ Lihat hasil pekerjaan Inference Recommender dan pilih konfigurasi.
+ Kegagalan kompilasi debug, jika ada. Untuk informasi selengkapnya, lihat [Memecahkan Masalah Kesalahan Kompilasi Neo](https://docs.aws.amazon.com/sagemaker/latest/dg/neo-troubleshooting-compilation.html).
[Untuk contoh yang menunjukkan alur kerja sebelumnya dan cara mendapatkan rekomendasi yang dioptimalkan untuk NEO XGBoost, lihat contoh buku catatan berikut.](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-inference-recommender/xgboost/xgboost-inference-recommender.ipynb) Untuk contoh yang menunjukkan cara mendapatkan rekomendasi yang dioptimalkan NEO menggunakan TensorFlow, lihat [contoh](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-inference-recommender/inference-recommender.ipynb) buku catatan berikut.
# Hasil rekomendasi
Setiap hasil pekerjaan Inference Recommender mencakup`InstanceType`,, dan `InitialInstanceCount``EnvironmentParameters`, yang merupakan parameter variabel lingkungan yang disetel untuk penampung Anda guna meningkatkan latensi dan throughputnya. Hasilnya juga mencakup metrik kinerja dan biaya seperti`MaxInvocations`,,`ModelLatency`,`CostPerHour`, `CostPerInference``CpuUtilization`, dan`MemoryUtilization`.
Pada tabel di bawah ini kami memberikan deskripsi metrik ini. Metrik ini dapat membantu Anda mempersempit pencarian Anda untuk konfigurasi titik akhir terbaik yang sesuai dengan kasus penggunaan Anda. Misalnya, jika motivasi Anda adalah kinerja harga secara keseluruhan dengan penekanan pada throughput, maka Anda harus fokus pada`CostPerInference`.
| Metrik | Deskripsi | Kasus penggunaan |
| --- | --- | --- |
| `ModelLatency` | Interval waktu yang dibutuhkan oleh model untuk merespons seperti yang dilihat dari SageMaker AI. Interval ini mencakup waktu komunikasi lokal yang diambil untuk mengirim permintaan dan untuk mengambil respons dari wadah model dan waktu yang dibutuhkan untuk menyelesaikan inferensi dalam wadah. Unit: Milidetik | Beban kerja sensitif latensi seperti penayangan iklan dan diagnosis medis |
| `MaximumInvocations` | Jumlah maksimum `InvokeEndpoint` permintaan yang dikirim ke titik akhir model dalam satu menit. Satuan: Tidak ada | Beban kerja yang berfokus pada throughput seperti pemrosesan video atau inferensi batch |
| `CostPerHour` | Perkiraan biaya per jam untuk titik akhir real-time Anda. Unit: Dolar AS | Beban kerja yang sensitif terhadap biaya tanpa tenggat waktu latensi |
| `CostPerInference` | Perkiraan biaya per panggilan inferensi untuk titik akhir real-time Anda. Unit: Dolar AS | Maksimalkan kinerja harga secara keseluruhan dengan fokus pada throughput |
| `CpuUtilization` | Pemanfaatan CPU yang diharapkan pada pemanggilan maksimum per menit untuk instance titik akhir. Unit: Persen | Memahami kesehatan instance selama benchmarking dengan memiliki visibilitas ke dalam pemanfaatan CPU inti instance |
| `MemoryUtilization` | Pemanfaatan memori yang diharapkan pada pemanggilan maksimum per menit untuk instance titik akhir. Unit: Persen | Memahami kesehatan instance selama pembandingan dengan memiliki visibilitas ke dalam pemanfaatan memori inti instance |
Dalam beberapa kasus, Anda mungkin ingin menjelajahi [metrik Pemanggilan Titik Akhir SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/monitoring-cloudwatch.html#cloudwatch-metrics-endpoint-invocation) lainnya seperti. `CPUUtilization` Setiap hasil pekerjaan Inference Recommender mencakup nama-nama titik akhir yang diputar selama uji beban. Anda dapat menggunakan CloudWatch untuk meninjau log untuk titik akhir ini bahkan setelah dihapus.
Gambar berikut adalah contoh CloudWatch metrik dan bagan yang dapat Anda tinjau untuk satu titik akhir dari hasil rekomendasi Anda. Hasil rekomendasi ini berasal dari pekerjaan Default. Cara untuk menafsirkan nilai skalar dari hasil rekomendasi adalah bahwa mereka didasarkan pada titik waktu ketika grafik Invocations pertama kali mulai naik level. Misalnya, `ModelLatency` nilai yang dilaporkan berada di awal dataran tinggi sekitar. `03:00:31`
![\[Grafik untuk CloudWatch metrik.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/inference-recommender-cw-metrics.png)
Untuk deskripsi lengkap tentang CloudWatch metrik yang digunakan dalam bagan sebelumnya, lihat Metrik Pemanggilan Titik Akhir [SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/monitoring-cloudwatch.html#cloudwatch-metrics-endpoint-invocation).
Anda juga dapat melihat metrik kinerja seperti `ClientInvocations` dan `NumberOfUsers` diterbitkan oleh Inference Recommender di namespace. `/aws/sagemaker/InferenceRecommendationsJobs` Untuk daftar lengkap metrik dan deskripsi yang diterbitkan oleh Inference Recommender, lihat. [SageMaker Metrik pekerjaan Inference Recommender](monitoring-cloudwatch.md#cloudwatch-metrics-inference-recommender)
Lihat [Amazon SageMaker Inference Recommender - CloudWatch Metrics](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-inference-recommender/tensorflow-cloudwatch/tf-cloudwatch-inference-recommender.ipynb) Jupyter notebook di repositori [amazon-sagemaker-examples](https://github.com/aws/amazon-sagemaker-examples)Github untuk contoh cara menggunakan SDK for Python AWS (Boto3) untuk menjelajahi metrik untuk titik akhir Anda. CloudWatch
# Dapatkan rekomendasi kebijakan penskalaan otomatis
Dengan Amazon SageMaker Inference Recommender, Anda bisa mendapatkan rekomendasi untuk kebijakan penskalaan otomatis untuk titik akhir SageMaker AI Anda berdasarkan pola lalu lintas yang Anda antisipasi. Jika Anda telah menyelesaikan pekerjaan rekomendasi inferensi, Anda dapat memberikan rincian pekerjaan untuk mendapatkan rekomendasi untuk kebijakan penskalaan otomatis yang dapat Anda terapkan ke titik akhir Anda.
Inference Recommender membandingkan nilai yang berbeda untuk setiap metrik untuk menentukan konfigurasi penskalaan otomatis yang ideal untuk titik akhir Anda. Rekomendasi penskalaan otomatis mengembalikan kebijakan penskalaan otomatis yang direkomendasikan untuk setiap metrik yang ditentukan dalam pekerjaan rekomendasi inferensi Anda. Anda dapat menyimpan kebijakan dan menerapkannya ke titik akhir Anda dengan [PutScalingPolicy](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_PutScalingPolicy.html)API.
Untuk memulai, tinjau prasyarat berikut.
## Prasyarat
Sebelum Anda mulai, Anda harus telah menyelesaikan pekerjaan rekomendasi inferensi yang sukses. Di bagian berikut, Anda dapat memberikan ID rekomendasi inferensi atau nama titik akhir SageMaker AI yang dibenchmark selama pekerjaan rekomendasi inferensi.
Untuk mengambil ID pekerjaan rekomendasi atau nama titik akhir, Anda dapat melihat detail pekerjaan rekomendasi inferensi di konsol SageMaker AI, atau Anda dapat menggunakan `EndpointName` bidang `RecommendationId` atau yang dikembalikan oleh API. [DescribeInferenceRecommendationsJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeInferenceRecommendationsJob.html)
## Buat rekomendasi konfigurasi penskalaan otomatis
Untuk membuat kebijakan rekomendasi penskalaan otomatis, Anda dapat menggunakan. AWS SDK untuk Python (Boto3)
Contoh berikut menunjukkan bidang untuk [ GetScalingConfigurationRecommendation](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_GetScalingConfigurationRecommendation.html)API. Gunakan bidang berikut saat Anda memanggil API:
+ `InferenceRecommendationsJobName`— Masukkan nama pekerjaan rekomendasi inferensi Anda.
+ `RecommendationId`— Masukkan ID rekomendasi inferensi dari pekerjaan rekomendasi. Ini opsional jika Anda telah menentukan `EndpointName` bidang.
+ `EndpointName`— Masukkan nama titik akhir yang telah dipatokan selama pekerjaan rekomendasi inferensi. Ini opsional jika Anda telah menentukan `RecommendationId` bidang.
+ `TargetCpuUtilizationPerCore`— (Opsional) Masukkan nilai persentase berapa banyak pemanfaatan yang Anda inginkan sebuah instance pada titik akhir Anda untuk digunakan sebelum penskalaan otomatis. Nilai default jika Anda tidak menentukan bidang ini adalah 50%.
+ `ScalingPolicyObjective`— (Opsional) Objek tempat Anda menentukan pola lalu lintas yang diantisipasi.
+ `MinInvocationsPerMinute`— (Opsional) Jumlah minimum permintaan yang diharapkan ke titik akhir Anda per menit.
+ `MaxInvocationsPerMinute`— (Opsional) Jumlah maksimum permintaan yang diharapkan ke titik akhir Anda per menit.
```
{
"InferenceRecommendationsJobName": "string", // Required
"RecommendationId": "string", // Optional, provide one of RecommendationId or EndpointName
"EndpointName": "string", // Optional, provide one of RecommendationId or EndpointName
"TargetCpuUtilizationPerCore": number, // Optional
"ScalingPolicyObjective": { // Optional
"MinInvocationsPerMinute": number,
"MaxInvocationsPerMinute": number
}
}
```
Setelah mengirimkan permintaan, Anda akan menerima respons dengan kebijakan penskalaan otomatis yang ditentukan untuk setiap metrik. Lihat bagian berikut untuk informasi tentang menafsirkan respons.
## Tinjau hasil rekomendasi konfigurasi penskalaan otomatis Anda
Contoh berikut menunjukkan respons dari [ GetScalingConfigurationRecommendation](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_GetScalingConfigurationRecommendation.html)API:
```
{
"InferenceRecommendationsJobName": "string",
"RecommendationId": "string", // One of RecommendationId or EndpointName is shown
"EndpointName": "string",
"TargetUtilizationPercentage": Integer,
"ScalingPolicyObjective": {
"MinInvocationsPerMinute": Integer,
"MaxInvocationsPerMinute": Integer
},
"Metric": {
"ModelLatency": Integer,
"InvocationsPerInstance": Integer
},
"DynamicScalingConfiguration": {
"MinCapacity": number,
"MaxCapacity": number,
"ScaleInCooldown": number,
"ScaleOutCooldown": number,
"ScalingPolicies": [
{
"TargetTracking": {
"MetricSpecification": {
"Predefined" {
"PredefinedMetricType": "string"
},
"Customized": {
"MetricName": "string",
"Namespace": "string",
"Statistic": "string"
}
},
"TargetValue": Double
}
}
]
}
}
```
Bidang `InferenceRecommendationsJobName``EndpointName`, `RecommendationID` atau`TargetCpuUtilizationPerCore`,, dan `ScalingPolicyObjective` objek disalin dari permintaan awal Anda.
`Metric`Objek mencantumkan metrik yang dibenchmark dalam pekerjaan rekomendasi inferensi Anda, bersama dengan perhitungan nilai untuk setiap metrik ketika pemanfaatan instance akan sama dengan nilainya. `TargetCpuUtilizationPerCore` Hal ini berguna untuk mengantisipasi metrik kinerja pada titik akhir Anda saat menskalakan masuk dan keluar dengan kebijakan penskalaan otomatis yang direkomendasikan. Misalnya, pertimbangkan apakah pemanfaatan instans Anda adalah 50% dalam pekerjaan rekomendasi inferensi Anda dan `InvocationsPerInstance` nilai Anda pada awalnya. `4` Jika Anda menentukan `TargetCpuUtilizationPerCore` nilai menjadi 100% dalam permintaan rekomendasi penskalaan otomatis Anda, maka nilai `InvocationsPerInstance` metrik yang dikembalikan dalam respons adalah `2` karena Anda mengantisipasi mengalokasikan penggunaan instance dua kali lebih banyak.
`DynamicScalingConfiguration`Objek mengembalikan nilai yang harus Anda tentukan [TargetTrackingScalingPolicyConfiguration](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_PutScalingPolicy.html#autoscaling-PutScalingPolicy-request-TargetTrackingScalingPolicyConfiguration)saat Anda memanggil [PutScalingPolicy](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_PutScalingPolicy.html)API. Ini termasuk nilai kapasitas minimum dan maksimum yang disarankan, waktu cooldown skala masuk dan skala yang disarankan, dan `ScalingPolicies` objek, yang berisi rekomendasi yang harus `TargetValue` Anda tentukan untuk setiap metrik.
# Jalankan uji beban khusus
Pengujian beban Amazon SageMaker Inference Recommender melakukan tolok ukur ekstensif berdasarkan persyaratan produksi untuk latensi dan throughput, pola lalu lintas khusus, dan titik akhir tanpa server atau instans real-time (hingga 10) yang Anda pilih.
Bagian berikut menunjukkan cara membuat, mendeskripsikan, dan menghentikan uji beban secara terprogram menggunakan AWS SDK untuk Python (Boto3) dan AWS CLI, atau secara interaktif menggunakan Amazon SageMaker Studio Classic atau konsol AI. SageMaker
## Buat pekerjaan uji beban
Buat uji beban secara terprogram menggunakan AWS SDK untuk Python (Boto3), dengan AWS CLI, atau secara interaktif menggunakan Studio Classic atau konsol AI. SageMaker Seperti rekomendasi inferensi Inference Recommender, tentukan nama pekerjaan untuk uji beban Anda, ARN peran AWS IAM, konfigurasi input, dan ARN paket model Anda sejak Anda mendaftarkan model Anda dengan registri model. Tes beban mengharuskan Anda juga menentukan pola lalu lintas dan kondisi penghentian.
------
#### [ AWS SDK untuk Python (Boto3) ]
Gunakan `CreateInferenceRecommendationsJob` API untuk membuat uji beban Inference Recommender. Tentukan `Advanced` untuk `JobType` bidang dan berikan:
+ Nama pekerjaan untuk uji beban Anda (`JobName`). Nama pekerjaan harus unik di AWS Wilayah Anda dan di dalam AWS akun Anda.
+ Nama Sumber Daya Amazon (ARN) dari peran IAM yang memungkinkan Inference Recommender untuk melakukan tugas atas nama Anda. Tentukan ini untuk `RoleArn` bidang.
+ Kamus konfigurasi titik akhir (`InputConfig`) tempat Anda menentukan yang berikut:
+ Untuk`TrafficPattern`, tentukan fase atau pola lalu lintas tangga. Dengan pola lalu lintas fase, pengguna baru muncul setiap menit dengan kecepatan yang Anda tentukan. Dengan pola lalu lintas tangga, pengguna baru muncul pada interval waktu (atau *langkah*) pada tingkat yang Anda tentukan. Pilih salah satu cara berikut:
+ Untuk `TrafficType`, tentukan `PHASES`. Kemudian, untuk `Phases` array, tentukan `InitialNumberOfUsers` (berapa banyak pengguna bersamaan untuk memulai, dengan minimal 1 dan maksimum 3), `SpawnRate` (jumlah pengguna yang akan muncul dalam satu menit untuk fase pengujian beban tertentu, dengan minimal 0 dan maksimum 3), dan `DurationInSeconds` (berapa lama fase lalu lintas seharusnya, dengan minimum 120 dan maksimum 3600).
+ Untuk `TrafficType`, tentukan `STAIRS`. Kemudian, untuk `Stairs` array, tentukan `DurationInSeconds` (berapa lama fase lalu lintas seharusnya, dengan minimum 120 dan maksimum 3600), `NumberOfSteps` (berapa banyak interval yang digunakan selama fase), dan `UsersPerStep` (berapa banyak pengguna yang ditambahkan selama setiap interval). Perhatikan bahwa panjang setiap langkah adalah nilai dari`DurationInSeconds / NumberOfSteps`. Misalnya, jika Anda `600` dan Anda `DurationInSeconds` menentukan `5` langkah-langkahnya, maka setiap langkah berdurasi 120 detik.
**catatan**
Seorang pengguna didefinisikan sebagai aktor yang dihasilkan sistem yang berjalan dalam satu lingkaran dan memanggil permintaan ke titik akhir sebagai bagian dari Inference Recommender. Untuk XGBoost wadah tipikal yang berjalan pada sebuah `ml.c5.large` instance, titik akhir dapat mencapai 30.000 pemanggilan per menit (500 tps) hanya dengan 15-20 pengguna.
+ Untuk`ResourceLimit`, tentukan `MaxNumberOfTests` (jumlah maksimum uji beban benchmarking untuk pekerjaan Inference Recommender, dengan minimal 1 dan maksimum 10) dan `MaxParallelOfTests` (jumlah maksimum uji beban benchmarking paralel untuk pekerjaan Inference Recommender, dengan minimal 1 dan maksimum 10).
+ Untuk`EndpointConfigurations`, Anda dapat menentukan salah satu dari berikut ini:
+ `InstanceType`Bidang, tempat Anda menentukan jenis instance tempat Anda ingin menjalankan pengujian beban.
+ The`ServerlessConfig`, di mana Anda menentukan nilai ideal Anda untuk `MaxConcurrency` dan `MemorySizeInMB` untuk titik akhir tanpa server. Untuk informasi selengkapnya, lihat dokumentasi [Inferensi Tanpa Server](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html).
+ Kamus kondisi berhenti (`StoppingConditions`), di mana jika salah satu kondisi terpenuhi, pekerjaan Inference Recommender berhenti. Untuk contoh ini, tentukan bidang berikut dalam kamus:
+ Untuk`MaxInvocations`, tentukan jumlah maksimum permintaan per menit yang diharapkan untuk titik akhir, dengan minimum 1 dan maksimum 30.000.
+ Untuk`ModelLatencyThresholds`, tentukan `Percentile` (ambang persentil latensi model) dan `ValueInMilliseconds` (nilai persentil latensi model dalam milidetik).
+ (Opsional) Untuk`FlatInvocations`, Anda dapat menentukan apakah akan melanjutkan uji beban ketika tingkat TPS (pemanggilan per menit) rata. Tingkat TPS yang diratakan biasanya berarti bahwa titik akhir telah mencapai kapasitas. Namun, Anda mungkin ingin terus memantau titik akhir dalam kondisi kapasitas penuh. Untuk melanjutkan uji beban ketika ini terjadi, tentukan nilai ini sebagai`Continue`. Jika tidak, nilai defaultnya adalah `Stop`.
```
# Create a low-level SageMaker service client.
import boto3
aws_region=
sagemaker_client=boto3.client('sagemaker', region=aws_region)
# Provide a name to your recommendation based on load testing
load_test_job_name=""
# Provide the name of the sagemaker instance type
instance_type=""
# Provide the IAM Role that gives SageMaker permission to access AWS services
role_arn='arn:aws:iam:::role/*'
# Provide your model package ARN that was created when you registered your
# model with Model Registry
model_package_arn='arn:aws:sagemaker:::role/*'
sagemaker_client.create_inference_recommendations_job(
JobName=load_test_job_name,
JobType="Advanced",
RoleArn=role_arn,
InputConfig={
'ModelPackageVersionArn': model_package_arn,
"JobDurationInSeconds": 7200,
'TrafficPattern' : {
# Replace PHASES with STAIRS to use the stairs traffic pattern
'TrafficType': 'PHASES',
'Phases': [
{
'InitialNumberOfUsers': 1,
'SpawnRate': 1,
'DurationInSeconds': 120
},
{
'InitialNumberOfUsers': 1,
'SpawnRate': 1,
'DurationInSeconds': 120
}
]
# Uncomment this section and comment out the Phases object above to use the stairs traffic pattern
# 'Stairs' : {
# 'DurationInSeconds': 240,
# 'NumberOfSteps': 2,
# 'UsersPerStep': 2
# }
},
'ResourceLimit': {
'MaxNumberOfTests': 10,
'MaxParallelOfTests': 3
},
"EndpointConfigurations" : [{
'InstanceType': 'ml.c5.xlarge'
},
{
'InstanceType': 'ml.m5.xlarge'
},
{
'InstanceType': 'ml.r5.xlarge'
}]
# Uncomment the ServerlessConfig and comment out the InstanceType field if you want recommendations for a serverless endpoint
# "ServerlessConfig": {
# "MaxConcurrency": value,
# "MemorySizeInMB": value
# }
},
StoppingConditions={
'MaxInvocations': 1000,
'ModelLatencyThresholds':[{
'Percentile': 'P95',
'ValueInMilliseconds': 100
}],
# Change 'Stop' to 'Continue' to let the load test continue if invocations flatten
'FlatInvocations': 'Stop'
}
)
```
Lihat [Panduan Referensi Amazon SageMaker API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/Welcome.html) untuk daftar lengkap argumen opsional dan wajib yang dapat Anda berikan`CreateInferenceRecommendationsJob`.
------
#### [ AWS CLI ]
Gunakan `create-inference-recommendations-job` API untuk membuat uji beban Inference Recommender. Tentukan `Advanced` untuk `JobType` bidang dan berikan:
+ Nama pekerjaan untuk uji beban Anda (`job-name`). Nama pekerjaan harus unik di AWS Wilayah Anda dan di dalam AWS akun Anda.
+ Nama Sumber Daya Amazon (ARN) dari peran IAM yang memungkinkan Inference Recommender untuk melakukan tugas atas nama Anda. Tentukan ini untuk `role-arn` bidang.
+ Kamus konfigurasi titik akhir (`input-config`) tempat Anda menentukan yang berikut:
+ Untuk`TrafficPattern`, tentukan fase atau pola lalu lintas tangga. Dengan pola lalu lintas fase, pengguna baru muncul setiap menit dengan kecepatan yang Anda tentukan. Dengan pola lalu lintas tangga, pengguna baru muncul pada interval waktu (atau *langkah*) pada tingkat yang Anda tentukan. Pilih salah satu cara berikut:
+ Untuk `TrafficType`, tentukan `PHASES`. Kemudian, untuk `Phases` array, tentukan `InitialNumberOfUsers` (berapa banyak pengguna bersamaan untuk memulai, dengan minimal 1 dan maksimum 3), `SpawnRate` (jumlah pengguna yang akan muncul dalam satu menit untuk fase pengujian beban tertentu, dengan minimal 0 dan maksimum 3), dan `DurationInSeconds` (berapa lama fase lalu lintas seharusnya, dengan minimum 120 dan maksimum 3600).
+ Untuk `TrafficType`, tentukan `STAIRS`. Kemudian, untuk `Stairs` array, tentukan `DurationInSeconds` (berapa lama fase lalu lintas seharusnya, dengan minimum 120 dan maksimum 3600), `NumberOfSteps` (berapa banyak interval yang digunakan selama fase), dan `UsersPerStep` (berapa banyak pengguna yang ditambahkan selama setiap interval). Perhatikan bahwa panjang setiap langkah adalah nilai dari`DurationInSeconds / NumberOfSteps`. Misalnya, jika Anda `600` dan Anda `DurationInSeconds` menentukan `5` langkah-langkahnya, maka setiap langkah berdurasi 120 detik.
**catatan**
Seorang pengguna didefinisikan sebagai aktor yang dihasilkan sistem yang berjalan dalam satu lingkaran dan memanggil permintaan ke titik akhir sebagai bagian dari Inference Recommender. Untuk XGBoost wadah tipikal yang berjalan pada sebuah `ml.c5.large` instance, titik akhir dapat mencapai 30.000 pemanggilan per menit (500 tps) hanya dengan 15-20 pengguna.
+ Untuk`ResourceLimit`, tentukan `MaxNumberOfTests` (jumlah maksimum uji beban benchmarking untuk pekerjaan Inference Recommender, dengan minimal 1 dan maksimum 10) dan `MaxParallelOfTests` (jumlah maksimum uji beban benchmarking paralel untuk pekerjaan Inference Recommender, dengan minimal 1 dan maksimum 10).
+ Untuk`EndpointConfigurations`, Anda dapat menentukan salah satu dari berikut ini:
+ `InstanceType`Bidang, tempat Anda menentukan jenis instance tempat Anda ingin menjalankan pengujian beban.
+ The`ServerlessConfig`, di mana Anda menentukan nilai ideal Anda untuk `MaxConcurrency` dan `MemorySizeInMB` untuk titik akhir tanpa server.
+ Kamus kondisi berhenti (`stopping-conditions`), di mana jika salah satu kondisi terpenuhi, pekerjaan Inference Recommender berhenti. Untuk contoh ini, tentukan bidang berikut dalam kamus:
+ Untuk`MaxInvocations`, tentukan jumlah maksimum permintaan per menit yang diharapkan untuk titik akhir, dengan minimum 1 dan maksimum 30.000.
+ Untuk`ModelLatencyThresholds`, tentukan `Percentile` (ambang persentil latensi model) dan `ValueInMilliseconds` (nilai persentil latensi model dalam milidetik).
+ (Opsional) Untuk`FlatInvocations`, Anda dapat menentukan apakah akan melanjutkan uji beban ketika tingkat TPS (pemanggilan per menit) rata. Tingkat TPS yang diratakan biasanya berarti bahwa titik akhir telah mencapai kapasitas. Namun, Anda mungkin ingin terus memantau titik akhir dalam kondisi kapasitas penuh. Untuk melanjutkan uji beban ketika ini terjadi, tentukan nilai ini sebagai`Continue`. Jika tidak, nilai defaultnya adalah `Stop`.
```
aws sagemaker create-inference-recommendations-job\
--region \
--job-name \
--job-type ADVANCED\
--role-arn arn:aws:iam:::role/*\
--input-config \"{
\"ModelPackageVersionArn\": \"arn:aws:sagemaker:::role/*\",
\"JobDurationInSeconds\": 7200,
\"TrafficPattern\" : {
# Replace PHASES with STAIRS to use the stairs traffic pattern
\"TrafficType\": \"PHASES\",
\"Phases\": [
{
\"InitialNumberOfUsers\": 1,
\"SpawnRate\": 60,
\"DurationInSeconds\": 300
}
]
# Uncomment this section and comment out the Phases object above to use the stairs traffic pattern
# 'Stairs' : {
# 'DurationInSeconds': 240,
# 'NumberOfSteps': 2,
# 'UsersPerStep': 2
# }
},
\"ResourceLimit\": {
\"MaxNumberOfTests\": 10,
\"MaxParallelOfTests\": 3
},
\"EndpointConfigurations\" : [
{
\"InstanceType\": \"ml.c5.xlarge\"
},
{
\"InstanceType\": \"ml.m5.xlarge\"
},
{
\"InstanceType\": \"ml.r5.xlarge\"
}
# Use the ServerlessConfig and leave out the InstanceType fields if you want recommendations for a serverless endpoint
# \"ServerlessConfig\": {
# \"MaxConcurrency\": value,
# \"MemorySizeInMB\": value
# }
]
}\"
--stopping-conditions \"{
\"MaxInvocations\": 1000,
\"ModelLatencyThresholds\":[
{
\"Percentile\": \"P95\",
\"ValueInMilliseconds\": 100
}
],
# Change 'Stop' to 'Continue' to let the load test continue if invocations flatten
\"FlatInvocations\": \"Stop\"
}\"
```
------
#### [ Amazon SageMaker Studio Classic ]
Buat tes beban dengan Studio Classic.
1. Di aplikasi Studio Classic Anda, pilih ikon beranda (![\[Black square icon representing a placeholder or empty image.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/studio/icons/house.png)).
1. Di bilah sisi kiri Studio Classic, pilih **Deployment**.
1. Pilih **Inference recommended dari daftar** dropdown.
1. Pilih **Buat pekerjaan pemberi rekomendasi inferensi**. Tab baru berjudul **Buat lowongan pemberi rekomendasi inferensi terbuka**.
1. Pilih nama grup model Anda dari bidang **grup Model** dropdown. Daftar ini mencakup semua grup model yang terdaftar dengan registri model di akun Anda, termasuk model yang terdaftar di luar Studio Classic.
1. Pilih versi model dari bidang **versi model** dropdown.
1. Pilih **Lanjutkan**.
1. Berikan nama untuk pekerjaan di bidang **Nama**.
1. (Opsional) Berikan deskripsi pekerjaan Anda di bidang **Deskripsi**.
1. Pilih peran IAM yang memberikan izin Inference Recommender untuk mengakses layanan. AWS Anda dapat membuat peran dan melampirkan kebijakan terkelola `AmazonSageMakerFullAccess` IAM untuk mencapai hal ini, atau Anda dapat membiarkan Studio Classic membuat peran untuk Anda.
1. Pilih **Kondisi Berhenti** untuk memperluas bidang input yang tersedia. Berikan serangkaian kondisi untuk menghentikan rekomendasi penerapan.
1. Tentukan jumlah maksimum permintaan per menit yang diharapkan untuk titik akhir di bidang **Pemanggilan Maks Per** Menit.
1. Tentukan ambang latensi model dalam mikrodetik di bidang Ambang **Latensi Model**. **Ambang Latensi Model** menggambarkan interval waktu yang dibutuhkan oleh model untuk merespons sebagaimana dilihat dari Inference Recommender. Interval tersebut mencakup waktu komunikasi lokal yang diambil untuk mengirim permintaan dan untuk mengambil respons dari wadah model dan waktu yang dibutuhkan untuk menyelesaikan inferensi dalam wadah.
1. Pilih **Pola Lalu Lintas** untuk memperluas bidang input yang tersedia.
1. Tetapkan jumlah awal pengguna virtual dengan menentukan bilangan bulat di bidang **Nomor Awal Pengguna**.
1. Berikan bilangan bulat untuk bidang **Spawn** Rate. Tingkat spawn menetapkan jumlah pengguna yang dibuat per detik.
1. Atur durasi untuk fase dalam detik dengan menentukan bilangan bulat di bidang **Durasi**.
1. (Opsional) Tambahkan pola lalu lintas tambahan. Untuk melakukannya, pilih **Tambah**.
1. Pilih Pengaturan **tambahan** untuk menampilkan bidang **Durasi tes Maks**. Tentukan, dalam hitungan detik, waktu maksimum yang dapat diambil tes selama pekerjaan. Pekerjaan baru tidak dijadwalkan setelah durasi yang ditentukan. Ini membantu memastikan pekerjaan yang sedang berlangsung tidak dihentikan dan Anda hanya melihat pekerjaan yang sudah selesai.
1. Pilih **Lanjutkan**.
1. Pilih **Instans yang Dipilih**.
1. Di bidang **Instances for benchmarking**, pilih **Tambahkan instance** untuk diuji. Pilih hingga 10 instans untuk Inference Recommender untuk digunakan untuk pengujian beban.
1. Pilih **Pengaturan tambahan**.
1. Berikan bilangan bulat yang menetapkan batas atas jumlah pengujian yang dapat dilakukan pekerjaan untuk **bidang jumlah tes Maks**. Perhatikan bahwa setiap konfigurasi titik akhir menghasilkan uji beban baru.
1. Berikan bilangan bulat untuk bidang uji **paralel Max**. Pengaturan ini mendefinisikan batas atas pada jumlah tes beban yang dapat berjalan secara paralel.
1. Pilih **Kirim**.
Tes beban bisa memakan waktu hingga 2 jam.
**Awas**
Jangan tutup tab ini. Jika Anda menutup tab ini, Anda membatalkan tugas uji beban Inference Recommender.
------
#### [ SageMaker AI console ]
Buat uji beban khusus melalui konsol SageMaker AI dengan melakukan hal berikut:
1. Buka konsol SageMaker AI di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. Di panel navigasi kiri, pilih **Inferensi, lalu pilih **Inference**** recommended.
1. Pada halaman **lowongan pemberi rekomendasi inferensi, pilih **Buat** pekerjaan**.
1. Untuk **Langkah 1: Konfigurasi model**, lakukan hal berikut:
1. Untuk **jenis Job**, pilih **Lowongan pemberi rekomendasi lanjutan**.
1. Jika Anda menggunakan model yang terdaftar di registri model SageMaker AI, aktifkan sakelar **Pilih model dari registri model** dan lakukan hal berikut:
1. Untuk daftar dropdown **grup Model**, pilih grup model di registri model SageMaker AI tempat model Anda berada.
1. Untuk daftar dropdown **versi Model**, pilih versi model yang diinginkan.
1. Jika Anda menggunakan model yang telah Anda buat di SageMaker AI, matikan sakelar **Pilih model dari registri model** dan lakukan hal berikut:
1. Untuk bidang **Nama Model**, masukkan nama model SageMaker AI Anda.
1. Untuk **peran IAM**, Anda dapat memilih peran AWS IAM yang ada yang memiliki izin yang diperlukan untuk membuat pekerjaan rekomendasi instans. Atau, jika Anda tidak memiliki peran yang ada, Anda dapat memilih **Buat peran baru** untuk membuka pop-up pembuatan peran, dan SageMaker AI menambahkan izin yang diperlukan ke peran baru yang Anda buat.
1. Untuk **bucket S3 untuk benchmarking payload**, masukkan path Amazon S3 ke arsip payload sampel Anda, yang harus berisi contoh file payload yang digunakan Inference Recomder untuk membandingkan model Anda pada jenis instans yang berbeda.
1. Untuk **jenis konten Payload, masukkan tipe** MIME dari data payload sampel Anda.
1. Untuk **pola Lalu Lintas**, konfigurasikan fase untuk uji beban dengan melakukan hal berikut:
1. Untuk **jumlah pengguna awal**, tentukan berapa banyak pengguna bersamaan yang ingin Anda mulai dengan (dengan minimal 1 dan maksimal 3).
1. Untuk **tingkat Spawn**, tentukan jumlah pengguna yang akan muncul dalam satu menit untuk fase (dengan minimum 0 dan maksimum 3).
1. Untuk **Durasi (detik)**, tentukan seberapa rendah fase lalu lintas dalam hitungan detik (dengan minimum 120 dan maksimum 3600).
1. (Opsional) Jika Anda mematikan **tombol Pilih model dari registri model** dan menentukan model SageMaker AI, lalu untuk **konfigurasi Container**, lakukan hal berikut:
1. Untuk daftar dropdown **Domain**, pilih domain pembelajaran mesin model, seperti visi komputer, pemrosesan bahasa alami, atau pembelajaran mesin.
1. Untuk daftar dropdown **Framework**, pilih framework penampung Anda, seperti TensorFlow atau. XGBoost
1. Untuk **versi Framework**, masukkan versi kerangka gambar kontainer Anda.
1. Untuk daftar dropdown **nama model terdekat**, pilih model pra-terlatih yang sebagian besar cocok dengan model Anda.
1. Untuk daftar tarik-turun **Tugas**, pilih tugas pembelajaran mesin yang diselesaikan model, seperti klasifikasi gambar atau regresi.
1. (Opsional) Untuk **kompilasi Model menggunakan SageMaker Neo**, Anda dapat mengonfigurasi pekerjaan rekomendasi untuk model yang telah Anda kompilasi menggunakan SageMaker Neo. Untuk **konfigurasi input Data**, masukkan bentuk data input yang benar untuk model Anda dalam format yang mirip dengan`{'input':[1,1024,1024,3]}`.
1. Pilih **Berikutnya**.
1. Untuk **Langkah 2: Contoh dan parameter lingkungan**, lakukan hal berikut:
1. Untuk **Select instance untuk benchmarking**, pilih hingga 8 jenis instans yang ingin Anda benchmark.
1. (Opsional) Untuk **rentang parameter Lingkungan**, Anda dapat menentukan parameter lingkungan yang membantu mengoptimalkan model Anda. Tentukan parameter sebagai pasangan **Kunci** dan **Nilai**.
1. Pilih **Berikutnya**.
1. Untuk **Langkah 3: Parameter Job**, lakukan hal berikut:
1. (Opsional) Untuk bidang **Nama Job**, masukkan nama untuk pekerjaan rekomendasi instans Anda. Saat Anda membuat pekerjaan, SageMaker AI menambahkan stempel waktu di akhir nama ini.
1. (Opsional) Untuk kolom **Job description**, masukkan deskripsi untuk pekerjaan tersebut.
1. (Opsional) Untuk daftar dropdown **kunci Enkripsi**, pilih AWS KMS kunci berdasarkan nama atau masukkan ARN untuk mengenkripsi data Anda.
1. (Opsional) Untuk **jumlah maksimum tes**, masukkan jumlah tes yang ingin Anda jalankan selama pekerjaan rekomendasi.
1. (Opsional) Untuk **tes paralel Max**, masukkan jumlah maksimum tes paralel yang ingin Anda jalankan selama pekerjaan rekomendasi.
1. Untuk **durasi pengujian Maks**, masukkan jumlah detik maksimum yang Anda inginkan untuk dijalankan setiap pengujian.
1. Untuk **pemanggilan Max per menit**, masukkan jumlah maksimum permintaan per menit yang dapat dicapai titik akhir sebelum menghentikan pekerjaan rekomendasi. Setelah mencapai batas ini, SageMaker AI mengakhiri pekerjaan.
1. Untuk **ambang latensi Model P99 (ms)**, masukkan persentil latensi model dalam milidetik.
1. Pilih **Berikutnya**.
1. Untuk **Langkah 4: Tinjau pekerjaan**, tinjau konfigurasi Anda, lalu pilih **Kirim**.
------
## Dapatkan hasil tes beban Anda
Anda dapat mengumpulkan metrik secara terprogram di semua pengujian beban setelah pengujian beban selesai dengan AWS SDK untuk Python (Boto3), Studio Classic AWS CLI, atau konsol AI. SageMaker
------
#### [ AWS SDK untuk Python (Boto3) ]
Kumpulkan metrik dengan `DescribeInferenceRecommendationsJob` API. Tentukan nama pekerjaan uji beban untuk `JobName` bidang:
```
load_test_response = sagemaker_client.describe_inference_recommendations_job(
JobName=load_test_job_name
)
```
Cetak objek respons.
```
load_test_response['Status']
```
Ini mengembalikan respon JSON mirip dengan contoh berikut. Perhatikan bahwa contoh ini menunjukkan jenis instance yang direkomendasikan untuk inferensi waktu nyata (untuk contoh yang menunjukkan rekomendasi inferensi tanpa server, lihat contoh setelah yang ini).
```
{
'JobName': 'job-name',
'JobDescription': 'job-description',
'JobType': 'Advanced',
'JobArn': 'arn:aws:sagemaker:region:account-id:inference-recommendations-job/resource-id',
'Status': 'COMPLETED',
'CreationTime': datetime.datetime(2021, 10, 26, 19, 38, 30, 957000, tzinfo=tzlocal()),
'LastModifiedTime': datetime.datetime(2021, 10, 26, 19, 46, 31, 399000, tzinfo=tzlocal()),
'InputConfig': {
'ModelPackageVersionArn': 'arn:aws:sagemaker:region:account-id:model-package/resource-id',
'JobDurationInSeconds': 7200,
'TrafficPattern': {
'TrafficType': 'PHASES'
},
'ResourceLimit': {
'MaxNumberOfTests': 100,
'MaxParallelOfTests': 100
},
'EndpointConfigurations': [{
'InstanceType': 'ml.c5d.xlarge'
}]
},
'StoppingConditions': {
'MaxInvocations': 1000,
'ModelLatencyThresholds': [{
'Percentile': 'P95',
'ValueInMilliseconds': 100}
]},
'InferenceRecommendations': [{
'Metrics': {
'CostPerHour': 0.6899999976158142,
'CostPerInference': 1.0332434612791985e-05,
'MaximumInvocations': 1113,
'ModelLatency': 100000
},
'EndpointConfiguration': {
'EndpointName': 'endpoint-name',
'VariantName': 'variant-name',
'InstanceType': 'ml.c5d.xlarge',
'InitialInstanceCount': 3
},
'ModelConfiguration': {
'Compiled': False,
'EnvironmentParameters': []
}
}],
'ResponseMetadata': {
'RequestId': 'request-id',
'HTTPStatusCode': 200,
'HTTPHeaders': {
'x-amzn-requestid': 'x-amzn-requestid',
'content-type': 'content-type',
'content-length': '1199',
'date': 'Tue, 26 Oct 2021 19:57:42 GMT'
},
'RetryAttempts': 0}
}
```
Beberapa baris pertama memberikan informasi tentang pekerjaan uji beban itu sendiri. Ini termasuk nama pekerjaan, peran ARN, pembuatan, dan waktu penghapusan.
`InferenceRecommendations`Kamus berisi daftar rekomendasi inferensi Inference Recommender.
Kamus `EndpointConfiguration` bersarang berisi rekomendasi instance type (`InstanceType`) bersama dengan titik akhir dan nama varian (model pembelajaran AWS mesin yang diterapkan) yang digunakan selama pekerjaan rekomendasi. Anda dapat menggunakan nama endpoint dan varian untuk pemantauan di Amazon CloudWatch Events. Untuk informasi selengkapnya, lihat [Metrik Amazon SageMaker AI di Amazon CloudWatch](monitoring-cloudwatch.md).
Kamus `EndpointConfiguration` bersarang juga berisi rekomendasi instance count (`InitialInstanceCount`). Ini adalah jumlah instance yang harus Anda sediakan di titik akhir untuk memenuhi yang `MaxInvocations` ditentukan dalam. `StoppingConditions` Misalnya, jika `InstanceType` is `ml.m5.large` dan `InitialInstanceCount` is`2`, maka Anda harus menyediakan 2 `ml.m5.large` instance untuk titik akhir Anda sehingga dapat menangani TPS yang ditentukan dalam kondisi berhenti. `MaxInvocations`
Kamus `Metrics` bersarang berisi informasi tentang perkiraan biaya per jam (`CostPerHour`) untuk titik akhir real-time Anda dalam dolar AS, perkiraan biaya per inferensi (`CostPerInference`) untuk titik akhir waktu nyata Anda, jumlah maksimum `InvokeEndpoint` permintaan yang dikirim ke titik akhir, dan latensi model (`ModelLatency`), yang merupakan interval waktu (dalam mikrodetik) yang diambil model Anda untuk merespons AI. SageMaker Latensi model mencakup waktu komunikasi lokal yang diambil untuk mengirim permintaan dan untuk mengambil respons dari wadah model dan waktu yang dibutuhkan untuk menyelesaikan inferensi dalam wadah.
Contoh berikut menunjukkan `InferenceRecommendations` bagian respons untuk pekerjaan uji beban yang dikonfigurasi untuk mengembalikan rekomendasi inferensi tanpa server:
```
"InferenceRecommendations": [
{
"EndpointConfiguration": {
"EndpointName": "value",
"InitialInstanceCount": value,
"InstanceType": "value",
"VariantName": "value",
"ServerlessConfig": {
"MaxConcurrency": value,
"MemorySizeInMb": value
}
},
"InvocationEndTime": value,
"InvocationStartTime": value,
"Metrics": {
"CostPerHour": value,
"CostPerInference": value,
"CpuUtilization": value,
"MaxInvocations": value,
"MemoryUtilization": value,
"ModelLatency": value,
"ModelSetupTime": value
},
"ModelConfiguration": {
"Compiled": "False",
"EnvironmentParameters": [],
"InferenceSpecificationName": "value"
},
"RecommendationId": "value"
}
]
```
Anda dapat menafsirkan rekomendasi untuk inferensi tanpa server mirip dengan hasil untuk inferensi waktu nyata, dengan pengecualian`ServerlessConfig`, yang memberi tahu Anda nilai yang Anda tentukan untuk `MaxConcurrency` dan `MemorySizeInMB` saat menyiapkan uji beban. Rekomendasi tanpa server juga mengukur metrik`ModelSetupTime`, yang mengukur (dalam mikrodetik) waktu yang diperlukan untuk meluncurkan sumber daya komputasi pada titik akhir tanpa server. Untuk informasi selengkapnya tentang pengaturan titik akhir tanpa server, lihat dokumentasi Inferensi Tanpa [Server](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html).
------
#### [ AWS CLI ]
Kumpulkan metrik dengan `describe-inference-recommendations-job` API. Tentukan nama pekerjaan uji beban untuk `job-name` bendera:
```
aws sagemaker describe-inference-recommendations-job --job-name
```
Ini mengembalikan respons yang mirip dengan contoh berikut. Perhatikan bahwa contoh ini menunjukkan jenis instance yang direkomendasikan untuk inferensi waktu nyata (untuk contoh yang menunjukkan rekomendasi Inferensi Tanpa Server, lihat contoh setelah yang ini).
```
{
'JobName': 'job-name',
'JobDescription': 'job-description',
'JobType': 'Advanced',
'JobArn': 'arn:aws:sagemaker:region:account-id:inference-recommendations-job/resource-id',
'Status': 'COMPLETED',
'CreationTime': datetime.datetime(2021, 10, 26, 19, 38, 30, 957000, tzinfo=tzlocal()),
'LastModifiedTime': datetime.datetime(2021, 10, 26, 19, 46, 31, 399000, tzinfo=tzlocal()),
'InputConfig': {
'ModelPackageVersionArn': 'arn:aws:sagemaker:region:account-id:model-package/resource-id',
'JobDurationInSeconds': 7200,
'TrafficPattern': {
'TrafficType': 'PHASES'
},
'ResourceLimit': {
'MaxNumberOfTests': 100,
'MaxParallelOfTests': 100
},
'EndpointConfigurations': [{
'InstanceType': 'ml.c5d.xlarge'
}]
},
'StoppingConditions': {
'MaxInvocations': 1000,
'ModelLatencyThresholds': [{
'Percentile': 'P95',
'ValueInMilliseconds': 100
}]
},
'InferenceRecommendations': [{
'Metrics': {
'CostPerHour': 0.6899999976158142,
'CostPerInference': 1.0332434612791985e-05,
'MaximumInvocations': 1113,
'ModelLatency': 100000
},
'EndpointConfiguration': {
'EndpointName': 'endpoint-name',
'VariantName': 'variant-name',
'InstanceType': 'ml.c5d.xlarge',
'InitialInstanceCount': 3
},
'ModelConfiguration': {
'Compiled': False,
'EnvironmentParameters': []
}
}],
'ResponseMetadata': {
'RequestId': 'request-id',
'HTTPStatusCode': 200,
'HTTPHeaders': {
'x-amzn-requestid': 'x-amzn-requestid',
'content-type': 'content-type',
'content-length': '1199',
'date': 'Tue, 26 Oct 2021 19:57:42 GMT'
},
'RetryAttempts': 0
}
}
```
Beberapa baris pertama memberikan informasi tentang pekerjaan uji beban itu sendiri. Ini termasuk nama pekerjaan, peran ARN, pembuatan, dan waktu penghapusan.
`InferenceRecommendations`Kamus berisi daftar rekomendasi inferensi Inference Recommender.
Kamus `EndpointConfiguration` bersarang berisi rekomendasi instance type (`InstanceType`) bersama dengan titik akhir dan nama varian (model pembelajaran AWS mesin yang diterapkan) yang digunakan selama pekerjaan rekomendasi. Anda dapat menggunakan nama endpoint dan varian untuk pemantauan di Amazon CloudWatch Events. Untuk informasi selengkapnya, lihat [Metrik Amazon SageMaker AI di Amazon CloudWatch](monitoring-cloudwatch.md).
Kamus `Metrics` bersarang berisi informasi tentang perkiraan biaya per jam (`CostPerHour`) untuk titik akhir real-time Anda dalam dolar AS, perkiraan biaya per inferensi (`CostPerInference`) untuk titik akhir waktu nyata Anda, jumlah maksimum `InvokeEndpoint` permintaan yang dikirim ke titik akhir, dan latensi model (`ModelLatency`), yang merupakan interval waktu (dalam mikrodetik) yang diambil model Anda untuk merespons AI. SageMaker Latensi model mencakup waktu komunikasi lokal yang diambil untuk mengirim permintaan dan untuk mengambil respons dari wadah model dan waktu yang dibutuhkan untuk menyelesaikan inferensi dalam wadah.
Contoh berikut menunjukkan `InferenceRecommendations` bagian respons untuk pekerjaan uji beban yang dikonfigurasi untuk mengembalikan rekomendasi inferensi tanpa server:
```
"InferenceRecommendations": [
{
"EndpointConfiguration": {
"EndpointName": "value",
"InitialInstanceCount": value,
"InstanceType": "value",
"VariantName": "value",
"ServerlessConfig": {
"MaxConcurrency": value,
"MemorySizeInMb": value
}
},
"InvocationEndTime": value,
"InvocationStartTime": value,
"Metrics": {
"CostPerHour": value,
"CostPerInference": value,
"CpuUtilization": value,
"MaxInvocations": value,
"MemoryUtilization": value,
"ModelLatency": value,
"ModelSetupTime": value
},
"ModelConfiguration": {
"Compiled": "False",
"EnvironmentParameters": [],
"InferenceSpecificationName": "value"
},
"RecommendationId": "value"
}
]
```
Anda dapat menafsirkan rekomendasi untuk inferensi tanpa server mirip dengan hasil untuk inferensi waktu nyata, dengan pengecualian`ServerlessConfig`, yang memberi tahu Anda nilai yang Anda tentukan untuk `MaxConcurrency` dan `MemorySizeInMB` saat menyiapkan uji beban. Rekomendasi tanpa server juga mengukur metrik`ModelSetupTime`, yang mengukur (dalam mikrodetik) waktu yang diperlukan untuk meluncurkan sumber daya komputer pada titik akhir tanpa server. Untuk informasi selengkapnya tentang pengaturan titik akhir tanpa server, lihat dokumentasi Inferensi Tanpa [Server](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html).
------
#### [ Amazon SageMaker Studio Classic ]
Rekomendasi terisi di tab baru yang disebut **Rekomendasi inferensi** dalam Studio Classic. Diperlukan waktu hingga 2 jam agar hasilnya muncul. Tab ini berisi kolom **Hasil** dan **Detail**.
Kolom **Detail** memberikan informasi tentang pekerjaan uji beban, seperti nama yang diberikan untuk pekerjaan uji beban, saat pekerjaan dibuat (**Waktu pembuatan**), dan banyak lagi. Ini juga berisi informasi **Pengaturan**, seperti jumlah maksimum pemanggilan yang terjadi per menit dan informasi tentang Nama Sumber Daya Amazon yang digunakan.
Kolom **Results** menyediakan **tujuan Deployment** dan jendela **rekomendasi SageMaker AI** di mana Anda dapat menyesuaikan urutan tampilan hasil berdasarkan kepentingan penerapan. Ada tiga menu tarik-turun di mana Anda dapat memberikan tingkat kepentingan **Biaya**, **Latensi**, dan **Throughput** untuk kasus penggunaan Anda. Untuk setiap tujuan (biaya, latensi, dan throughput), Anda dapat menetapkan tingkat kepentingan: Kepentingan **Terendah, Kepentingan** **Rendah, Kepentingan** **sedang, Kepentingan** **tinggi, atau Kepentingan** **tertinggi**.
Berdasarkan pilihan penting Anda untuk setiap tujuan, Inference Recommender menampilkan rekomendasi teratasnya di bidang **SageMakerrekomendasi** di sebelah kanan panel, bersama dengan perkiraan biaya per jam dan permintaan inferensi. Ini juga menyediakan Informasi tentang latensi model yang diharapkan, jumlah maksimum pemanggilan, dan jumlah instance.
Selain rekomendasi teratas yang ditampilkan, Anda juga dapat melihat informasi yang sama ditampilkan untuk semua instance yang diuji oleh Inference Recommender di bagian **Semua** berjalan.
------
#### [ SageMaker AI console ]
Anda dapat melihat hasil pekerjaan uji beban kustom di konsol SageMaker AI dengan melakukan hal berikut:
1. Buka konsol SageMaker AI di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. Di panel navigasi kiri, pilih **Inferensi, lalu pilih **Inference**** recommended.
1. Pada halaman **pekerjaan pemberi rekomendasi inferensi**, pilih nama pekerjaan rekomendasi inferensi Anda.
Pada halaman detail untuk pekerjaan Anda, Anda dapat melihat **rekomendasi Inferensi**, yang merupakan jenis instans yang direkomendasikan SageMaker AI untuk model Anda, seperti yang ditunjukkan pada tangkapan layar berikut.
![\[Tangkapan layar dari daftar rekomendasi inferensi di halaman detail pekerjaan di konsol SageMaker AI.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/inf-rec-instant-recs.png)
Di bagian ini, Anda dapat membandingkan jenis instans dengan berbagai faktor seperti **latensi Model**, **Biaya per jam, Biaya per** **inferensi**, dan **Pemanggilan** per menit.
Di halaman ini, Anda juga dapat melihat konfigurasi yang Anda tentukan untuk pekerjaan Anda. Di bagian **Monitor**, Anda dapat melihat CloudWatch metrik Amazon yang dicatat untuk setiap jenis instans. Untuk mempelajari lebih lanjut tentang menafsirkan metrik ini, lihat [Menafsirkan](https://docs.aws.amazon.com/sagemaker/latest/dg/inference-recommender-interpret-results.html) hasil.
------
# Hentikan uji beban Anda
Anda mungkin ingin menghentikan pekerjaan yang sedang berjalan jika Anda memulai pekerjaan secara tidak sengaja atau tidak perlu lagi menjalankan pekerjaan itu. Hentikan tugas uji beban Anda secara terprogram dengan `StopInferenceRecommendationsJob` API, atau melalui Studio Classic atau konsol SageMaker AI.
------
#### [ AWS SDK untuk Python (Boto3) ]
Tentukan nama pekerjaan uji beban untuk `JobName` bidang:
```
sagemaker_client.stop_inference_recommendations_job(
JobName=''
)
```
------
#### [ AWS CLI ]
Tentukan nama pekerjaan uji beban untuk `job-name` bendera:
```
aws sagemaker stop-inference-recommendations-job --job-name
```
------
#### [ Amazon SageMaker Studio Classic ]
Tutup tab tempat Anda memulai tugas pemuatan khusus untuk menghentikan uji beban Inference Recommender Anda.
------
#### [ SageMaker AI console ]
Untuk menghentikan pekerjaan uji beban Anda melalui konsol SageMaker AI, lakukan hal berikut:
1. Buka konsol SageMaker AI di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. Di panel navigasi kiri, pilih **Inferensi, lalu pilih **Inference**** recommended.
1. Pada halaman **pekerjaan pemberi rekomendasi inferensi, pilih pekerjaan** uji beban Anda.
1. Pilih **Stop Job**
1. Di kotak dialog yang muncul, pilih **Konfirmasi**.
Setelah menghentikan pekerjaan Anda, **Status** pekerjaan harus berubah menjadi **Berhenti**.
------
# Memecahkan masalah kesalahan Inference Recommender
Bagian ini berisi informasi tentang cara memahami dan mencegah kesalahan umum, pesan kesalahan yang mereka hasilkan, dan panduan tentang cara mengatasi kesalahan ini.
## Cara memecahkan masalah
Anda dapat mencoba mengatasi kesalahan Anda dengan melalui langkah-langkah berikut:
+ Periksa apakah Anda telah mencakup semua prasyarat untuk menggunakan Inference Recommender. Lihat [Prasyarat Rekomendasi Inferensi.](https://docs.aws.amazon.com/sagemaker/latest/dg/inference-recommender-prerequisites.html)
+ Periksa apakah Anda dapat menerapkan model Anda dari Registri Model ke titik akhir dan dapat memproses muatan Anda tanpa kesalahan. Lihat [Menerapkan Model dari Registri](https://docs.aws.amazon.com/sagemaker/latest/dg/model-registry-deploy.html).
+ Saat memulai pekerjaan Inference Recommender, Anda akan melihat titik akhir dibuat di konsol dan Anda dapat meninjau log. CloudWatch
## Kesalahan umum
Tinjau tabel berikut untuk kesalahan Inference Recommender umum dan solusinya.
| Kesalahan | Solusi |
| --- | --- |
| Tentukan `Domain` dalam Model Package versi 1. `Domain`adalah parameter wajib untuk pekerjaan itu. | Pastikan Anda menyediakan domain ML atau `OTHER` jika tidak dikenal. |
| Arn peran yang diberikan tidak dapat diasumsikan dan `AWSSecurityTokenServiceException` terjadi kesalahan. | Pastikan peran eksekusi yang disediakan memiliki izin yang diperlukan yang ditentukan dalam prasyarat. |
| Tentukan `Framework` dalam Model Package versi 1. `Framework`adalah parameter wajib untuk pekerjaan itu. | Pastikan Anda menyediakan Framework ML atau `OTHER` jika tidak diketahui. |
| Pengguna pada akhir fase sebelumnya adalah 0 sedangkan pengguna awal fase saat ini adalah 1. | Pengguna di sini mengacu pada pengguna virtual atau utas yang digunakan untuk mengirim permintaan. Setiap fase dimulai dengan pengguna A dan diakhiri dengan pengguna B sehingga B > A. Antara fase berurutan, x\$11 dan x\$12, kita memerlukan abs (x\$12.a - x\$11.b) <= 3 dan >= 0. |
| Total durasi Lalu Lintas (lintas) tidak boleh lebih dari durasi Job. | Total durasi semua Fase Anda tidak dapat melebihi durasi Job. |
| Jenis instance burstable ml.t2.medium tidak diperbolehkan. | Inference Recommender tidak mendukung pengujian beban pada keluarga instans t2 karena instance burstable tidak memberikan kinerja yang konsisten. |
| ResourceLimitExceeded saat memanggil CreateEndpoint operasi | Anda telah melampaui batas sumber daya SageMaker AI. Misalnya, Inference Recommender mungkin tidak dapat menyediakan endpoint untuk benchmarking jika akun telah mencapai kuota endpoint. Untuk informasi selengkapnya tentang batas dan kuota SageMaker AI, lihat [titik akhir dan kuota Amazon SageMaker AI](https://docs.aws.amazon.com/general/latest/gr/sagemaker.html). |
| ModelError saat memanggil InvokeEndpoint operasi | Kesalahan model dapat terjadi karena alasan berikut: [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/inference-recommender-troubleshooting.html) |
| PayloadError saat memanggil InvokeEndpoint operasi | Kesalahan payload dapat terjadi karena alasan berikut: [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/inference-recommender-troubleshooting.html) |
## Periksa CloudWatch
Saat memulai pekerjaan Inference Recommender, Anda akan melihat titik akhir dibuat di konsol. Pilih salah satu titik akhir dan lihat CloudWatch log untuk memantau kesalahan 4xx/5xx. Jika Anda memiliki pekerjaan Inference Recommender yang sukses, Anda akan dapat melihat nama titik akhir sebagai bagian dari hasil. Bahkan jika pekerjaan Inference Recommender Anda tidak berhasil, Anda masih dapat memeriksa CloudWatch log untuk titik akhir yang dihapus dengan mengikuti langkah-langkah di bawah ini:
1. Buka CloudWatch konsol Amazon di [https://console.aws.amazon.com/cloudwatch/](https://console.aws.amazon.com/cloudwatch/).
1. Pilih Wilayah tempat Anda membuat pekerjaan Inference Recommender dari daftar dropdown **Region** di kanan atas.
1. Di panel navigasi CloudWatch, pilih **Log**, lalu pilih **Grup log**.
1. Cari grup log yang disebut`/aws/sagemaker/Endpoints/sm-epc-*`. Pilih grup log berdasarkan pekerjaan Inference Recommender terbaru Anda.
Anda juga dapat memecahkan masalah pekerjaan Anda dengan memeriksa log Inference Recommender. CloudWatch Log Inference Recommender, yang diterbitkan dalam grup `/aws/sagemaker/InferenceRecommendationsJobs` CloudWatch log, memberikan tampilan tingkat tinggi tentang kemajuan pekerjaan di aliran `/execution` log. Anda dapat menemukan informasi terperinci tentang setiap konfigurasi titik akhir yang sedang diuji di aliran `/Endpoint/` log.
**Ikhtisar aliran log Inference Recommender**
+ `/execution`berisi informasi pekerjaan secara keseluruhan seperti konfigurasi titik akhir yang dijadwalkan untuk pembandingan, alasan lompatan pekerjaan kompilasi, dan alasan kegagalan validasi.
+ `/Endpoint/`berisi informasi seperti kemajuan pembuatan sumber daya, konfigurasi pengujian, alasan berhenti uji beban, dan status pembersihan sumber daya.
+ `/CompilationJob/`berisi informasi tentang pekerjaan kompilasi yang dibuat oleh Inference Recommender, seperti konfigurasi pekerjaan kompilasi dan status pekerjaan kompilasi.
**Buat alarm untuk pesan kesalahan Inference Recommender**
Inference Recommender mengeluarkan pernyataan log untuk kesalahan yang mungkin berguna saat pemecahan masalah. Dengan grup CloudWatch log dan filter metrik, Anda dapat mencari istilah dan pola dalam data log ini saat data dikirim CloudWatch. Kemudian, Anda dapat membuat CloudWatch alarm berdasarkan filter metrik grup log. Untuk informasi selengkapnya, lihat [Membuat CloudWatch alarm berdasarkan filter metrik grup log](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/Create_alarm_log_group_metric_filter.html).
## Periksa tolok ukur
Saat memulai pekerjaan Inference Recommender, Inference Recommender membuat beberapa tolok ukur untuk mengevaluasi kinerja model Anda pada jenis instans yang berbeda. Anda dapat menggunakan [ListInferenceRecommendationsJobSteps](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListInferenceRecommendationsJobSteps.html)API untuk melihat detail untuk semua tolok ukur. Jika Anda memiliki tolok ukur yang gagal, Anda dapat melihat alasan kegagalan sebagai bagian dari hasil.
Untuk menggunakan [ListInferenceRecommendationsJobSteps](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListInferenceRecommendationsJobSteps.html)API, berikan nilai berikut:
+ Untuk`JobName`, berikan nama pekerjaan Inference Recommender.
+ Untuk`StepType`, gunakan `BENCHMARK` untuk mengembalikan detail tentang tolok ukur pekerjaan.
+ Untuk`Status`, gunakan `FAILED` untuk mengembalikan detail hanya tentang tolok ukur yang gagal. Untuk daftar jenis status lainnya, lihat `Status` bidang di [ListInferenceRecommendationsJobSteps](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListInferenceRecommendationsJobSteps.html)API.
```
# Create a low-level SageMaker service client.
import boto3
aws_region = ''
sagemaker_client = boto3.client('sagemaker', region_name=aws_region)
# Provide the job name for the SageMaker Inference Recommender job
job_name = ''
# Filter for benchmarks
step_type = 'BENCHMARK'
# Filter for benchmarks that have a FAILED status
status = 'FAILED'
response = sagemaker_client.list_inference_recommendations_job_steps(
JobName = job_name,
StepType = step_type,
Status = status
)
```
Anda dapat mencetak objek respons untuk melihat hasilnya. Contoh kode sebelumnya menyimpan respons dalam variabel yang disebut: `response`
```
print(response)
```
# Inferensi waktu nyata
Inferensi waktu nyata ideal untuk beban kerja inferensi di mana Anda memiliki persyaratan waktu nyata, interaktif, dan latensi rendah. Anda dapat menerapkan model Anda ke layanan hosting SageMaker AI dan mendapatkan titik akhir yang dapat digunakan untuk inferensi. Titik akhir ini dikelola sepenuhnya dan mendukung penskalaan otomatis (lihat). [Penskalaan otomatis model Amazon SageMaker AI](endpoint-auto-scaling.md)
**Topics**
+ [Terapkan model untuk inferensi waktu nyata](realtime-endpoints-deploy-models.md)
+ [Memanggil model untuk inferensi waktu nyata](realtime-endpoints-test-endpoints.md)
+ [Titik akhir](realtime-endpoints-manage.md)
+ [Opsi hosting](realtime-endpoints-options.md)
+ [Penskalaan otomatis model Amazon SageMaker AI](endpoint-auto-scaling.md)
+ [Volume penyimpanan instans](host-instance-storage.md)
+ [Validasi model dalam produksi](model-validation.md)
+ [Penjelasan online dengan Clarify SageMaker](clarify-online-explainability.md)
+ [Sempurnakan model dengan komponen inferensi adaptor](realtime-endpoints-adapt.md)
# Terapkan model untuk inferensi waktu nyata
**penting**
Kebijakan IAM khusus yang memungkinkan Amazon SageMaker Studio atau Amazon SageMaker Studio Classic membuat SageMaker sumber daya Amazon juga harus memberikan izin untuk menambahkan tag ke sumber daya tersebut. Izin untuk menambahkan tag ke sumber daya diperlukan karena Studio dan Studio Classic secara otomatis menandai sumber daya apa pun yang mereka buat. Jika kebijakan IAM memungkinkan Studio dan Studio Classic membuat sumber daya tetapi tidak mengizinkan penandaan, kesalahan "AccessDenied" dapat terjadi saat mencoba membuat sumber daya. Untuk informasi selengkapnya, lihat [Berikan izin untuk menandai sumber daya AI SageMaker](security_iam_id-based-policy-examples.md#grant-tagging-permissions).
[AWS kebijakan terkelola untuk Amazon SageMaker AI](security-iam-awsmanpol.md)yang memberikan izin untuk membuat SageMaker sumber daya sudah menyertakan izin untuk menambahkan tag saat membuat sumber daya tersebut.
Ada beberapa opsi untuk menerapkan model menggunakan layanan hosting SageMaker AI. Anda dapat menerapkan model secara interaktif dengan SageMaker Studio. Atau, Anda dapat menerapkan model secara terprogram menggunakan AWS SDK, seperti SDK Python atau SDK for SageMaker Python (Boto3). Anda juga dapat menerapkan dengan menggunakan. AWS CLI
## Sebelum Anda mulai
Sebelum Anda menerapkan model SageMaker AI, cari dan catat hal-hal berikut:
+ Wilayah AWS Tempat bucket Amazon S3 Anda berada
+ Jalur URI Amazon S3 tempat artefak model disimpan
+ Peran IAM untuk AI SageMaker
+ Jalur registri URI ECR Docker Amazon untuk gambar kustom yang berisi kode inferensi, atau kerangka kerja dan versi gambar Docker bawaan yang didukung dan oleh AWS
Untuk daftar yang Layanan AWS tersedia di masing-masing Wilayah AWS, lihat [Peta Wilayah dan Jaringan Tepi](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/). Lihat [Membuat peran IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create.html) untuk informasi tentang cara membuat peran IAM.
**penting**
Bucket Amazon S3 tempat artefak model disimpan harus Wilayah AWS sama dengan model yang Anda buat.
## Pemanfaatan sumber daya bersama dengan beberapa model
Anda dapat menerapkan satu atau beberapa model ke titik akhir dengan Amazon SageMaker AI. Ketika beberapa model berbagi titik akhir, mereka bersama-sama memanfaatkan sumber daya yang di-host di sana, seperti instance komputasi ML, dan akselerator. CPUs Cara paling fleksibel untuk menerapkan beberapa model ke titik akhir adalah dengan mendefinisikan setiap model sebagai komponen *inferensi*.
### Komponen inferensi
Komponen inferensi adalah objek hosting SageMaker AI yang dapat Anda gunakan untuk menerapkan model ke titik akhir. Dalam pengaturan komponen inferensi, Anda menentukan model, titik akhir, dan bagaimana model memanfaatkan sumber daya yang dihosting titik akhir. Untuk menentukan model, Anda dapat menentukan objek Model SageMaker AI, atau Anda dapat langsung menentukan artefak model dan gambar.
Dalam pengaturan, Anda dapat mengoptimalkan pemanfaatan sumber daya dengan menyesuaikan bagaimana inti CPU, akselerator, dan memori yang diperlukan dialokasikan ke model. Anda dapat menerapkan beberapa komponen inferensi ke titik akhir, di mana setiap komponen inferensi berisi satu model dan kebutuhan pemanfaatan sumber daya untuk model itu.
Setelah menerapkan komponen inferensi, Anda dapat langsung memanggil model terkait saat menggunakan InvokeEndpoint tindakan di API. SageMaker
Komponen inferensi memberikan manfaat sebagai berikut:
**Fleksibilitas**
Komponen inferensi memisahkan detail hosting model dari titik akhir itu sendiri. Ini memberikan lebih banyak fleksibilitas dan kontrol atas bagaimana model di-host dan disajikan dengan titik akhir. Anda dapat meng-host beberapa model pada infrastruktur yang sama, dan Anda dapat menambahkan atau menghapus model dari titik akhir sesuai kebutuhan. Anda dapat memperbarui setiap model secara independen.
**Skalabilitas**
Anda dapat menentukan berapa banyak salinan dari setiap model untuk dihosting, dan Anda dapat mengatur jumlah minimum salinan untuk memastikan bahwa model memuat dalam jumlah yang Anda butuhkan untuk melayani permintaan. Anda dapat menskalakan salinan komponen inferensi apa pun ke nol, yang memberi ruang bagi salinan lain untuk ditingkatkan.
SageMaker AI mengemas model Anda sebagai komponen inferensi saat Anda menerapkannya dengan menggunakan:
+ SageMaker Studio Klasik.
+ SDK SageMaker Python untuk menyebarkan objek Model (tempat Anda menyetel tipe titik akhir ke). `EndpointType.INFERENCE_COMPONENT_BASED`
+ AWS SDK untuk Python (Boto3) Untuk mendefinisikan `InferenceComponent` objek yang Anda terapkan ke titik akhir.
## Menyebarkan model dengan Studio SageMaker
Selesaikan langkah-langkah berikut untuk membuat dan menerapkan model Anda secara interaktif melalui SageMaker Studio. Untuk informasi selengkapnya tentang Studio, lihat dokumentasi [Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio.html). Untuk penelusuran lebih lanjut tentang berbagai skenario penerapan, lihat [Package blog dan terapkan model ML klasik dan LLMs dengan mudah menggunakan Amazon SageMaker ](https://aws.amazon.com/blogs/machine-learning/package-and-deploy-classical-ml-and-llms-easily-with-amazon-sagemaker-part-2-interactive-user-experiences-in-sagemaker-studio/) AI — Bagian 2.
### Siapkan artefak dan izin Anda
Lengkapi bagian ini sebelum membuat model di SageMaker Studio.
Anda memiliki dua opsi untuk membawa artefak Anda dan membuat model di Studio:
1. Anda dapat membawa `tar.gz` arsip pra-paket, yang harus menyertakan artefak model Anda, kode inferensi kustom apa pun, dan dependensi apa pun yang tercantum dalam file. `requirements.txt`
1. SageMaker AI dapat mengemas artefak Anda untuk Anda. Anda hanya perlu membawa artefak model mentah dan dependensi apa pun dalam sebuah `requirements.txt` file, dan SageMaker AI dapat memberikan kode inferensi default untuk Anda (atau Anda dapat mengganti kode default dengan kode inferensi kustom Anda sendiri). SageMaker AI mendukung opsi ini untuk kerangka kerja berikut: PyTorch, XGBoost.
Selain membawa model Anda, peran AWS Identity and Access Management (IAM) Anda, dan wadah Docker (atau kerangka kerja dan versi yang diinginkan yang SageMaker AI memiliki wadah pra-bangun), Anda juga harus memberikan izin untuk membuat dan menerapkan model melalui AI Studio. SageMaker
Anda harus memiliki [AmazonSageMakerFullAccess](https://docs.aws.amazon.com/aws-managed-policy/latest/reference/AmazonSageMakerFullAccess.html)kebijakan yang melekat pada peran IAM Anda sehingga Anda dapat mengakses SageMaker AI dan layanan terkait lainnya. Untuk melihat harga jenis instans di Studio, Anda juga harus melampirkan [AWS PriceListServiceFullAccess](https://docs.aws.amazon.com/aws-managed-policy/latest/reference/AWSPriceListServiceFullAccess.html)kebijakan (atau jika Anda tidak ingin melampirkan seluruh kebijakan, lebih khusus lagi, `pricing:GetProducts` tindakan).
Jika Anda memilih untuk mengunggah artefak model saat membuat model (atau mengunggah file payload sampel untuk rekomendasi inferensi), Anda harus membuat bucket Amazon S3. Nama bucket harus diawali dengan kata`SageMaker AI`. Kapitalisasi alternatif SageMaker AI juga dapat diterima: `Sagemaker` atau. `sagemaker`
Kami menyarankan Anda menggunakan konvensi penamaan ember`sagemaker-{Region}-{accountID}`. Bucket ini digunakan untuk menyimpan artefak yang Anda unggah.
Setelah membuat bucket, lampirkan kebijakan CORS (cross-origin resource sharing) berikut ke bucket:
```
[
{
"AllowedHeaders": ["*"],
"ExposeHeaders": ["Etag"],
"AllowedMethods": ["PUT", "POST"],
"AllowedOrigins": ['https://*.sagemaker.aws'],
}
]
```
Anda dapat melampirkan kebijakan CORS ke bucket Amazon S3 dengan menggunakan salah satu metode berikut:
+ Melalui halaman [Edit cross-origin resource sharing (CORS)](https://s3.console.aws.amazon.com/s3/bucket/bucket-name/property/cors/edit) di konsol Amazon S3
+ Menggunakan Amazon S3 API [PutBucketCors](https://docs.aws.amazon.com/AmazonS3/latest/API/API_PutBucketCors.html)
+ Menggunakan put-bucket-cors AWS CLI perintah:
```
aws s3api put-bucket-cors --bucket="..." --cors-configuration="..."
```
### Buat model yang dapat diterapkan
Pada langkah ini, Anda membuat versi model yang dapat diterapkan di SageMaker AI dengan menyediakan artefak Anda bersama dengan spesifikasi tambahan, seperti wadah dan kerangka kerja yang Anda inginkan, kode inferensi khusus apa pun, dan pengaturan jaringan.
Buat model deployable di SageMaker Studio dengan melakukan hal berikut:
1. Buka aplikasi SageMaker Studio.
1. Di panel navigasi kiri, pilih **Model**.
1. Pilih tab **Model Deployable**.
1. **Pada halaman **Model Deployable**, pilih Buat.**
1. Pada halaman **Buat model deployable**, untuk bidang **Nama model**, masukkan nama untuk model.
Ada beberapa bagian lagi untuk Anda isi di halaman **Create deployable model**.
Bagian **definisi Container** terlihat seperti tangkapan layar berikut:
![\[Screenshot dari bagian definisi Container untuk membuat model di Studio.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/inference/studio-container-definition.png)
**Untuk bagian **Container definition**, lakukan hal berikut:**
1. Untuk **jenis Kontainer**, pilih **Kontainer pra-bangun** jika Anda ingin menggunakan kontainer terkelola SageMaker AI, atau pilih **Bawa kontainer Anda sendiri** jika Anda memiliki kontainer sendiri.
1. Jika Anda memilih **Container Pre-built**, pilih **framework Container**, **versi Framework**, dan **jenis Hardware** yang ingin Anda gunakan.
1. Jika Anda memilih **Bawa penampung Anda sendiri**, masukkan jalur ECR Amazon untuk jalur **ECR ke image kontainer**.
Kemudian, isi bagian **Artefak**, yang terlihat seperti tangkapan layar berikut:
![\[Screenshot dari bagian Artefak untuk membuat model di Studio.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/inference/studio-artifacts-section.png)
**Untuk bagian **Artefak**, lakukan hal berikut:**
1. Jika Anda menggunakan salah satu kerangka kerja yang didukung SageMaker AI untuk artefak model kemasan (PyTorch atau XGBoost), maka untuk **Artefak, Anda dapat memilih opsi** **Unggah** artefak. Dengan opsi ini, Anda cukup menentukan artefak model mentah Anda, kode inferensi kustom apa pun yang Anda miliki, dan file requirements.txt Anda, dan SageMaker AI menangani pengemasan arsip untuk Anda. Lakukan hal-hal berikut:
1. Untuk **Artefak**, pilih **Unggah artefak** untuk terus menyediakan file Anda. Jika tidak, jika Anda sudah memiliki `tar.gz` arsip yang berisi file model, kode inferensi, dan `requirements.txt` file, lalu pilih **Input S3 URI ke artefak pra-paket**.
1. Jika Anda memilih untuk mengunggah artefak Anda, maka untuk **bucket S3**, masukkan jalur Amazon S3 ke ember tempat Anda SageMaker ingin AI menyimpan artefak Anda setelah mengemasnya untuk Anda. Kemudian, selesaikan langkah-langkah berikut.
1. Untuk **Unggah artefak model**, unggah file model Anda.
1. Untuk **kode Inferensi**, pilih **Gunakan kode inferensi default** jika Anda ingin menggunakan kode default yang disediakan SageMaker AI untuk menyajikan inferensi. Jika tidak, pilih **Unggah kode inferensi yang disesuaikan** untuk menggunakan kode inferensi Anda sendiri.
1. Untuk **Upload requirements.txt**, unggah file teks yang mencantumkan dependensi apa pun yang ingin Anda instal saat runtime.
1. Jika Anda tidak menggunakan kerangka kerja yang didukung SageMaker AI untuk artefak model kemasan, maka Studio menunjukkan opsi artefak **Pra-paket, dan Anda harus menyediakan semua artefak yang sudah dikemas** sebagai arsip. `tar.gz` Lakukan hal-hal berikut:
1. Untuk **artefak pra-paket**, pilih **Masukan URI S3 untuk artefak model pra-paket** jika arsip Anda sudah `tar.gz` diunggah ke Amazon S3. Pilih **Unggah artefak model pra-paket** jika Anda ingin langsung mengunggah arsip Anda ke AI. SageMaker
1. **Jika Anda memilih **URI Input S3 untuk artefak model pra-paket**, masukkan jalur Amazon S3 ke arsip Anda untuk URI S3.** Jika tidak, pilih dan unggah arsip dari mesin lokal Anda.
Bagian selanjutnya adalah **Keamanan**, yang terlihat seperti tangkapan layar berikut:
![\[Screenshot dari bagian Keamanan untuk membuat model di Studio.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/inference/studio-security-section.png)
**Untuk bagian **Keamanan**, lakukan hal berikut:**
1. Untuk **peran IAM**, masukkan ARN untuk peran IAM.
1. (Opsional) Untuk **Virtual Private Cloud (VPC)**, Anda dapat memilih Amazon VPC untuk menyimpan konfigurasi model dan artefak Anda.
1. (Opsional) Aktifkan sakelar **Isolasi jaringan** jika Anda ingin membatasi akses internet kontainer Anda.
Terakhir, Anda dapat secara opsional mengisi bagian **Opsi lanjutan**, yang terlihat seperti tangkapan layar berikut:
![\[Screenshot dari bagian Opsi lanjutan untuk membuat model di Studio.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/inference/studio-advanced-options.png)
**(Opsional) Untuk bagian **Opsi lanjutan**, lakukan hal berikut:**
1. Aktifkan toggle **Rekomendasi instans yang disesuaikan** jika Anda ingin menjalankan pekerjaan Amazon SageMaker Inference Recommender pada model Anda setelah pembuatannya. Inference Recommender adalah fitur yang memberi Anda jenis instans yang direkomendasikan untuk mengoptimalkan kinerja dan biaya inferensi. Anda dapat melihat rekomendasi instance ini saat mempersiapkan penerapan model Anda.
1. Untuk **Tambahkan variabel lingkungan**, masukkan variabel lingkungan untuk wadah Anda sebagai pasangan nilai kunci.
1. Untuk **Tag**, masukkan tag apa pun sebagai pasangan nilai kunci.
1. Setelah menyelesaikan konfigurasi model dan kontainer Anda, pilih **Create deployable** model.
Anda sekarang harus memiliki model di SageMaker Studio yang siap untuk penerapan.
### Terapkan model Anda
Terakhir, Anda menerapkan model yang Anda konfigurasikan pada langkah sebelumnya ke titik akhir HTTPS. Anda dapat menerapkan satu model atau beberapa model ke titik akhir.
**Kompatibilitas model dan titik akhir**
Sebelum Anda dapat menerapkan model ke titik akhir, model dan titik akhir harus kompatibel dengan memiliki nilai yang sama untuk pengaturan berikut:
Peran IAM
Amazon VPC, termasuk subnet dan grup keamanannya
Isolasi jaringan (diaktifkan atau dinonaktifkan)
Studio mencegah Anda menerapkan model ke titik akhir yang tidak kompatibel dengan cara berikut:
Jika Anda mencoba menerapkan model ke titik akhir baru, SageMaker AI mengonfigurasi titik akhir dengan pengaturan awal yang kompatibel. Jika Anda merusak kompatibilitas dengan mengubah pengaturan ini, Studio akan menampilkan peringatan dan mencegah penerapan Anda.
Jika Anda mencoba menerapkan ke titik akhir yang ada, dan titik akhir tersebut tidak kompatibel, Studio akan menampilkan peringatan dan mencegah penerapan Anda.
Jika Anda mencoba menambahkan beberapa model ke penerapan, Studio mencegah Anda menerapkan model yang tidak kompatibel satu sama lain.
Saat Studio menampilkan peringatan tentang ketidakcocokan model dan titik akhir, Anda dapat memilih **Lihat detail** di peringatan untuk melihat pengaturan mana yang tidak kompatibel.
Salah satu cara untuk menerapkan model adalah dengan melakukan hal berikut di Studio:
1. Buka aplikasi SageMaker Studio.
1. Di panel navigasi kiri, pilih **Model**.
1. Pada halaman **Model**, pilih satu atau beberapa model dari daftar model SageMaker AI.
1. Pilih **Deploy**.
1. Untuk **nama Endpoint**, buka menu dropdown. Anda dapat memilih titik akhir yang ada atau Anda dapat membuat titik akhir baru yang Anda gunakan model.
1. Untuk **tipe Instance**, pilih jenis instance yang ingin Anda gunakan untuk titik akhir. **Jika sebelumnya Anda menjalankan tugas Inference Recommender untuk model tersebut, jenis instans yang Anda rekomendasikan akan muncul di daftar di bawah judul Recommended.** Jika tidak, Anda akan melihat beberapa **contoh Prospektif** yang mungkin cocok untuk model Anda.
**Kompatibilitas tipe instans untuk JumpStart**
Jika Anda menerapkan JumpStart model, Studio hanya menampilkan tipe instance yang didukung model.
1. Untuk **jumlah instans awal**, masukkan jumlah awal instance yang ingin Anda berikan untuk titik akhir Anda.
1. Untuk **jumlah instans Maksimum**, tentukan jumlah maksimum instans yang dapat disediakan oleh titik akhir saat ditingkatkan untuk mengakomodasi peningkatan lalu lintas.
1. Jika model yang Anda terapkan adalah salah satu yang paling sering digunakan JumpStart LLMs dari hub model, maka opsi **Konfigurasi alternatif** muncul setelah bidang jenis instance dan jumlah instance.
Untuk yang paling populer JumpStart LLMs, AWS memiliki jenis instans pra-benchmark untuk dioptimalkan baik untuk biaya maupun kinerja. Data ini dapat membantu Anda memutuskan jenis instans mana yang akan digunakan untuk menerapkan LLM Anda. Pilih **Konfigurasi alternatif** untuk membuka kotak dialog yang berisi data pra-benchmark. Panel terlihat seperti tangkapan layar berikut:
![\[Screenshot dari kotak Konfigurasi alternatif\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/inference/studio-jumpstart-alternate-configurations.png)
Di kotak **Konfigurasi alternatif**, lakukan hal berikut:
1. Pilih jenis instance. Anda dapat memilih **Biaya per jam** atau **Kinerja terbaik** untuk melihat jenis instans yang mengoptimalkan biaya atau kinerja untuk model yang ditentukan. Anda juga dapat memilih **Instance lain yang didukung** untuk melihat daftar jenis instans lain yang kompatibel dengan JumpStart model. Perhatikan bahwa memilih jenis instance di sini menimpa pemilihan instance sebelumnya yang ditentukan dalam Langkah 6.
1. (Opsional) Aktifkan sakelar **Sesuaikan konfigurasi yang dipilih** untuk menentukan **total token Maks** (jumlah maksimum token yang ingin Anda izinkan, yang merupakan jumlah token masukan Anda dan output yang dihasilkan model), **Panjang token masukan** maksimum (jumlah maksimum token yang ingin Anda izinkan untuk masukan setiap permintaan), dan **Permintaan bersamaan Max** (jumlah maksimum permintaan yang dapat diproses model sekaligus).
1. Pilih **Pilih** untuk mengonfirmasi jenis instans dan pengaturan konfigurasi Anda.
1. Bidang **Model** seharusnya sudah diisi dengan nama model atau model yang Anda gunakan. Anda dapat memilih **Tambahkan model** untuk menambahkan lebih banyak model ke penerapan. Untuk setiap model yang Anda tambahkan, isi kolom berikut:
1. Untuk **Jumlah inti CPU**, masukkan inti CPU yang ingin Anda dedikasikan untuk penggunaan model.
1. Untuk **jumlah salinan Min**, masukkan jumlah minimum salinan model yang ingin Anda host di titik akhir pada waktu tertentu.
1. Untuk **memori CPU Min (MB)**, masukkan jumlah minimum memori (dalam MB) yang dibutuhkan model.
1. Untuk **memori CPU Max (MB)**, masukkan jumlah maksimum memori (dalam MB) yang ingin Anda izinkan model untuk digunakan.
1. (Opsional) Untuk **opsi Lanjutan**, lakukan hal berikut:
1. Untuk **peran IAM**, gunakan peran eksekusi SageMaker AI IAM default, atau tentukan peran Anda sendiri yang memiliki izin yang Anda butuhkan. Perhatikan bahwa peran IAM ini harus sama dengan peran yang Anda tentukan saat membuat model deployable.
1. Untuk **Virtual Private Cloud (VPC)**, Anda dapat menentukan VPC tempat Anda ingin meng-host endpoint Anda.
1. Untuk **kunci Encryption KMS**, pilih AWS KMS kunci untuk mengenkripsi data pada volume penyimpanan yang dilampirkan ke instance komputasi ML yang menghosting titik akhir.
1. Aktifkan sakelar **Aktifkan isolasi jaringan** untuk membatasi akses internet kontainer Anda.
1. Untuk **konfigurasi Timeout**, masukkan nilai untuk kolom **batas waktu pengunduhan data Model (detik)** dan batas **waktu pemeriksaan kesehatan startup Container (detik**). Nilai-nilai ini menentukan jumlah waktu maksimum yang memungkinkan SageMaker AI untuk mengunduh model ke wadah dan memulai wadah, masing-masing.
1. Untuk **Tag**, masukkan tag apa pun sebagai pasangan nilai kunci.
**catatan**
SageMaker AI mengonfigurasi pengaturan peran IAM, VPC, dan isolasi jaringan dengan nilai awal yang kompatibel dengan model yang Anda gunakan. Jika Anda merusak kompatibilitas dengan mengubah pengaturan ini, Studio akan menampilkan peringatan dan mencegah penerapan Anda.
Setelah mengonfigurasi opsi Anda, halaman akan terlihat seperti tangkapan layar berikut.
![\[Screenshot dari halaman model Deploy di Studio.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/inference/studio-deploy-realtime-model-2.png)
Setelah mengonfigurasi penerapan Anda, pilih **Deploy** untuk membuat titik akhir dan menerapkan model Anda.
## Terapkan model dengan Python SDKs
Menggunakan SageMaker Python SDK, Anda dapat membangun model Anda dengan dua cara. Yang pertama adalah membuat objek model dari `ModelBuilder` kelas `Model` atau. Jika Anda menggunakan `Model` kelas untuk membuat `Model` objek, Anda perlu menentukan paket model atau kode inferensi (tergantung pada server model Anda), skrip untuk menangani serialisasi dan deserialisasi data antara klien dan server, dan dependensi apa pun yang akan diunggah ke Amazon S3 untuk konsumsi. Cara kedua untuk membangun model Anda adalah dengan menggunakan `ModelBuilder` artefak model atau kode inferensi yang Anda berikan. `ModelBuilder`secara otomatis menangkap dependensi Anda, menyimpulkan fungsi serialisasi dan deserialisasi yang diperlukan, dan mengemas dependensi Anda untuk membuat objek Anda. `Model` Untuk informasi selengkapnya tentang `ModelBuilder`, lihat [Buat model di Amazon SageMaker AI dengan ModelBuilder](how-it-works-modelbuilder-creation.md).
Bagian berikut menjelaskan kedua metode untuk membuat model Anda dan menyebarkan objek model Anda.
### Penyiapan
Contoh-contoh berikut mempersiapkan proses penyebaran model. Mereka mengimpor perpustakaan yang diperlukan dan menentukan URL S3 yang menempatkan artefak model.
------
#### [ SageMaker Python SDK ]
**Example pernyataan impor**
Contoh berikut mengimpor modul dari SageMaker Python SDK, SDK for Python (Boto3), dan Python Standard Library. Modul-modul ini menyediakan metode berguna yang membantu Anda menerapkan model, dan mereka digunakan oleh contoh lainnya yang mengikuti.
```
import boto3
from datetime import datetime
from sagemaker.compute_resource_requirements.resource_requirements import ResourceRequirements
from sagemaker.predictor import Predictor
from sagemaker.enums import EndpointType
from sagemaker.model import Model
from sagemaker.session import Session
```
------
#### [ boto3 inference components ]
**Example pernyataan impor**
Contoh berikut mengimpor modul dari SDK for Python (Boto3) dan Python Standard Library. Modul-modul ini menyediakan metode berguna yang membantu Anda menerapkan model, dan mereka digunakan oleh contoh lainnya yang mengikuti.
```
import boto3
import botocore
import sys
import time
```
------
#### [ boto3 models (without inference components) ]
**Example pernyataan impor**
Contoh berikut mengimpor modul dari SDK for Python (Boto3) dan Python Standard Library. Modul-modul ini menyediakan metode berguna yang membantu Anda menerapkan model, dan mereka digunakan oleh contoh lainnya yang mengikuti.
```
import boto3
import botocore
import datetime
from time import gmtime, strftime
```
------
**Example URL artefak model**
Kode berikut membangun contoh URL Amazon S3. URL menempatkan artefak model untuk model yang telah dilatih sebelumnya di bucket Amazon S3.
```
# Create a variable w/ the model S3 URL
# The name of your S3 bucket:
s3_bucket = "amzn-s3-demo-bucket"
# The directory within your S3 bucket your model is stored in:
bucket_prefix = "sagemaker/model/path"
# The file name of your model artifact:
model_filename = "my-model-artifact.tar.gz"
# Relative S3 path:
model_s3_key = f"{bucket_prefix}/"+model_filename
# Combine bucket name, model file name, and relate S3 path to create S3 model URL:
model_url = f"s3://{s3_bucket}/{model_s3_key}"
```
URL Amazon S3 lengkap disimpan dalam variabel`model_url`, yang digunakan dalam contoh berikut.
### Ikhtisar
Ada beberapa cara Anda dapat menerapkan model dengan SageMaker Python SDK atau SDK for Python (Boto3). Bagian berikut merangkum langkah-langkah yang Anda selesaikan untuk beberapa kemungkinan pendekatan. Langkah-langkah ini ditunjukkan oleh contoh-contoh berikut.
------
#### [ SageMaker Python SDK ]
Menggunakan SageMaker Python SDK, Anda dapat membangun model Anda dengan salah satu cara berikut:
+ **Buat objek model dari `Model` kelas** — Anda harus menentukan paket model atau kode inferensi (tergantung pada server model Anda), skrip untuk menangani serialisasi dan deserialisasi data antara klien dan server, dan dependensi apa pun yang akan diunggah ke Amazon S3 untuk konsumsi.
+ **Buat objek model dari `ModelBuilder` kelas** — Anda menyediakan artefak model atau kode inferensi, dan `ModelBuilder` secara otomatis menangkap dependensi Anda, menyimpulkan fungsi serialisasi dan deserialisasi yang diperlukan, dan mengemas dependensi Anda untuk membuat objek Anda. `Model`
Untuk informasi selengkapnya tentang `ModelBuilder`, lihat [Buat model di Amazon SageMaker AI dengan ModelBuilder](how-it-works-modelbuilder-creation.md). Anda juga dapat melihat [Package blog dan menerapkan model MLL klasik dan dengan LLMs mudah menggunakan SageMaker AI - Bagian 1](https://aws.amazon.com/blogs/machine-learning/package-and-deploy-classical-ml-and-llms-easily-with-amazon-sagemaker-part-1-pysdk-improvements/) untuk informasi lebih lanjut.
Contoh berikut menjelaskan kedua metode untuk membuat model Anda dan menyebarkan objek model Anda. Untuk menerapkan model dengan cara ini, Anda menyelesaikan langkah-langkah berikut:
1. Tentukan sumber daya endpoint untuk dialokasikan ke model dengan `ResourceRequirements` objek.
1. Buat objek model dari `ModelBuilder` kelas `Model` atau. `ResourceRequirements`Objek ditentukan dalam pengaturan model.
1. Menyebarkan model ke titik akhir dengan menggunakan `deploy` metode objek. `Model`
------
#### [ boto3 inference components ]
Contoh berikut menunjukkan cara menetapkan model ke komponen inferensi dan kemudian menyebarkan komponen inferensi ke titik akhir. Untuk menerapkan model dengan cara ini, Anda menyelesaikan langkah-langkah berikut:
1. (Opsional) Buat objek model SageMaker AI dengan menggunakan [https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_model.html](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_model.html)metode ini.
1. Tentukan pengaturan untuk titik akhir Anda dengan membuat objek konfigurasi titik akhir. Untuk membuatnya, Anda menggunakan [https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_endpoint_config.html#create-endpoint-config](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_endpoint_config.html#create-endpoint-config)metode ini.
1. Buat titik akhir Anda dengan menggunakan [https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_endpoint.html](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_endpoint.html)metode, dan dalam permintaan Anda, berikan konfigurasi titik akhir yang Anda buat.
1. Buat komponen inferensi dengan menggunakan `create_inference_component` metode. Dalam pengaturan, Anda menentukan model dengan melakukan salah satu dari berikut ini:
+ Menentukan objek model SageMaker AI
+ Menentukan URI gambar model dan URL S3
Anda juga mengalokasikan sumber daya titik akhir ke model. Dengan membuat komponen inferensi, Anda menerapkan model ke titik akhir. Anda dapat menerapkan beberapa model ke titik akhir dengan membuat beberapa komponen inferensi — satu untuk setiap model.
------
#### [ boto3 models (without inference components) ]
Contoh berikut menunjukkan cara membuat objek model dan kemudian menyebarkan model ke titik akhir. Untuk menerapkan model dengan cara ini, Anda menyelesaikan langkah-langkah berikut:
1. Buat model SageMaker AI dengan menggunakan [https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_model.html](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_model.html)metode ini.
1. Tentukan pengaturan untuk titik akhir Anda dengan membuat objek konfigurasi titik akhir. Untuk membuatnya, Anda menggunakan [https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_endpoint_config.html#create-endpoint-config](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_endpoint_config.html#create-endpoint-config)metode ini. Dalam konfigurasi endpoint, Anda menetapkan objek model ke varian produksi.
1. Buat titik akhir Anda dengan menggunakan [https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_endpoint.html](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_endpoint.html)metode ini. Dalam permintaan Anda, berikan konfigurasi titik akhir yang Anda buat.
Saat Anda membuat titik akhir, SageMaker AI menyediakan sumber daya titik akhir, dan menyebarkan model ke titik akhir.
------
### Konfigurasi
Contoh berikut mengonfigurasi sumber daya yang Anda perlukan untuk menerapkan model ke titik akhir.
------
#### [ SageMaker Python SDK ]
Contoh berikut menetapkan sumber daya endpoint untuk model dengan objek. `ResourceRequirements` Sumber daya ini termasuk inti CPU, akselerator, dan memori. Kemudian, contoh membuat objek model dari `Model` kelas. Atau Anda dapat membuat objek model dengan membuat instance [ModelBuilder](https://docs.aws.amazon.com/sagemaker/latest/dg/how-it-works-modelbuilder-creation.html)kelas dan menjalankan `build` —metode ini juga ditampilkan dalam contoh. `ModelBuilder`menyediakan antarmuka terpadu untuk kemasan model, dan dalam hal ini, menyiapkan model untuk penerapan model besar. Contoh ini digunakan `ModelBuilder` untuk membangun model Hugging Face. (Anda juga dapat melewati JumpStart model). Setelah Anda membangun model, Anda dapat menentukan persyaratan sumber daya dalam objek model. Pada langkah berikutnya, Anda menggunakan objek ini untuk menyebarkan model ke titik akhir.
```
resources = ResourceRequirements(
requests = {
"num_cpus": 2, # Number of CPU cores required:
"num_accelerators": 1, # Number of accelerators required
"memory": 8192, # Minimum memory required in Mb (required)
"copies": 1,
},
limits = {},
)
now = datetime.now()
dt_string = now.strftime("%d-%m-%Y-%H-%M-%S")
model_name = "my-sm-model"+dt_string
# build your model with Model class
model = Model(
name = "model-name",
image_uri = "image-uri",
model_data = model_url,
role = "arn:aws:iam::111122223333:role/service-role/role-name",
resources = resources,
predictor_cls = Predictor,
)
# Alternate mechanism using ModelBuilder
# uncomment the following section to use ModelBuilder
/*
model_builder = ModelBuilder(
model="", # like "meta-llama/Llama-2-7b-hf"
schema_builder=SchemaBuilder(sample_input,sample_output),
env_vars={ "HUGGING_FACE_HUB_TOKEN": "}" }
)
# build your Model object
model = model_builder.build()
# create a unique name from string 'mb-inference-component'
model.model_name = unique_name_from_base("mb-inference-component")
# assign resources to your model
model.resources = resources
*/
```
------
#### [ boto3 inference components ]
Contoh berikut mengkonfigurasi titik akhir dengan metode. `create_endpoint_config` Anda menetapkan konfigurasi ini ke titik akhir saat Anda membuatnya. Dalam konfigurasi, Anda menentukan satu atau lebih varian produksi. Untuk setiap varian, Anda dapat memilih jenis instans yang ingin disediakan Amazon SageMaker AI, dan Anda dapat mengaktifkan penskalaan instans terkelola.
```
endpoint_config_name = "endpoint-config-name"
endpoint_name = "endpoint-name"
inference_component_name = "inference-component-name"
variant_name = "variant-name"
sagemaker_client.create_endpoint_config(
EndpointConfigName = endpoint_config_name,
ExecutionRoleArn = "arn:aws:iam::111122223333:role/service-role/role-name",
ProductionVariants = [
{
"VariantName": variant_name,
"InstanceType": "ml.p4d.24xlarge",
"InitialInstanceCount": 1,
"ManagedInstanceScaling": {
"Status": "ENABLED",
"MinInstanceCount": 1,
"MaxInstanceCount": 2,
},
}
],
)
```
------
#### [ boto3 models (without inference components) ]
**Example definisi model**
Contoh berikut mendefinisikan model SageMaker AI dengan `create_model` metode di. AWS SDK untuk Python (Boto3)
```
model_name = "model-name"
create_model_response = sagemaker_client.create_model(
ModelName = model_name,
ExecutionRoleArn = "arn:aws:iam::111122223333:role/service-role/role-name",
PrimaryContainer = {
"Image": "image-uri",
"ModelDataUrl": model_url,
}
)
```
Contoh ini menentukan yang berikut:
+ `ModelName`: Nama untuk model Anda (dalam contoh ini disimpan sebagai variabel string yang disebut`model_name`).
+ `ExecutionRoleArn`: Nama Sumber Daya Amazon (ARN) dari peran IAM yang dapat diasumsikan Amazon SageMaker AI untuk mengakses artefak model dan gambar Docker untuk penerapan pada instance komputasi HTML atau untuk pekerjaan transformasi batch.
+ `PrimaryContainer`: Lokasi gambar Docker utama yang berisi kode inferensi, artefak terkait, dan peta lingkungan khusus yang digunakan kode inferensi saat model diterapkan untuk prediksi.
**Example konfigurasi titik akhir**
Contoh berikut mengkonfigurasi titik akhir dengan metode. `create_endpoint_config` Amazon SageMaker AI menggunakan konfigurasi ini untuk menyebarkan model. Dalam konfigurasi, Anda mengidentifikasi satu atau beberapa model, yang dibuat dengan `create_model` metode ini, untuk menyebarkan sumber daya yang Anda inginkan untuk disediakan Amazon SageMaker AI.
```
endpoint_config_response = sagemaker_client.create_endpoint_config(
EndpointConfigName = "endpoint-config-name",
# List of ProductionVariant objects, one for each model that you want to host at this endpoint:
ProductionVariants = [
{
"VariantName": "variant-name", # The name of the production variant.
"ModelName": model_name,
"InstanceType": "ml.p4d.24xlarge",
"InitialInstanceCount": 1 # Number of instances to launch initially.
}
]
)
```
Contoh ini menentukan kunci berikut untuk `ProductionVariants` bidang:
+ `VariantName`: Nama varian produksi.
+ `ModelName`: Nama model yang ingin Anda host. Ini adalah nama yang Anda tentukan saat membuat model.
+ `InstanceType`: Jenis contoh komputasi. Lihat `InstanceType` bidang di [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariant.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariant.html) dan [Harga SageMaker AI](https://aws.amazon.com/sagemaker/pricing/) untuk daftar jenis instans komputasi yang didukung dan harga untuk setiap jenis instans.
------
### Deploy
Contoh berikut menyebarkan model ke titik akhir.
------
#### [ SageMaker Python SDK ]
Contoh berikut menyebarkan model ke titik akhir HTTPS real-time dengan `deploy` metode objek model. Jika Anda menentukan nilai `resources` argumen untuk pembuatan dan penerapan model, sumber daya yang Anda tentukan untuk penerapan akan diutamakan.
```
predictor = model.deploy(
initial_instance_count = 1,
instance_type = "ml.p4d.24xlarge",
endpoint_type = EndpointType.INFERENCE_COMPONENT_BASED,
resources = resources,
)
```
Untuk `instance_type` bidang, contoh menentukan nama jenis instans Amazon EC2 untuk model. Untuk `initial_instance_count` bidang, ini menentukan jumlah awal instance untuk menjalankan endpoint pada.
Contoh kode berikut menunjukkan kasus lain di mana Anda menerapkan model ke titik akhir dan kemudian menerapkan model lain ke titik akhir yang sama. Dalam hal ini Anda harus memberikan nama titik akhir yang sama ke `deploy` metode kedua model.
```
# Deploy the model to inference-component-based endpoint
falcon_predictor = falcon_model.deploy(
initial_instance_count = 1,
instance_type = "ml.p4d.24xlarge",
endpoint_type = EndpointType.INFERENCE_COMPONENT_BASED,
endpoint_name = ""
resources = resources,
)
# Deploy another model to the same inference-component-based endpoint
llama2_predictor = llama2_model.deploy( # resources already set inside llama2_model
endpoint_type = EndpointType.INFERENCE_COMPONENT_BASED,
endpoint_name = "" # same endpoint name as for falcon model
)
```
------
#### [ boto3 inference components ]
Setelah Anda memiliki konfigurasi endpoint, gunakan metode [create\$1endpoint untuk membuat endpoint](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_endpoint.html) Anda. Nama endpoint harus unik Wilayah AWS dalam AWS akun Anda.
Contoh berikut membuat endpoint menggunakan konfigurasi endpoint yang ditentukan dalam permintaan. Amazon SageMaker AI menggunakan titik akhir untuk menyediakan sumber daya.
```
sagemaker_client.create_endpoint(
EndpointName = endpoint_name,
EndpointConfigName = endpoint_config_name,
)
```
Setelah Anda membuat titik akhir, Anda dapat menerapkan satu atau model ke sana dengan membuat komponen inferensi. Contoh berikut membuat satu dengan `create_inference_component` metode.
```
sagemaker_client.create_inference_component(
InferenceComponentName = inference_component_name,
EndpointName = endpoint_name,
VariantName = variant_name,
Specification = {
"Container": {
"Image": "image-uri",
"ArtifactUrl": model_url,
},
"ComputeResourceRequirements": {
"NumberOfCpuCoresRequired": 1,
"MinMemoryRequiredInMb": 1024
}
},
RuntimeConfig = {"CopyCount": 2}
)
```
------
#### [ boto3 models (without inference components) ]
**Example deployment**
Berikan konfigurasi titik akhir ke SageMaker AI. Layanan meluncurkan instance komputasi ML dan menerapkan model atau model seperti yang ditentukan dalam konfigurasi.
Setelah Anda memiliki konfigurasi model dan titik akhir, gunakan metode [create\$1endpoint untuk membuat titik akhir](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_endpoint.html) Anda. Nama endpoint harus unik Wilayah AWS dalam AWS akun Anda.
Contoh berikut membuat endpoint menggunakan konfigurasi endpoint yang ditentukan dalam permintaan. Amazon SageMaker AI menggunakan titik akhir untuk menyediakan sumber daya dan menerapkan model.
```
create_endpoint_response = sagemaker_client.create_endpoint(
# The endpoint name must be unique within an AWS Region in your AWS account:
EndpointName = "endpoint-name"
# The name of the endpoint configuration associated with this endpoint:
EndpointConfigName = "endpoint-config-name")
```
------
## Menyebarkan model dengan AWS CLI
Anda dapat menerapkan model ke titik akhir dengan menggunakan. AWS CLI
### Ikhtisar
Saat Anda menerapkan model dengan AWS CLI, Anda dapat menerapkannya dengan atau tanpa menggunakan komponen inferensi. Bagian berikut merangkum perintah yang Anda jalankan untuk kedua pendekatan. Perintah-perintah ini ditunjukkan oleh contoh-contoh berikut.
------
#### [ With inference components ]
Untuk menerapkan model dengan komponen inferensi, lakukan hal berikut:
1. (Opsional) Buat model dengan [https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-model.html](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-model.html)perintah.
1. Tentukan pengaturan untuk titik akhir Anda dengan membuat konfigurasi titik akhir. Untuk membuatnya, Anda menjalankan [https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-endpoint-config.html](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-endpoint-config.html)perintah.
1. Buat titik akhir Anda dengan menggunakan [https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-endpoint.html](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-endpoint.html)perintah. Di badan perintah, tentukan konfigurasi titik akhir yang Anda buat.
1. Buat komponen inferensi dengan menggunakan `create-inference-component` perintah. Dalam pengaturan, Anda menentukan model dengan melakukan salah satu dari berikut ini:
+ Menentukan objek model SageMaker AI
+ Menentukan URI gambar model dan URL S3
Anda juga mengalokasikan sumber daya titik akhir ke model. Dengan membuat komponen inferensi, Anda menerapkan model ke titik akhir. Anda dapat menerapkan beberapa model ke titik akhir dengan membuat beberapa komponen inferensi — satu untuk setiap model.
------
#### [ Without inference components ]
Untuk menerapkan model tanpa menggunakan komponen inferensi, lakukan hal berikut:
1. Buat model SageMaker AI dengan menggunakan [https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-model.html](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-model.html)perintah.
1. Tentukan pengaturan untuk titik akhir Anda dengan membuat objek konfigurasi titik akhir. Untuk membuatnya, Anda menggunakan [https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-endpoint-config.html](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-endpoint-config.html)perintah. Dalam konfigurasi endpoint, Anda menetapkan objek model ke varian produksi.
1. Buat titik akhir Anda dengan menggunakan [https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-endpoint.html](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-endpoint.html)perintah. Di badan perintah Anda, tentukan konfigurasi titik akhir yang Anda buat.
Saat Anda membuat titik akhir, SageMaker AI menyediakan sumber daya titik akhir, dan menyebarkan model ke titik akhir.
------
### Konfigurasi
Contoh berikut mengonfigurasi sumber daya yang Anda perlukan untuk menerapkan model ke titik akhir.
------
#### [ With inference components ]
**Example create-endpoint-config perintah**
Contoh berikut membuat konfigurasi endpoint dengan [create-endpoint-config](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-endpoint-config.html)perintah.
```
aws sagemaker create-endpoint-config \
--endpoint-config-name endpoint-config-name \
--execution-role-arn arn:aws:iam::111122223333:role/service-role/role-name\
--production-variants file://production-variants.json
```
Dalam contoh ini, file `production-variants.json` mendefinisikan varian produksi dengan JSON berikut:
```
[
{
"VariantName": "variant-name",
"ModelName": "model-name",
"InstanceType": "ml.p4d.24xlarge",
"InitialInstanceCount": 1
}
]
```
Jika perintah berhasil, AWS CLI merespons dengan ARN untuk sumber daya yang Anda buat.
```
{
"EndpointConfigArn": "arn:aws:sagemaker:us-west-2:111122223333:endpoint-config/endpoint-config-name"
}
```
------
#### [ Without inference components ]
**Example perintah buat-model**
Contoh berikut membuat model dengan perintah [create-model](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-model.html).
```
aws sagemaker create-model \
--model-name model-name \
--execution-role-arn arn:aws:iam::111122223333:role/service-role/role-name \
--primary-container "{ \"Image\": \"image-uri\", \"ModelDataUrl\": \"model-s3-url\"}"
```
Jika perintah berhasil, AWS CLI merespons dengan ARN untuk sumber daya yang Anda buat.
```
{
"ModelArn": "arn:aws:sagemaker:us-west-2:111122223333:model/model-name"
}
```
**Example create-endpoint-config perintah**
Contoh berikut membuat konfigurasi endpoint dengan [create-endpoint-config](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-endpoint-config.html)perintah.
```
aws sagemaker create-endpoint-config \
--endpoint-config-name endpoint-config-name \
--production-variants file://production-variants.json
```
Dalam contoh ini, file `production-variants.json` mendefinisikan varian produksi dengan JSON berikut:
```
[
{
"VariantName": "variant-name",
"ModelName": "model-name",
"InstanceType": "ml.p4d.24xlarge",
"InitialInstanceCount": 1
}
]
```
Jika perintah berhasil, AWS CLI merespons dengan ARN untuk sumber daya yang Anda buat.
```
{
"EndpointConfigArn": "arn:aws:sagemaker:us-west-2:111122223333:endpoint-config/endpoint-config-name"
}
```
------
### Deploy
Contoh berikut menyebarkan model ke titik akhir.
------
#### [ With inference components ]
**Example perintah buat-titik akhir**
Contoh berikut membuat endpoint dengan perintah [create-endpoint](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-endpoint.html).
```
aws sagemaker create-endpoint \
--endpoint-name endpoint-name \
--endpoint-config-name endpoint-config-name
```
Jika perintah berhasil, AWS CLI merespons dengan ARN untuk sumber daya yang Anda buat.
```
{
"EndpointArn": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/endpoint-name"
}
```
**Example create-inference-component perintah**
Contoh berikut membuat komponen inferensi dengan create-inference-component perintah.
```
aws sagemaker create-inference-component \
--inference-component-name inference-component-name \
--endpoint-name endpoint-name \
--variant-name variant-name \
--specification file://specification.json \
--runtime-config "{\"CopyCount\": 2}"
```
Dalam contoh ini, file `specification.json` mendefinisikan wadah dan menghitung sumber daya dengan JSON berikut:
```
{
"Container": {
"Image": "image-uri",
"ArtifactUrl": "model-s3-url"
},
"ComputeResourceRequirements": {
"NumberOfCpuCoresRequired": 1,
"MinMemoryRequiredInMb": 1024
}
}
```
Jika perintah berhasil, AWS CLI merespons dengan ARN untuk sumber daya yang Anda buat.
```
{
"InferenceComponentArn": "arn:aws:sagemaker:us-west-2:111122223333:inference-component/inference-component-name"
}
```
------
#### [ Without inference components ]
**Example perintah buat-titik akhir**
Contoh berikut membuat endpoint dengan perintah [create-endpoint](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-endpoint.html).
```
aws sagemaker create-endpoint \
--endpoint-name endpoint-name \
--endpoint-config-name endpoint-config-name
```
Jika perintah berhasil, AWS CLI merespons dengan ARN untuk sumber daya yang Anda buat.
```
{
"EndpointArn": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/endpoint-name"
}
```
------
# Memanggil model untuk inferensi waktu nyata
Setelah menggunakan Amazon SageMaker AI untuk menerapkan model ke titik akhir, Anda dapat berinteraksi dengan model dengan mengirimkan permintaan inferensi ke model tersebut. Untuk mengirim permintaan inferensi ke model, Anda memanggil titik akhir yang menghostingnya. Anda dapat memanggil titik akhir Anda menggunakan Amazon SageMaker Studio, the AWS SDKs, atau. AWS CLI
## Panggil Model Anda Menggunakan Amazon Studio SageMaker
Setelah menerapkan model ke titik akhir, Anda dapat melihat titik akhir melalui Amazon SageMaker Studio dan menguji titik akhir dengan mengirimkan permintaan inferensi tunggal.
**catatan**
SageMaker AI hanya mendukung pengujian titik akhir di Studio untuk titik akhir waktu nyata.
**Untuk mengirim permintaan inferensi pengujian ke titik akhir Anda**
1. Luncurkan Amazon SageMaker Studio.
1. Di panel navigasi di sebelah kiri, pilih **Deployment**.
1. **Dari dropdown, pilih Endpoints.**
1. Temukan titik akhir Anda berdasarkan nama, dan pilih nama di tabel. Nama titik akhir yang tercantum di panel **Endpoints** ditentukan saat Anda menerapkan model. Ruang kerja Studio membuka halaman **Endpoint** di tab baru.
1. Pilih tab **Inferensi uji**.
1. Untuk **Opsi Pengujian**, pilih salah satu dari berikut ini:
1. Pilih **Uji permintaan sampel** untuk segera mengirim permintaan ke titik akhir Anda. Gunakan **editor JSON** untuk menyediakan data sampel dalam format JSON, dan pilih **Kirim Permintaan untuk mengirimkan permintaan** ke titik akhir Anda. Setelah mengirimkan permintaan Anda, Studio menampilkan output inferensi dalam kartu di sebelah kanan editor JSON.
1. Pilih **Gunakan kode contoh SDK Python** untuk melihat kode pengiriman permintaan ke titik akhir. Kemudian, salin contoh kode dari bagian **permintaan inferensi Contoh** dan jalankan kode dari lingkungan pengujian Anda.
Bagian atas kartu menunjukkan jenis permintaan yang dikirim ke titik akhir (hanya JSON yang diterima). Kartu menunjukkan bidang-bidang berikut:
+ **Status** - menampilkan salah satu jenis status berikut:
+ `Success`Permintaan itu berhasil.
+ `Failed`— Permintaan gagal. Respons muncul di bawah **Failure Reason**.
+ `Pending`— Saat permintaan inferensi tertunda, status menunjukkan ikon melingkar yang berputar.
+ **Panjang Eksekusi** - Berapa lama waktu pemanggilan (waktu akhir dikurangi waktu mulai) dalam milidetik.
+ **Waktu Permintaan** — Berapa menit telah berlalu sejak permintaan dikirim.
+ **Waktu Hasil** — Berapa menit telah berlalu sejak hasilnya dikembalikan.
## Panggil Model Anda dengan Menggunakan AWS SDK untuk Python (Boto3)
Jika Anda ingin memanggil titik akhir model dalam kode aplikasi Anda, Anda dapat menggunakan salah satunya AWS SDKs, termasuk. AWS SDK untuk Python (Boto3) Untuk memanggil endpoint Anda dengan SDK ini, Anda menggunakan salah satu metode Python berikut:
+ `invoke_endpoint`— Mengirim permintaan inferensi ke titik akhir model dan mengembalikan respons yang dihasilkan model.
Metode ini mengembalikan muatan inferensi sebagai satu respons setelah model selesai menghasilkannya. Untuk informasi selengkapnya, lihat [invoke\$1endpoint](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker-runtime/client/invoke_endpoint.html) di Referensi API *AWS SDK for Python (Boto3*).
+ `invoke_endpoint_with_response_stream`— Mengirim permintaan inferensi ke titik akhir model dan mengalirkan respons secara bertahap saat model menghasilkannya.
Dengan metode ini, aplikasi Anda menerima bagian dari respons segera setelah suku cadang tersedia. Untuk informasi selengkapnya, lihat [invoke\$1endpoint](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker-runtime/client/invoke_endpoint.html) di Referensi API *AWS SDK for Python (Boto3*).
Gunakan metode ini hanya untuk memanggil model yang mendukung streaming inferensi.
Sebelum Anda dapat menggunakan metode ini dalam kode aplikasi Anda, Anda harus menginisialisasi klien SageMaker AI Runtime, dan Anda harus menentukan nama titik akhir Anda. Contoh berikut mengatur klien dan titik akhir untuk sisa contoh berikut:
```
import boto3
sagemaker_runtime = boto3.client(
"sagemaker-runtime", region_name='aws_region')
endpoint_name='endpoint-name'
```
### Memohon untuk Mendapatkan Respons Inferensi
Contoh berikut menggunakan `invoke_endpoint` metode untuk memanggil titik akhir dengan: AWS SDK untuk Python (Boto3)
```
# Gets inference from the model hosted at the specified endpoint:
response = sagemaker_runtime.invoke_endpoint(
EndpointName=endpoint_name,
Body=bytes('{"features": ["This is great!"]}', 'utf-8')
)
# Decodes and prints the response body:
print(response['Body'].read().decode('utf-8'))
```
Contoh ini memberikan data input di `Body` lapangan agar SageMaker AI dapat diteruskan ke model. Data ini harus dalam format yang sama dengan yang digunakan untuk pelatihan. Contoh memberikan respon terhadap `response` variabel.
`response`Variabel menyediakan akses ke status HTTP, nama model yang digunakan, dan bidang lainnya. Cuplikan berikut mencetak kode status HTTP:
```
print(response["HTTPStatusCode"])
```
### Memanggil untuk Streaming Respons Inferensi
Jika Anda menerapkan model yang mendukung streaming inferensi, Anda dapat memanggil model untuk menerima muatan inferensinya sebagai aliran suku cadang. Model memberikan bagian-bagian ini secara bertahap saat model menghasilkannya. Saat aplikasi menerima aliran inferensi, aplikasi tidak perlu menunggu model menghasilkan seluruh muatan respons. Sebagai gantinya, aplikasi segera menerima bagian dari respons saat tersedia.
Dengan menggunakan aliran inferensi dalam aplikasi Anda, Anda dapat membuat interaksi di mana pengguna Anda menganggap inferensi menjadi cepat karena mereka mendapatkan bagian pertama dengan segera. Anda dapat menerapkan streaming untuk mendukung pengalaman interaktif yang cepat, seperti chatbots, asisten virtual, dan generator musik. Misalnya, Anda dapat membuat chatbot yang secara bertahap menampilkan teks yang dihasilkan oleh model bahasa besar (LLM).
Untuk mendapatkan aliran inferensi, Anda dapat menggunakan `invoke_endpoint_with_response_stream` metode ini. Dalam badan respons, SDK menyediakan `EventStream` objek, yang memberikan inferensi sebagai serangkaian `PayloadPart` objek.
**Example Aliran Inferensi**
Contoh berikut adalah aliran `PayloadPart` objek:
```
{'PayloadPart': {'Bytes': b'{"outputs": [" a"]}\n'}}
{'PayloadPart': {'Bytes': b'{"outputs": [" challenging"]}\n'}}
{'PayloadPart': {'Bytes': b'{"outputs": [" problem"]}\n'}}
. . .
```
Di setiap bagian muatan, `Bytes` bidang menyediakan sebagian dari respons inferensi dari model. Bagian ini dapat berupa jenis konten apa pun yang dihasilkan model, seperti teks, gambar, atau data audio. Dalam contoh ini, bagian-bagiannya adalah objek JSON yang berisi teks yang dihasilkan dari LLM.
Biasanya, bagian payload berisi potongan data terpisah dari model. Dalam contoh ini, potongan diskrit adalah objek JSON utuh. Kadang-kadang, respons streaming membagi potongan menjadi beberapa bagian muatan, atau menggabungkan beberapa potongan menjadi satu bagian muatan. Contoh berikut menunjukkan potongan data dalam format JSON yang dibagi menjadi dua bagian payload:
```
{'PayloadPart': {'Bytes': b'{"outputs": '}}
{'PayloadPart': {'Bytes': b'[" problem"]}\n'}}
```
Saat Anda menulis kode aplikasi yang memproses aliran inferensi, sertakan logika yang menangani pemisahan dan kombinasi data sesekali ini. Sebagai salah satu strategi, Anda dapat menulis kode yang menggabungkan konten `Bytes` saat aplikasi Anda menerima bagian payload. Dengan menggabungkan contoh data JSON di sini, Anda akan menggabungkan data menjadi badan JSON yang dibatasi baris baru. Kemudian, kode Anda dapat memproses aliran dengan mengurai seluruh objek JSON pada setiap baris.
Contoh berikut menunjukkan JSON yang dibatasi baris baru yang akan Anda buat saat Anda menggabungkan isi contoh: `Bytes`
```
{"outputs": [" a"]}
{"outputs": [" challenging"]}
{"outputs": [" problem"]}
. . .
```
**Example Kode untuk Memproses Aliran Inferensi**
Contoh kelas Python berikut,`SmrInferenceStream`, menunjukkan bagaimana Anda dapat memproses aliran inferensi yang mengirimkan data teks dalam format JSON:
```
import io
import json
# Example class that processes an inference stream:
class SmrInferenceStream:
def __init__(self, sagemaker_runtime, endpoint_name):
self.sagemaker_runtime = sagemaker_runtime
self.endpoint_name = endpoint_name
# A buffered I/O stream to combine the payload parts:
self.buff = io.BytesIO()
self.read_pos = 0
def stream_inference(self, request_body):
# Gets a streaming inference response
# from the specified model endpoint:
response = self.sagemaker_runtime\
.invoke_endpoint_with_response_stream(
EndpointName=self.endpoint_name,
Body=json.dumps(request_body),
ContentType="application/json"
)
# Gets the EventStream object returned by the SDK:
event_stream = response['Body']
for event in event_stream:
# Passes the contents of each payload part
# to be concatenated:
self._write(event['PayloadPart']['Bytes'])
# Iterates over lines to parse whole JSON objects:
for line in self._readlines():
resp = json.loads(line)
part = resp.get("outputs")[0]
# Returns parts incrementally:
yield part
# Writes to the buffer to concatenate the contents of the parts:
def _write(self, content):
self.buff.seek(0, io.SEEK_END)
self.buff.write(content)
# The JSON objects in buffer end with '\n'.
# This method reads lines to yield a series of JSON objects:
def _readlines(self):
self.buff.seek(self.read_pos)
for line in self.buff.readlines():
self.read_pos += len(line)
yield line[:-1]
```
Contoh ini memproses aliran inferensi dengan melakukan hal berikut:
+ Menginisialisasi klien SageMaker AI Runtime dan menetapkan nama titik akhir model. Sebelum Anda bisa mendapatkan aliran inferensi, model yang dihosting endpoint harus mendukung streaming inferensi.
+ Dalam `stream_inference` metode contoh, menerima badan permintaan dan meneruskannya ke `invoke_endpoint_with_response_stream` metode SDK.
+ Iterasi atas setiap peristiwa dalam `EventStream` objek yang SDK kembalikan.
+ Dari setiap peristiwa, dapatkan isi `Bytes` objek dalam `PayloadPart` objek.
+ Dalam `_write` metode contoh, menulis ke buffer untuk menggabungkan isi objek. `Bytes` Konten gabungan membentuk badan JSON yang dibatasi baris baru.
+ Menggunakan `_readlines` metode contoh untuk mendapatkan serangkaian objek JSON yang dapat diulang.
+ Di setiap objek JSON, mendapat sepotong inferensi.
+ Dengan `yield` ekspresi, mengembalikan potongan secara bertahap.
Contoh berikut membuat dan menggunakan `SmrInferenceStream` objek:
```
request_body = {"inputs": ["Large model inference is"],
"parameters": {"max_new_tokens": 100,
"enable_sampling": "true"}}
smr_inference_stream = SmrInferenceStream(
sagemaker_runtime, endpoint_name)
stream = smr_inference_stream.stream_inference(request_body)
for part in stream:
print(part, end='')
```
Contoh ini meneruskan badan permintaan ke `stream_inference` metode. Ini mengulangi respons untuk mencetak setiap bagian yang dikembalikan oleh aliran inferensi.
Contoh mengasumsikan bahwa model pada titik akhir yang ditentukan adalah LLM yang menghasilkan teks. Output dari contoh ini adalah kumpulan teks yang dihasilkan yang mencetak secara bertahap:
```
a challenging problem in machine learning. The goal is to . . .
```
## Panggil Model Anda dengan Menggunakan AWS CLI
Anda dapat memanggil titik akhir model Anda dengan menjalankan perintah dengan AWS Command Line Interface ()AWS CLI. AWS CLI Mendukung permintaan inferensi standar dengan `invoke-endpoint` perintah, dan mendukung permintaan inferensi asinkron dengan perintah. `invoke-endpoint-async`
**catatan**
AWS CLI Itu tidak mendukung permintaan inferensi streaming.
Contoh berikut menggunakan `invoke-endpoint` perintah untuk mengirim permintaan inferensi ke titik akhir model:
```
aws sagemaker-runtime invoke-endpoint \
--endpoint-name endpoint_name \
--body fileb://$file_name \
output_file.txt
```
Untuk `--endpoint-name` parameter, berikan nama titik akhir yang Anda tentukan saat Anda membuat titik akhir. Untuk `--body` parameter, berikan data input agar SageMaker AI dapat diteruskan ke model. Data harus dalam format yang sama dengan yang digunakan untuk pelatihan. Contoh ini menunjukkan cara mengirim data biner ke titik akhir Anda.
Untuk informasi selengkapnya tentang `fileb://` kapan harus menggunakan `file://` over saat meneruskan konten file ke parameter AWS CLI, lihat [Praktik Terbaik untuk Parameter File Lokal](https://aws.amazon.com/blogs/developer/best-practices-for-local-file-parameters/).
Untuk informasi selengkapnya, dan untuk melihat parameter tambahan yang dapat Anda lewati, lihat [https://docs.aws.amazon.com/cli/latest/reference/sagemaker-runtime/invoke-endpoint.html](https://docs.aws.amazon.com/cli/latest/reference/sagemaker-runtime/invoke-endpoint.html)di *AWS CLI Command Reference*.
Jika `invoke-endpoint` perintah berhasil mengembalikan respon seperti berikut:
```
{
"ContentType": "; charset=utf-8",
"InvokedProductionVariant": ""
}
```
Jika perintah tidak berhasil, periksa apakah muatan input dalam format yang benar.
Lihat output dari pemanggilan dengan memeriksa file output file (`output_file.txt`dalam contoh ini).
```
more output_file.txt
```
## Memanggil Model Anda dengan Menggunakan AWS SDK untuk Python
### Memanggil untuk Streaming Dua Arah Permintaan Inferensi dan Respons
Jika Anda ingin menjalankan endpoint model dalam kode aplikasi Anda untuk mendukung streaming dua arah, Anda dapat menggunakan [SDK eksperimental baru untuk Python](https://github.com/awslabs/aws-sdk-python) yang mendukung kemampuan streaming dua arah dengan dukungan HTTP/2. SDK ini memungkinkan komunikasi dua arah real-time antara aplikasi klien Anda dan SageMaker titik akhir, memungkinkan Anda mengirim permintaan inferensi secara bertahap sambil secara bersamaan menerima respons streaming saat model menghasilkannya. Ini sangat berguna untuk aplikasi interaktif di mana klien dan server perlu bertukar data terus menerus melalui koneksi persisten.
**catatan**
SDK eksperimental baru berbeda dari SDK Boto3 standar dan mendukung koneksi dua arah persisten untuk pertukaran data. Saat menggunakan SDK Python eksperimental, kami sangat menyarankan penyematan ketat ke versi SDK untuk kasus penggunaan non-eksperimental apa pun.
Untuk memanggil titik akhir Anda dengan streaming dua arah, gunakan metode ini. `invoke_endpoint_with_bidirectional_stream` Metode ini membuat koneksi persisten yang memungkinkan Anda mengalirkan beberapa potongan payload ke model Anda sambil menerima respons secara real-time saat model memproses data. Koneksi tetap terbuka sampai Anda secara eksplisit menutup aliran input atau titik akhir menutup koneksi, mendukung hingga 30 menit waktu koneksi.
### Prasyarat
Sebelum Anda dapat menggunakan streaming dua arah dalam kode aplikasi Anda, Anda harus:
1. Instal SageMaker Runtime HTTP/2 SDK eksperimental
1. Siapkan AWS kredensil untuk klien Runtime Anda SageMaker
1. Menerapkan model yang mendukung streaming dua arah ke titik akhir SageMaker
### Siapkan klien streaming dua arah
Contoh berikut menunjukkan cara menginisialisasi komponen yang diperlukan untuk streaming dua arah:
```
from sagemaker_runtime_http2.client import SageMakerRuntimeHTTP2Client
from sagemaker_runtime_http2.config import Config, HTTPAuthSchemeResolver
from smithy_aws_core.identity import EnvironmentCredentialsResolver
from smithy_aws_core.auth.sigv4 import SigV4AuthScheme
# Configuration
AWS_REGION = "us-west-2"
BIDI_ENDPOINT = f"https://runtime.sagemaker.{AWS_REGION}.amazonaws.com:8443"
ENDPOINT_NAME = "your-endpoint-name"
# Initialize the client configuration
config = Config(
endpoint_uri=BIDI_ENDPOINT,
region=AWS_REGION,
aws_credentials_identity_resolver=EnvironmentCredentialsResolver(),
auth_scheme_resolver=HTTPAuthSchemeResolver(),
auth_schemes={"aws.auth#sigv4": SigV4AuthScheme(service="sagemaker")}
)
# Create the SageMaker Runtime HTTP/2 client
client = SageMakerRuntimeHTTP2Client(config=config)
```
### Klien streaming dua arah lengkap
Contoh berikut menunjukkan cara membuat klien streaming dua arah yang mengirimkan beberapa muatan teks ke SageMaker titik akhir dan memproses respons secara real-time:
```
import asyncio
import logging
from sagemaker_runtime_http2.client import SageMakerRuntimeHTTP2Client
from sagemaker_runtime_http2.config import Config, HTTPAuthSchemeResolver
from sagemaker_runtime_http2.models import (
InvokeEndpointWithBidirectionalStreamInput,
RequestStreamEventPayloadPart,
RequestPayloadPart
)
from smithy_aws_core.identity import EnvironmentCredentialsResolver
from smithy_aws_core.auth.sigv4 import SigV4AuthScheme
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)
class SageMakerBidirectionalClient:
def __init__(self, endpoint_name, region="us-west-2"):
self.endpoint_name = endpoint_name
self.region = region
self.client = None
self.stream = None
self.response_task = None
self.is_active = False
def _initialize_client(self):
bidi_endpoint = f"runtime.sagemaker.{self.region}.amazonaws.com:8443"
config = Config(
endpoint_uri=bidi_endpoint,
region=self.region,
aws_credentials_identity_resolver=EnvironmentCredentialsResolver(),
auth_scheme_resolver=HTTPAuthSchemeResolver(),
auth_schemes={"aws.auth#sigv4": SigV4AuthScheme(service="sagemaker")}
)
self.client = SageMakerRuntimeHTTP2Client(config=config)
async def start_session(self):
"""Establish a bidirectional streaming connection with the endpoint."""
if not self.client:
self._initialize_client()
logger.info(f"Starting session with endpoint: {self.endpoint_name}")
self.stream = await self.client.invoke_endpoint_with_bidirectional_stream(
InvokeEndpointWithBidirectionalStreamInput(endpoint_name=self.endpoint_name)
)
self.is_active = True
# Start processing responses concurrently
self.response_task = asyncio.create_task(self._process_responses())
async def send_message(self, message):
"""Send a single message to the endpoint."""
if not self.is_active:
raise RuntimeError("Session not active. Call start_session() first.")
logger.info(f"Sending message: {message}")
payload = RequestPayloadPart(bytes_=message.encode('utf-8'))
event = RequestStreamEventPayloadPart(value=payload)
await self.stream.input_stream.send(event)
async def send_multiple_messages(self, messages, delay=1.0):
"""Send multiple messages with a delay between each."""
for message in messages:
await self.send_message(message)
await asyncio.sleep(delay)
async def end_session(self):
"""Close the bidirectional streaming connection."""
if not self.is_active:
return
await self.stream.input_stream.close()
self.is_active = False
logger.info("Stream closed")
# Cancel the response processing task
if self.response_task and not self.response_task.done():
self.response_task.cancel()
async def _process_responses(self):
"""Process incoming responses from the endpoint."""
try:
output = await self.stream.await_output()
output_stream = output[1]
while self.is_active:
result = await output_stream.receive()
if result is None:
logger.info("No more responses")
break
if result.value and result.value.bytes_:
response_data = result.value.bytes_.decode('utf-8')
logger.info(f"Received: {response_data}")
except Exception as e:
logger.error(f"Error processing responses: {e}")
# Example usage
async def run_bidirectional_client():
client = SageMakerBidirectionalClient(endpoint_name="your-endpoint-name")
try:
# Start the session
await client.start_session()
# Send multiple messages
messages = [
"I need help with",
"my account balance",
"I can help with that",
"and recent charges"
]
await client.send_multiple_messages(messages)
# Wait for responses to be processed
await asyncio.sleep(2)
# End the session
await client.end_session()
logger.info("Session ended successfully")
except Exception as e:
logger.error(f"Client error: {e}")
await client.end_session()
if __name__ == "__main__":
asyncio.run(run_bidirectional_client())
```
Klien menginisialisasi klien SageMaker Runtime HTTP/2 dengan URI endpoint regional pada port 8443, yang diperlukan untuk koneksi streaming dua arah. `session()`Metode start\$1 memanggil `invoke_endpoint_with_bidirectional_stream()` untuk membuat koneksi persisten dan membuat tugas asinkron untuk memproses respons yang masuk secara bersamaan.
`send_event()`Metode ini membungkus data payload dalam objek permintaan yang sesuai dan mengirimkannya melalui aliran input, sementara `_process_responses()` metode terus mendengarkan dan memproses respons dari titik akhir saat mereka tiba. Pendekatan dua arah ini memungkinkan interaksi real-time di mana baik mengirim permintaan dan menerima tanggapan terjadi secara bersamaan melalui koneksi yang sama.
# Titik akhir
Setelah menerapkan model Anda ke titik akhir, Anda mungkin ingin melihat dan mengelola titik akhir. Dengan SageMaker AI, Anda dapat melihat status dan detail titik akhir Anda, memeriksa metrik dan log untuk memantau kinerja titik akhir Anda, memperbarui model yang diterapkan ke titik akhir Anda, dan banyak lagi.
Bagian berikut menunjukkan bagaimana Anda dapat mengelola titik akhir dalam Amazon SageMaker Studio atau di dalam. Konsol Manajemen AWS
Halaman berikut menjelaskan cara melihat dan membuat perubahan secara interaktif pada titik akhir Anda menggunakan konsol Amazon SageMaker AI atau SageMaker Studio.
**Topics**
+ [Lihat detail titik akhir di Studio SageMaker](manage-endpoints-studio.md)
+ [Lihat detail titik akhir di konsol SageMaker AI](manage-endpoints-console.md)
# Lihat detail titik akhir di Studio SageMaker
Di Amazon SageMaker Studio, Anda dapat melihat dan mengelola titik akhir SageMaker AI Hosting Anda. Untuk mempelajari lebih lanjut tentang Studio, lihat [Amazon SageMaker Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio.html).
Untuk menemukan daftar titik akhir Anda di SageMaker Studio lakukan hal berikut:
1. Buka aplikasi Studio.
1. Di panel navigasi kiri, pilih **Deployment**.
1. **Dari menu dropdown, pilih Endpoints.**
Halaman **Endpoints** terbuka, yang mencantumkan semua titik akhir SageMaker AI Hosting Anda. Dari halaman ini, Anda dapat melihat titik akhir dan **Statusnya**. Anda juga dapat membuat titik akhir baru, mengedit titik akhir yang ada, atau menghapus titik akhir.
Untuk melihat detail titik akhir tertentu, pilih titik akhir dari daftar. Pada halaman detail titik akhir, Anda mendapatkan ikhtisar seperti tangkapan layar berikut.
![\[Screenshot dari halaman utama endpoint yang menampilkan ringkasan detail endpoint di Studio.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/inference/studio-endpoint-details-page.png)
Setiap halaman detail endpoint berisi tab informasi berikut:
# Lihat Varian (atau Model)
Tab **Varians** (juga disebut tab **Model** jika titik akhir Anda memiliki beberapa model yang diterapkan) menunjukkan daftar [varian model atau model](https://docs.aws.amazon.com/sagemaker/latest/dg/model-ab-testing.html) yang saat ini diterapkan ke titik akhir Anda. Tangkapan layar berikut menunjukkan kepada Anda seperti apa ikhtisar dan bagian **Model** untuk titik akhir dengan beberapa model yang digunakan.
![\[Screenshot dari halaman utama endpoint yang menampilkan beberapa model yang digunakan.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/inference/studio-goldfinch-multi-model-endpoint.png)
Anda dapat menambahkan atau mengedit pengaturan untuk setiap varian atau model. **Anda juga dapat memilih varian dan mengaktifkan kebijakan auto-scaling default, yang dapat Anda edit nanti di tab Penskalaan otomatis.**
# Lihat pengaturan
Pada tab **Pengaturan**, Anda dapat melihat peran AWS IAM terkait titik akhir, AWS KMS kunci yang digunakan untuk enkripsi (jika ada), nama VPC Anda, dan pengaturan isolasi jaringan.
# Inferensi uji
Pada tab **Inferensi uji**, Anda dapat mengirim permintaan inferensi pengujian ke model yang diterapkan. Ini berguna jika Anda ingin memverifikasi bahwa titik akhir Anda merespons permintaan seperti yang diharapkan.
Untuk menguji inferensi, lakukan hal berikut:
1. Pada tab **Inferensi uji** model, pilih salah satu opsi berikut:
1. Pilih **Masukkan isi permintaan** jika Anda ingin menguji titik akhir dan menerima respons melalui antarmuka Studio.
1. Pilih **Salin kode contoh (Python)** jika Anda ingin menyalin AWS SDK untuk Python (Boto3) contoh yang dapat Anda gunakan untuk memanggil titik akhir Anda dari lingkungan lokal dan menerima respons secara terprogram.
1. Untuk **Model**, pilih model yang ingin Anda uji pada titik akhir.
1. Jika Anda memilih metode pengujian antarmuka Studio, Anda juga dapat memilih **jenis Konten** yang diinginkan untuk respons dari tarik-turun.
Setelah mengonfigurasi permintaan Anda, maka Anda dapat memilih **Kirim permintaan** (untuk menerima respons melalui antarmuka Studio) atau **Salin untuk menyalin** contoh Python.
Jika Anda menerima respons melalui antarmuka Studio, itu akan terlihat seperti tangkapan layar berikut.
![\[Screenshot dari permintaan pengujian inferensi yang berhasil pada titik akhir di Studio.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/inference/endpoint-test-inference.png)
# Penskalaan otomatis
Pada tab **Penskalaan otomatis**, Anda dapat melihat kebijakan auto-scaling yang dikonfigurasi untuk model yang dihosting di titik akhir Anda. Tangkapan layar berikut menunjukkan tab **Penskalaan otomatis**.
![\[Tangkapan layar tab Penskalaan otomatis, menampilkan satu kebijakan aktif.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/inference/studio-endpoint-autoscaling.png)
Anda dapat memilih **Edit auto-scaling** untuk mengubah kebijakan apa pun dan mengaktifkan atau menonaktifkan kebijakan auto-scaling default.
Untuk mempelajari lebih lanjut tentang auto-scaling untuk titik akhir real-time, lihat [Menskalakan Model AI Amazon Secara Otomatis](https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html). SageMaker Jika Anda tidak yakin cara mengonfigurasi kebijakan auto-scaling untuk endpoint, Anda dapat menggunakan lowongan rekomendasi [penskalaan otomatis Inference Recommender untuk mendapatkan rekomendasi kebijakan auto-scaling](https://docs.aws.amazon.com/sagemaker/latest/dg/inference-recommender-autoscaling.html).
# Lihat detail titik akhir di konsol SageMaker AI
Untuk melihat titik akhir Anda di konsol SageMaker AI, lakukan hal berikut:
1. Buka konsol SageMaker AI di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. Di panel navigasi kiri, pilih **Inferensi**.
1. **Dari daftar dropdown, pilih Endpoints.**
1. Pada halaman **Endpoints**, pilih endpoint Anda.
Halaman detail titik akhir harus terbuka, menampilkan ringkasan titik akhir dan metrik yang telah dikumpulkan untuk titik akhir Anda.
Bagian berikut menjelaskan tab pada halaman detail titik akhir.
# Pemantauan titik akhir
Setelah membuat titik akhir SageMaker AI Hosting, Anda dapat memantau titik akhir Anda menggunakan Amazon CloudWatch, yang mengumpulkan data mentah dan memprosesnya menjadi metrik yang dapat dibaca, mendekati waktu nyata. Dengan menggunakan metrik ini, Anda dapat mengakses informasi historis dan mendapatkan perspektif yang lebih baik tentang kinerja titik akhir Anda. Untuk informasi selengkapnya, lihat *[Panduan CloudWatch Pengguna Amazon](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/)*.
Dari tab **Monitoring** pada halaman detail titik akhir, Anda dapat melihat data CloudWatch metrik yang telah dikumpulkan dari titik akhir Anda.
Tab **Monitoring** mencakup bagian-bagian berikut:
+ **Metrik operasional**: Lihat metrik yang melacak pemanfaatan sumber daya titik akhir Anda, seperti Pemanfaatan CPU dan Pemanfaatan Memori.
+ **Metrik pemanggilan**: Lihat metrik yang melacak jumlah, kesehatan, dan status `InvokeEndpoint` permintaan yang masuk ke titik akhir Anda, seperti Kesalahan Model Pemanggilan dan Latensi Model.
+ **Metrik Kesehatan**: Lihat metrik yang melacak kesehatan keseluruhan titik akhir Anda, seperti Kegagalan Pemanggilan dan Kegagalan Pemberitahuan.
Untuk deskripsi rinci dari setiap metrik, lihat [Monitor SageMaker AI dengan CloudWatch](https://docs.aws.amazon.com/sagemaker/latest/dg/monitoring-cloudwatch.html).
Tangkapan layar berikut menunjukkan bagian **Metrik operasional** untuk titik akhir tanpa server.
![\[Tangkapan layar grafik metrik di bagian metrik operasional halaman detail titik akhir.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/hosting-operational-metrics.png)
Anda dapat menyesuaikan **Periode** dan **Statistik** yang ingin Anda lacak untuk metrik di bagian tertentu, serta lamanya waktu yang Anda inginkan untuk melihat data metrik. Anda juga dapat menambahkan dan menghapus widget metrik dari tampilan untuk setiap bagian dengan memilih **Tambah widget**. Dalam kotak dialog **Add widget**, Anda dapat memilih dan membatalkan pilihan metrik yang ingin Anda lihat.
Metrik yang tersedia mungkin bergantung pada jenis titik akhir Anda. Misalnya, titik akhir tanpa server memiliki beberapa metrik yang tidak tersedia untuk titik akhir real-time. Untuk informasi metrik yang lebih spesifik menurut jenis titik akhir, lihat halaman berikut:
+ [Memantau titik akhir tanpa server](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints-monitoring.html)
+ [Memantau titik akhir asinkron](https://docs.aws.amazon.com/sagemaker/latest/dg/async-inference-monitor.html)
+ [Metrik CW untuk Penerapan Titik Akhir Multi-Model](https://docs.aws.amazon.com/sagemaker/latest/dg/multi-model-endpoint-cloudwatch-metrics.html)
+ [Log dan Metrik Pipa Inferensi](https://docs.aws.amazon.com/sagemaker/latest/dg/inference-pipeline-logs-metrics.html)
# Pengaturan
Anda dapat memilih tab **Pengaturan** untuk melihat informasi tambahan tentang titik akhir Anda, seperti pengaturan pengambilan data, konfigurasi titik akhir, dan tag.
# Membuat dan melihat alarm
Dari tab **Alarm** di halaman detail titik akhir, Anda dapat melihat dan membuat alarm metrik ambang batas statis sederhana, tempat Anda menentukan nilai ambang batas untuk metrik. Jika metrik melanggar nilai ambang batas, alarm masuk ke `ALARM` negara bagian. Untuk informasi selengkapnya tentang CloudWatch alarm, lihat [Menggunakan CloudWatch alarm Amazon](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html).
Di bagian **Ringkasan titik akhir**, Anda dapat melihat bidang **Alarm**, yang memberi tahu Anda berapa banyak alarm yang saat ini aktif di titik akhir Anda.
Untuk melihat alarm mana yang berada dalam `ALARM` status, pilih tab **Alarm**. Tab **Alarm menampilkan daftar lengkap alarm** endpoint Anda, bersama dengan detail tentang status dan kondisinya. Tangkapan layar berikut menunjukkan daftar alarm di bagian ini yang telah dikonfigurasi untuk titik akhir.
![\[Tangkapan layar tab alarm di halaman detail titik akhir yang menampilkan daftar CloudWatch alarm.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/hosting-alarms-tab.png)
Status alarm dapat berupa `In alarm``OK`, atau `Insufficient data` jika tidak ada cukup data metrik yang dikumpulkan.
Untuk membuat alarm baru untuk titik akhir Anda, lakukan hal berikut:
1. Di tab **Alarm**, pilih **Buat alarm**.
1. Halaman **Create alarm** terbuka. Untuk **Nama alarm**, masukkan nama untuk alarm.
1. (Opsional) Masukkan deskripsi untuk alarm.
1. Untuk **Metrik**, pilih CloudWatch metrik yang ingin dilacak alarm.
1. Untuk **nama Variant**, pilih varian model endpoint yang ingin Anda pantau.
1. Untuk **Statistik**, pilih salah satu statistik yang tersedia untuk metrik yang Anda pilih.
1. Untuk **Periode**, pilih periode waktu yang akan digunakan untuk menghitung setiap nilai statistik. Misalnya, jika Anda memilih statistik Rata-rata dan periode 5 menit, setiap titik data yang dipantau oleh alarm adalah rata-rata titik data metrik pada interval 5 menit.
1. Untuk **periode Evaluasi**, masukkan jumlah titik data yang Anda ingin alarm pertimbangkan saat mengevaluasi apakah akan memasuki status alarm atau tidak.
1. Untuk **Kondisi**, pilih kondisional yang ingin Anda gunakan untuk ambang alarm Anda.
1. Untuk **nilai Ambang**, masukkan nilai yang diinginkan untuk ambang batas Anda.
1. (Opsional) Untuk **Pemberitahuan**, Anda dapat memilih **Tambahkan pemberitahuan** untuk membuat atau menentukan topik Amazon SNS yang menerima pemberitahuan saat status alarm Anda berubah.
1. Pilih **Buat alarm**.
Setelah membuat alarm, Anda dapat kembali ke tab **Alarm** untuk melihat statusnya kapan saja. Dari bagian ini, Anda juga dapat memilih alarm dan **Edit** atau **Hapus**.
# Opsi hosting
Topik berikut menjelaskan opsi hosting realtime SageMaker AI yang tersedia bersama dengan cara mengatur, memanggil, dan menghapus setiap opsi hosting.
**Topics**
+ [Titik akhir model tunggal](realtime-single-model.md)
+ [Titik akhir multi-model](multi-model-endpoints.md)
+ [Titik akhir multi-kontainer](multi-container-endpoints.md)
+ [Pipa inferensi di Amazon AI SageMaker](inference-pipelines.md)
+ [Hapus Titik Akhir dan Sumber Daya](realtime-endpoints-delete-resources.md)
# Titik akhir model tunggal
Anda dapat membuat, memperbarui, dan menghapus titik akhir inferensi real-time yang menghosting satu model dengan Amazon SageMaker Studio, SDK SageMaker Python AWS SDK untuk Python (Boto3), atau. AWS CLI Untuk prosedur dan contoh kode, lihat[Terapkan model untuk inferensi waktu nyata](realtime-endpoints-deploy-models.md).
# Titik akhir multi-model
Titik akhir multi-model memberikan solusi yang dapat diskalakan dan hemat biaya untuk menerapkan sejumlah besar model. Mereka menggunakan armada sumber daya yang sama dan wadah penyajian bersama untuk menampung semua model Anda. Ini mengurangi biaya hosting dengan meningkatkan pemanfaatan titik akhir dibandingkan dengan menggunakan titik akhir model tunggal. Ini juga mengurangi overhead penerapan karena Amazon SageMaker AI mengelola pemuatan model dalam memori dan menskalakannya berdasarkan pola lalu lintas ke titik akhir Anda.
Diagram berikut menunjukkan bagaimana titik akhir multi-model bekerja dibandingkan dengan titik akhir model tunggal.
![\[Diagram yang menunjukkan bagaimana multi-model versus bagaimana model titik akhir model tunggal menghosting model.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/multi-model-endpoints-diagram.png)
Titik akhir multi-model ideal untuk menghosting sejumlah besar model yang menggunakan kerangka kerja ML yang sama pada wadah penyajian bersama. Jika Anda memiliki campuran model yang sering dan jarang diakses, titik akhir multi-model dapat secara efisien melayani lalu lintas ini dengan sumber daya yang lebih sedikit dan penghematan biaya yang lebih tinggi. Aplikasi Anda harus toleran terhadap hukuman latensi terkait start dingin sesekali yang terjadi saat memanggil model yang jarang digunakan.
Titik akhir multi-model mendukung hosting model yang didukung CPU dan GPU. Dengan menggunakan model yang didukung GPU, Anda dapat menurunkan biaya penerapan model melalui peningkatan penggunaan titik akhir dan instans komputasi yang dipercepat yang mendasarinya.
Titik akhir multi-model juga memungkinkan pembagian waktu sumber daya memori di seluruh model Anda. Ini berfungsi paling baik ketika modelnya cukup mirip dalam ukuran dan latensi pemanggilan. Ketika ini terjadi, titik akhir multi-model dapat secara efektif menggunakan instance di semua model. Jika Anda memiliki model yang memiliki persyaratan transaksi per detik (TPS) atau latensi yang jauh lebih tinggi, kami sarankan untuk menghosting mereka di titik akhir khusus.
Anda dapat menggunakan endpoint multi-model dengan fitur-fitur berikut:
+ [AWS PrivateLink](https://docs.aws.amazon.com/vpc/latest/userguide/endpoint-services-overview.html)dan VPCs
+ [Penskalaan otomatis](multi-model-endpoints-autoscaling.md)
+ [Pipa inferensi serial](https://docs.aws.amazon.com/sagemaker/latest/dg/inference-pipelines.html) (tetapi hanya satu wadah berkemampuan multi-model yang dapat dimasukkan dalam pipa inferensi)
+ Pengujian A/B
Anda dapat menggunakan AWS SDK for Python (Boto) atau konsol SageMaker AI untuk membuat titik akhir multi-model. [Untuk titik akhir multi-model yang didukung CPU, Anda dapat membuat titik akhir dengan kontainer yang dibuat khusus dengan mengintegrasikan pustaka Server Multi Model.](https://github.com/awslabs/multi-model-server)
**Topics**
+ [Cara kerja titik akhir multi-model](#how-multi-model-endpoints-work)
+ [Contoh notebook untuk titik akhir multi-model](#multi-model-endpoint-sample-notebooks)
+ [Algoritma, kerangka kerja, dan instance yang didukung untuk titik akhir multi-model](multi-model-support.md)
+ [Rekomendasi instans untuk penerapan titik akhir multi-model](multi-model-endpoint-instance.md)
+ [Membuat Endpoint Multi-Model](create-multi-model-endpoint.md)
+ [Memanggil Titik Akhir Multi-Model](invoke-multi-model-endpoint.md)
+ [Tambah atau Hapus Model](add-models-to-endpoint.md)
+ [Bangun Container Anda Sendiri untuk Titik SageMaker Akhir Multi-Model AI](build-multi-model-build-container.md)
+ [Keamanan Titik Akhir Multi-Model](multi-model-endpoint-security.md)
+ [CloudWatch Metrik untuk Penerapan Titik Akhir Multi-Model](multi-model-endpoint-cloudwatch-metrics.md)
+ [Setel SageMaker perilaku caching model titik akhir multi-model AI](multi-model-caching.md)
+ [Menetapkan Kebijakan Auto Scaling untuk Penerapan Titik Akhir Multi-Model](multi-model-endpoints-autoscaling.md)
## Cara kerja titik akhir multi-model
SageMaker AI mengelola siklus hidup model yang dihosting pada titik akhir multi-model dalam memori kontainer. Alih-alih mengunduh semua model dari bucket Amazon S3 ke wadah saat Anda membuat titik akhir, SageMaker AI secara dinamis memuat dan menyimpannya di cache saat Anda memanggilnya. Ketika SageMaker AI menerima permintaan pemanggilan untuk model tertentu, AI melakukan hal berikut:
1. Rutekan permintaan ke instance di belakang titik akhir.
1. Mengunduh model dari bucket S3 ke volume penyimpanan instans tersebut.
1. Memuat model ke memori kontainer (CPU atau GPU, tergantung pada apakah Anda memiliki instance yang didukung CPU atau GPU) pada instance komputasi yang dipercepat tersebut. Jika model sudah dimuat dalam memori kontainer, pemanggilan lebih cepat karena SageMaker AI tidak perlu mengunduh dan memuatnya.
SageMaker AI terus merutekan permintaan untuk model ke instance di mana model sudah dimuat. Namun, jika model menerima banyak permintaan pemanggilan, dan ada contoh tambahan untuk titik akhir multi-model, SageMaker AI merutekan beberapa permintaan ke instance lain untuk mengakomodasi lalu lintas. Jika model belum dimuat pada instance kedua, model diunduh ke volume penyimpanan instance itu dan dimuat ke dalam memori penampung.
Ketika pemanfaatan memori instans tinggi dan SageMaker AI perlu memuat model lain ke dalam memori, ia membongkar model yang tidak digunakan dari wadah instance itu untuk memastikan bahwa ada cukup memori untuk memuat model. Model yang dibongkar tetap pada volume penyimpanan instans dan dapat dimuat ke dalam memori kontainer nanti tanpa diunduh lagi dari bucket S3. Jika volume penyimpanan instans mencapai kapasitasnya, SageMaker AI menghapus model yang tidak digunakan dari volume penyimpanan.
Untuk menghapus model, hentikan pengiriman permintaan dan hapus dari bucket S3. SageMaker AI menyediakan kemampuan endpoint multi-model dalam wadah penyajian. Menambahkan model ke, dan menghapusnya dari, titik akhir multi-model tidak memerlukan pembaruan titik akhir itu sendiri. Untuk menambahkan model, Anda mengunggahnya ke bucket S3 dan memanggilnya. Anda tidak perlu perubahan kode untuk menggunakannya.
**catatan**
Saat Anda memperbarui titik akhir multi-model, permintaan pemanggilan awal pada titik akhir mungkin mengalami latensi yang lebih tinggi karena Smart Routing di titik akhir multi-model beradaptasi dengan pola lalu lintas Anda. Namun, setelah mempelajari pola lalu lintas Anda, Anda dapat mengalami latensi rendah untuk model yang paling sering digunakan. Model yang jarang digunakan mungkin menimbulkan beberapa latensi start dingin karena model dimuat secara dinamis ke sebuah instance.
## Contoh notebook untuk titik akhir multi-model
Untuk mempelajari lebih lanjut tentang cara menggunakan titik akhir multi-model, Anda dapat mencoba contoh buku catatan berikut:
+ Contoh untuk titik akhir multi-model menggunakan instance yang didukung CPU:
+ [Notebook XGBoost Contoh Titik Akhir Multi-Model](https://sagemaker-examples.readthedocs.io/en/latest/advanced_functionality/multi_model_xgboost_home_value/xgboost_multi_model_endpoint_home_value.html) — Notebook ini menunjukkan cara menerapkan beberapa XGBoost model ke titik akhir.
+ [Notebook Sampel BYOC Multi-Model Endpoint](https://sagemaker-examples.readthedocs.io/en/latest/advanced_functionality/multi_model_bring_your_own/multi_model_endpoint_bring_your_own.html) — Notebook ini menunjukkan cara menyiapkan dan menerapkan wadah pelanggan yang mendukung titik akhir multi-model di AI. SageMaker
+ Contoh untuk titik akhir multi-model yang menggunakan instance yang didukung GPU:
+ [Jalankan beberapa model pembelajaran mendalam GPUs dengan Amazon SageMaker AI Multi-model endpoint (MME)](https://github.com/aws/amazon-sagemaker-examples/blob/main/multi-model-endpoints/mme-on-gpu/cv/resnet50_mme_with_gpu.ipynb) — Notebook ini menunjukkan cara menggunakan wadah NVIDIA Triton Inference untuk menerapkan ResNet model -50 ke titik akhir multi-model.
Untuk petunjuk tentang cara membuat dan mengakses instance notebook Jupyter yang dapat Anda gunakan untuk menjalankan contoh sebelumnya di SageMaker AI, lihat. [Instans SageMaker notebook Amazon](nbi.md) Setelah Anda membuat instance notebook dan membukanya, pilih tab **Contoh SageMaker AI** untuk melihat daftar semua sampel SageMaker AI. Notebook endpoint multi-model terletak di bagian **ADVANCED** FUNCTIONALITY. Untuk membuka buku catatan, pilih tab **Use** dan pilih **Create copy**.
Untuk informasi selengkapnya tentang kasus penggunaan untuk titik akhir multi-model, lihat blog dan sumber daya berikut:
+ Video: [Hosting ribuan model di SageMaker AI](https://www.youtube.com/watch?v=XqCNTWmHsLc&t=751s)
+ Video: [SageMaker AI ML untuk SaaS](https://www.youtube.com/watch?v=BytpYlJ3vsQ)
+ Blog: [Cara menskalakan inferensi pembelajaran mesin untuk kasus penggunaan SaaS multi-penyewa](https://aws.amazon.com/blogs/machine-learning/how-to-scale-machine-learning-inference-for-multi-tenant-saas-use-cases/)
+ Studi kasus: Sistem [Veeva](https://aws.amazon.com/partners/success/advanced-clinical-veeva/)
# Algoritma, kerangka kerja, dan instance yang didukung untuk titik akhir multi-model
Untuk informasi tentang algoritme, kerangka kerja, dan jenis instance yang dapat Anda gunakan dengan titik akhir multi-model, lihat bagian berikut.
## Algoritme, kerangka kerja, dan instance yang didukung untuk titik akhir multi-model menggunakan instance yang didukung CPU
Wadah inferensi untuk algoritme dan kerangka kerja berikut mendukung titik akhir multi-model:
+ [XGBoost algoritma dengan Amazon SageMaker AI](xgboost.md)
+ [Algoritma K-Nearest Neighbors (k-NN)](k-nearest-neighbors.md)
+ [Algoritma Pembelajar Linear](linear-learner.md)
+ [Algoritma Random Cut Forest (RCF)](randomcutforest.md)
+ [Sumber daya untuk digunakan TensorFlow dengan Amazon SageMaker AI](tf.md)
+ [Sumber daya untuk menggunakan Scikit-Learn dengan Amazon AI SageMaker](sklearn.md)
+ [Sumber daya untuk menggunakan Apache MXNet dengan Amazon AI SageMaker](mxnet.md)
+ [Sumber daya untuk digunakan PyTorch dengan Amazon SageMaker AI](pytorch.md)
Untuk menggunakan kerangka kerja atau algoritme lain, gunakan toolkit inferensi SageMaker AI untuk membangun wadah yang mendukung titik akhir multi-model. Untuk informasi, lihat [Bangun Container Anda Sendiri untuk Titik SageMaker Akhir Multi-Model AI](build-multi-model-build-container.md).
Titik akhir multi-model mendukung semua jenis instans CPU.
## Algoritme, kerangka kerja, dan instance yang didukung untuk titik akhir multi-model menggunakan instans yang didukung GPU
Hosting beberapa model yang didukung GPU pada titik akhir multi-model didukung melalui server [SageMaker AI Triton Inference](https://docs.aws.amazon.com/sagemaker/latest/dg/triton.html). Ini mendukung semua kerangka inferensi utama seperti NVIDIA® TensorRT™,,, Python, ONNX,, scikit-learn PyTorch, MXNet, OpenVINO, kustom C\$1\$1 XGBoost, dan banyak lagi. RandomForest
Untuk menggunakan kerangka kerja atau algoritma lain, Anda dapat menggunakan backend Triton untuk Python atau C \$1\$1 untuk menulis logika model Anda dan melayani model kustom apa pun. Setelah server siap, Anda dapat mulai menerapkan 100-an model Deep Learning di belakang satu titik akhir.
Titik akhir multi-model mendukung jenis instans GPU berikut:
| Keluarga instans | Tipe instans | v CPUs | GiB memori per vCPU | GPUs | Memori GPU |
| --- | --- | --- | --- | --- | --- |
| p2 | ml.p2.xlarge | 4 | 15.25 | 1 | 12 |
| p3 | ml.p3.2xlarge | 8 | 7.62 | 1 | 16 |
| g5 | ml.g5.xlarge | 4 | 4 | 1 | 24 |
| g5 | ml.g5.2xbesar | 8 | 4 | 1 | 24 |
| g5 | ml.g5.4xbesar | 16 | 4 | 1 | 24 |
| g5 | ml.g5.8xbesar | 32 | 4 | 1 | 24 |
| g5 | ml.g5.16xbesar | 64 | 4 | 1 | 24 |
| g4dn | ml.g4dn.xlarge | 4 | 4 | 1 | 16 |
| g4dn | ml.g4dn.2xbesar | 8 | 4 | 1 | 16 |
| g4dn | ml.g4dn.4xbesar | 16 | 4 | 1 | 16 |
| g4dn | ml.g4dn.8xlarge | 32 | 4 | 1 | 16 |
| g4dn | ml.g4dn.16xlarge | 64 | 4 | 1 | 16 |
# Rekomendasi instans untuk penerapan titik akhir multi-model
Ada beberapa item yang perlu dipertimbangkan saat memilih jenis instans SageMaker AI ML untuk titik akhir multi-model:
+ Menyediakan kapasitas [Amazon Elastic Block Store (Amazon EBS](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/AmazonEBS.html)) yang memadai untuk semua model yang perlu dilayani.
+ Menyeimbangkan kinerja (meminimalkan start dingin) dan biaya (jangan terlalu menyediakan kapasitas instans). Untuk informasi tentang ukuran volume penyimpanan yang dilampirkan SageMaker AI untuk setiap jenis instans untuk titik akhir dan titik akhir multi-model, lihat. [Volume penyimpanan instans](host-instance-storage.md)
+ Untuk wadah yang dikonfigurasi untuk berjalan dalam `MultiModel` mode, volume penyimpanan yang disediakan untuk instansnya lebih besar dari mode default. `SingleModel` Hal ini memungkinkan lebih banyak model untuk di-cache pada volume penyimpanan instance daripada dalam `SingleModel` mode.
Saat memilih jenis instans SageMaker AI ML, pertimbangkan hal berikut:
+ Titik akhir multi-model saat ini didukung untuk semua jenis instans CPU dan pada tipe instans GPU tunggal.
+ Untuk distribusi lalu lintas (pola akses) ke model yang ingin Anda host di belakang titik akhir multi-model, bersama dengan ukuran model (berapa banyak model yang dapat dimuat dalam memori pada instance), ingatlah informasi berikut:
+ Pikirkan jumlah memori pada instance sebagai ruang cache untuk model yang akan dimuat, dan pikirkan jumlah v CPUs sebagai batas konkurensi untuk melakukan inferensi pada model yang dimuat (dengan asumsi bahwa memanggil model terikat ke CPU).
+ Untuk instance yang didukung CPU, jumlah v CPUs memengaruhi pemanggilan bersamaan maksimum Anda per instance (dengan asumsi bahwa memanggil model terikat ke CPU). Jumlah v yang lebih tinggi CPUs memungkinkan Anda untuk memanggil model yang lebih unik secara bersamaan.
+ Untuk instans yang didukung GPU, jumlah instans dan memori GPU yang lebih tinggi memungkinkan Anda memuat lebih banyak model dan siap melayani permintaan inferensi.
+ Untuk instance yang didukung CPU dan GPU, sediakan beberapa memori “slack” sehingga model yang tidak digunakan dapat dibongkar, dan terutama untuk titik akhir multi-model dengan beberapa instance. Jika instance atau Availability Zone gagal, model pada instance tersebut akan dialihkan ke instance lain di belakang titik akhir.
+ Tentukan toleransi Anda terhadap loading/downloading waktu:
+ Keluarga tipe instance d (misalnya, m5d, c5d, atau r5d) dan g5s dilengkapi dengan SSD NVMe (non-volatile memory express), yang menawarkan I/O kinerja tinggi dan dapat mengurangi waktu yang diperlukan untuk mengunduh model ke volume penyimpanan dan untuk wadah untuk memuat model dari volume penyimpanan.
+ Karena tipe instans d dan g5 dilengkapi dengan penyimpanan NVMe SSD, SageMaker AI tidak melampirkan volume penyimpanan Amazon EBS ke instans komputasi ML yang menampung titik akhir multi-model. Penskalaan otomatis bekerja paling baik ketika model berukuran sama dan homogen, yaitu ketika mereka memiliki latensi inferensi dan persyaratan sumber daya yang serupa.
Anda juga dapat menggunakan panduan berikut untuk membantu Anda mengoptimalkan pemuatan model pada titik akhir multi-model Anda:
**Memilih jenis instance yang tidak dapat menampung semua model yang ditargetkan dalam memori**
Dalam beberapa kasus, Anda dapat memilih untuk mengurangi biaya dengan memilih jenis instans yang tidak dapat menyimpan semua model yang ditargetkan dalam memori sekaligus. SageMaker AI secara dinamis membongkar model ketika kehabisan memori untuk memberi ruang bagi model yang baru ditargetkan. Untuk model yang jarang diminta, Anda mengorbankan latensi beban dinamis. Dalam kasus dengan kebutuhan latensi yang lebih ketat, Anda dapat memilih jenis instans yang lebih besar atau lebih banyak instance. Menginvestasikan waktu di muka untuk pengujian dan analisis kinerja membantu Anda untuk memiliki penerapan produksi yang sukses.
**Mengevaluasi hits cache model Anda**
CloudWatch Metrik Amazon dapat membantu Anda mengevaluasi model Anda. Untuk informasi selengkapnya tentang metrik yang dapat Anda gunakan dengan titik akhir multi-model, lihat. [CloudWatch Metrik untuk Penerapan Titik Akhir Multi-Model](multi-model-endpoint-cloudwatch-metrics.md)
Anda dapat menggunakan `Average` statistik `ModelCacheHit` metrik untuk memantau rasio permintaan di mana model sudah dimuat. Anda dapat menggunakan `SampleCount` statistik untuk `ModelUnloadingTime` metrik untuk memantau jumlah permintaan pembongkaran yang dikirim ke kontainer selama periode waktu tertentu. Jika model dibongkar terlalu sering (indikator *thrashing*, di mana model sedang dibongkar dan dimuat lagi karena tidak ada ruang cache yang tidak mencukupi untuk set model yang berfungsi), pertimbangkan untuk menggunakan tipe instance yang lebih besar dengan lebih banyak memori atau meningkatkan jumlah instance di belakang titik akhir multi-model. Untuk titik akhir multi-model dengan beberapa instance, ketahuilah bahwa model mungkin dimuat pada lebih dari 1 instance.
# Membuat Endpoint Multi-Model
Anda dapat menggunakan konsol SageMaker AI atau AWS SDK for Python (Boto) untuk membuat titik akhir multi-model. Untuk membuat titik akhir yang didukung CPU atau GPU melalui konsol, lihat prosedur konsol di bagian berikut. Jika Anda ingin membuat endpoint multi-model dengan AWS SDK for Python (Boto), gunakan prosedur CPU atau GPU di bagian berikut. Alur kerja CPU dan GPU serupa tetapi memiliki beberapa perbedaan, seperti persyaratan wadah.
**Topics**
+ [Buat titik akhir multi-model (konsol)](#create-multi-model-endpoint-console)
+ [Buat titik akhir multi-model menggunakan dengan CPUs AWS SDK untuk Python (Boto3)](#create-multi-model-endpoint-sdk-cpu)
+ [Buat titik akhir multi-model menggunakan dengan GPUs AWS SDK untuk Python (Boto3)](#create-multi-model-endpoint-sdk-gpu)
## Buat titik akhir multi-model (konsol)
Anda dapat membuat titik akhir multi-model yang didukung CPU dan GPU melalui konsol. Gunakan prosedur berikut untuk membuat titik akhir multi-model melalui konsol SageMaker AI.
**Untuk membuat titik akhir multi-model (konsol)**
1. Buka konsol Amazon SageMaker AI di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. Pilih **Model**, dan kemudian dari grup **Inferensi**, pilih **Buat model**.
1. Untuk **nama Model**, masukkan nama.
1. Untuk **peran IAM**, pilih atau buat peran IAM yang memiliki kebijakan `AmazonSageMakerFullAccess` IAM terlampir.
1. Di bagian **Definisi kontainer**, untuk **Menyediakan artefak model dan opsi gambar inferensi**, pilih **Gunakan beberapa** model.
![\[Bagian halaman Buat model tempat Anda dapat memilih Gunakan beberapa model.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/mme-create-model-ux-2.PNG)
1. Untuk **gambar kontainer Inferensi**, masukkan jalur Amazon ECR untuk gambar kontainer yang Anda inginkan.
Untuk model GPU, Anda harus menggunakan wadah yang didukung oleh NVIDIA Triton Inference Server. Untuk daftar gambar kontainer yang berfungsi dengan titik akhir yang didukung GPU, lihat [NVIDIA Triton Inference Containers (](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#nvidia-triton-inference-containers-sm-support-only)khusus dukungan SM). Untuk informasi selengkapnya tentang Server Inferensi Triton NVIDIA, lihat [Menggunakan Server Inferensi Triton](https://docs.aws.amazon.com/sagemaker/latest/dg/triton.html) dengan AI. SageMaker
1. Pilih **Buat model**.
1. Terapkan titik akhir multi-model Anda seperti yang Anda lakukan pada titik akhir model tunggal. Untuk petunjuk, lihat [Menyebarkan Model ke Layanan Hosting SageMaker AI](ex1-model-deployment.md#ex1-deploy-model).
## Buat titik akhir multi-model menggunakan dengan CPUs AWS SDK untuk Python (Boto3)
Gunakan bagian berikut untuk membuat titik akhir multi-model yang didukung oleh instance CPU. Anda membuat titik akhir multi-model menggunakan Amazon SageMaker AI [https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_model](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_model), dan [https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_endpoint](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_endpoint) APIs sama seperti Anda membuat titik akhir model tunggal, tetapi dengan dua perubahan. Saat mendefinisikan wadah model, Anda harus melewatkan nilai `Mode` parameter baru,`MultiModel`. Anda juga harus melewati `ModelDataUrl` bidang yang menentukan awalan di Amazon S3 tempat artefak model berada, alih-alih jalur ke artefak model tunggal, seperti yang Anda lakukan saat menerapkan satu model.
Untuk contoh notebook yang menggunakan SageMaker AI untuk menerapkan beberapa XGBoost model ke titik akhir, lihat Notebook Contoh Titik Akhir [Multi-Model](https://sagemaker-examples.readthedocs.io/en/latest/advanced_functionality/multi_model_xgboost_home_value/xgboost_multi_model_endpoint_home_value.html). XGBoost
Prosedur berikut menguraikan langkah-langkah kunci yang digunakan dalam sampel tersebut untuk membuat titik akhir multi-model yang didukung CPU.
**Untuk menyebarkan model (AWS SDK untuk Python (Boto 3))**
1. Dapatkan wadah dengan gambar yang mendukung penerapan titik akhir multi-model. Untuk daftar algoritme bawaan dan wadah kerangka kerja yang mendukung titik akhir multi-model, lihat. [Algoritma, kerangka kerja, dan instance yang didukung untuk titik akhir multi-model](multi-model-support.md) Untuk contoh ini, kami menggunakan algoritma [Algoritma K-Nearest Neighbors (k-NN)](k-nearest-neighbors.md) bawaan. Kami memanggil fungsi utilitas [SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable/v2.html) `image_uris.retrieve()` untuk mendapatkan alamat untuk image algoritma bawaan K-Nearest Neighbors.
```
import sagemaker
region = sagemaker_session.boto_region_name
image = sagemaker.image_uris.retrieve("knn",region=region)
container = {
'Image': image,
'ModelDataUrl': 's3:///',
'Mode': 'MultiModel'
}
```
1. Dapatkan klien AWS SDK untuk Python (Boto3) SageMaker AI dan buat model yang menggunakan wadah ini.
```
import boto3
sagemaker_client = boto3.client('sagemaker')
response = sagemaker_client.create_model(
ModelName = '',
ExecutionRoleArn = role,
Containers = [container])
```
1. (Opsional) Jika Anda menggunakan pipeline inferensi serial, dapatkan wadah tambahan untuk disertakan dalam pipeline, dan sertakan dalam `Containers` argumen: `CreateModel`
```
preprocessor_container = {
'Image': '.dkr.ecr..amazonaws.com/:'
}
multi_model_container = {
'Image': '.dkr.ecr..amazonaws.com/:',
'ModelDataUrl': 's3:///',
'Mode': 'MultiModel'
}
response = sagemaker_client.create_model(
ModelName = '',
ExecutionRoleArn = role,
Containers = [preprocessor_container, multi_model_container]
)
```
**catatan**
Anda hanya dapat menggunakan satu multi-model-enabled titik akhir dalam pipeline inferensi serial.
1. (Opsional) Jika kasus penggunaan Anda tidak mendapat manfaat dari caching model, tetapkan nilai `ModelCacheSetting` bidang `MultiModelConfig` parameter ke`Disabled`, dan sertakan dalam `Container` argumen panggilan ke`create_model`. Nilai `ModelCacheSetting` bidang adalah secara `Enabled` default.
```
container = {
'Image': image,
'ModelDataUrl': 's3:///',
'Mode': 'MultiModel'
'MultiModelConfig': {
// Default value is 'Enabled'
'ModelCacheSetting': 'Disabled'
}
}
response = sagemaker_client.create_model(
ModelName = '',
ExecutionRoleArn = role,
Containers = [container]
)
```
1. Konfigurasikan titik akhir multi-model untuk model. Kami menyarankan untuk mengonfigurasi titik akhir Anda dengan setidaknya dua instance. Hal ini memungkinkan SageMaker AI untuk menyediakan serangkaian prediksi yang sangat tersedia di beberapa Availability Zone untuk model.
```
response = sagemaker_client.create_endpoint_config(
EndpointConfigName = '',
ProductionVariants=[
{
'InstanceType': 'ml.m4.xlarge',
'InitialInstanceCount': 2,
'InitialVariantWeight': 1,
'ModelName': '',
'VariantName': 'AllTraffic'
}
]
)
```
**catatan**
Anda hanya dapat menggunakan satu multi-model-enabled titik akhir dalam pipeline inferensi serial.
1. Buat titik akhir multi-model menggunakan parameter `EndpointName` dan`EndpointConfigName`.
```
response = sagemaker_client.create_endpoint(
EndpointName = '',
EndpointConfigName = '')
```
## Buat titik akhir multi-model menggunakan dengan GPUs AWS SDK untuk Python (Boto3)
Gunakan bagian berikut untuk membuat titik akhir multi-model yang didukung GPU. Anda membuat titik akhir multi-model menggunakan Amazon SageMaker AI [https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_model](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_model), dan [https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_endpoint](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_endpoint) APIs serupa dengan membuat titik akhir model tunggal, tetapi ada beberapa perubahan. Saat mendefinisikan wadah model, Anda harus melewatkan nilai `Mode` parameter baru,`MultiModel`. Anda juga harus melewati `ModelDataUrl` bidang yang menentukan awalan di Amazon S3 tempat artefak model berada, alih-alih jalur ke artefak model tunggal, seperti yang Anda lakukan saat menerapkan satu model. Untuk titik akhir multi-model yang didukung GPU, Anda juga harus menggunakan wadah dengan NVIDIA Triton Inference Server yang dioptimalkan untuk berjalan pada instance GPU. Untuk daftar gambar kontainer yang berfungsi dengan titik akhir yang didukung GPU, lihat [NVIDIA Triton Inference Containers (](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#nvidia-triton-inference-containers-sm-support-only)khusus dukungan SM).
Untuk contoh notebook yang mendemonstrasikan cara membuat titik akhir multi-model yang didukung oleh GPUs, lihat [Menjalankan model pembelajaran mendalam mulitple dengan GPUs Amazon SageMaker AI Multi-model](https://github.com/aws/amazon-sagemaker-examples/blob/main/multi-model-endpoints/mme-on-gpu/cv/resnet50_mme_with_gpu.ipynb) endpoint (MME).
Prosedur berikut menguraikan langkah-langkah kunci untuk membuat titik akhir multi-model yang didukung GPU.
**Untuk menyebarkan model (AWS SDK untuk Python (Boto 3))**
1. Tentukan gambar kontainer. Untuk membuat endpoint multi-model dengan dukungan GPU untuk ResNet model, tentukan wadah untuk menggunakan image [NVIDIA Triton Server](https://docs.aws.amazon.com/sagemaker/latest/dg/triton.html). Wadah ini mendukung titik akhir multi-model dan dioptimalkan untuk berjalan pada instance GPU. Kami memanggil fungsi utilitas [SageMaker AI Python SDK](https://sagemaker.readthedocs.io/en/stable/v2.html) `image_uris.retrieve()` untuk mendapatkan alamat gambar. Contoh:
```
import sagemaker
region = sagemaker_session.boto_region_name
// Find the sagemaker-tritonserver image at
// https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-triton/resnet50/triton_resnet50.ipynb
// Find available tags at https://github.com/aws/deep-learning-containers/blob/master/available_images.md#nvidia-triton-inference-containers-sm-support-only
image = ".dkr.ecr..amazonaws.com/sagemaker-tritonserver:".format(
account_id=account_id_map[region], region=region
)
container = {
'Image': image,
'ModelDataUrl': 's3:///',
'Mode': 'MultiModel',
"Environment": {"SAGEMAKER_TRITON_DEFAULT_MODEL_NAME": "resnet"},
}
```
1. Dapatkan klien AWS SDK untuk Python (Boto3) SageMaker AI dan buat model yang menggunakan wadah ini.
```
import boto3
sagemaker_client = boto3.client('sagemaker')
response = sagemaker_client.create_model(
ModelName = '',
ExecutionRoleArn = role,
Containers = [container])
```
1. (Opsional) Jika Anda menggunakan pipeline inferensi serial, dapatkan wadah tambahan untuk disertakan dalam pipeline, dan sertakan dalam `Containers` argumen: `CreateModel`
```
preprocessor_container = {
'Image': '.dkr.ecr..amazonaws.com/:'
}
multi_model_container = {
'Image': '.dkr.ecr..amazonaws.com/:',
'ModelDataUrl': 's3:///',
'Mode': 'MultiModel'
}
response = sagemaker_client.create_model(
ModelName = '',
ExecutionRoleArn = role,
Containers = [preprocessor_container, multi_model_container]
)
```
**catatan**
Anda hanya dapat menggunakan satu multi-model-enabled titik akhir dalam pipeline inferensi serial.
1. (Opsional) Jika kasus penggunaan Anda tidak mendapat manfaat dari caching model, tetapkan nilai `ModelCacheSetting` bidang `MultiModelConfig` parameter ke`Disabled`, dan sertakan dalam `Container` argumen panggilan ke`create_model`. Nilai `ModelCacheSetting` bidang adalah secara `Enabled` default.
```
container = {
'Image': image,
'ModelDataUrl': 's3:///',
'Mode': 'MultiModel'
'MultiModelConfig': {
// Default value is 'Enabled'
'ModelCacheSetting': 'Disabled'
}
}
response = sagemaker_client.create_model(
ModelName = '',
ExecutionRoleArn = role,
Containers = [container]
)
```
1. Konfigurasikan titik akhir multi-model dengan instans yang didukung GPU untuk model. Sebaiknya konfigurasi titik akhir Anda dengan lebih dari satu instance untuk memungkinkan ketersediaan tinggi dan klik cache yang lebih tinggi.
```
response = sagemaker_client.create_endpoint_config(
EndpointConfigName = '',
ProductionVariants=[
{
'InstanceType': 'ml.g4dn.4xlarge',
'InitialInstanceCount': 2,
'InitialVariantWeight': 1,
'ModelName': '',
'VariantName': 'AllTraffic'
}
]
)
```
1. Buat titik akhir multi-model menggunakan parameter `EndpointName` dan`EndpointConfigName`.
```
response = sagemaker_client.create_endpoint(
EndpointName = '',
EndpointConfigName = '')
```
# Memanggil Titik Akhir Multi-Model
Untuk memanggil titik akhir multi-model, gunakan [https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker-runtime.html#SageMakerRuntime.Client.invoke_endpoint](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker-runtime.html#SageMakerRuntime.Client.invoke_endpoint)dari SageMaker AI Runtime sama seperti Anda akan memanggil titik akhir model tunggal, dengan satu perubahan. Lewati `TargetModel` parameter baru yang menentukan model mana di titik akhir yang akan ditargetkan. `InvokeEndpoint`Permintaan SageMaker AI Runtime mendukung `X-Amzn-SageMaker-Target-Model` sebagai header baru yang mengambil jalur relatif model yang ditentukan untuk pemanggilan. Sistem SageMaker AI membangun jalur absolut model dengan menggabungkan awalan yang disediakan sebagai bagian dari panggilan `CreateModel` API dengan jalur relatif model.
Prosedur berikut ini sama untuk titik akhir multi-model yang didukung CPU dan GPU.
------
#### [ AWS SDK for Python (Boto 3) ]
Contoh permintaan prediksi berikut menggunakan [AWS SDK untuk Python (Boto 3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker-runtime.html) di notebook contoh.
```
response = runtime_sagemaker_client.invoke_endpoint(
EndpointName = "",
ContentType = "text/csv",
TargetModel = ".tar.gz",
Body = body)
```
------
#### [ AWS CLI ]
Contoh berikut menunjukkan cara membuat permintaan CSV dengan dua baris menggunakan AWS Command Line Interface (AWS CLI):
```
aws sagemaker-runtime invoke-endpoint \
--endpoint-name "" \
--body "1.0,2.0,5.0"$'\n'"2.0,3.0,4.0" \
--content-type "text/csv" \
--target-model ".tar.gz"
output_file.txt
```
Informasi `output_file.txt` dengan tentang permintaan inferensi Anda dibuat jika inferensi berhasil. Untuk contoh selengkapnya tentang cara membuat prediksi dengan AWS CLI, lihat [Membuat prediksi dengan dokumentasi AWS CLI SDK](https://sagemaker.readthedocs.io/en/stable/frameworks/tensorflow/deploying_tensorflow_serving.html#making-predictions-with-the-aws-cli) SageMaker Python.
------
Titik akhir multi-model secara dinamis memuat model target sesuai kebutuhan. Anda dapat mengamati ini saat menjalankan [MME Sample Notebook](https://sagemaker-examples.readthedocs.io/en/latest/advanced_functionality/multi_model_xgboost_home_value/xgboost_multi_model_endpoint_home_value.html) saat iterasi melalui pemanggilan acak terhadap beberapa model target yang dihosting di belakang satu titik akhir. Permintaan pertama terhadap model tertentu membutuhkan waktu lebih lama karena model harus diunduh dari Amazon Simple Storage Service (Amazon S3) dan dimuat ke dalam memori. Ini disebut *awal yang dingin*, dan diharapkan pada titik akhir multi-model untuk mengoptimalkan kinerja harga yang lebih baik bagi pelanggan. Panggilan berikutnya selesai lebih cepat karena tidak ada overhead tambahan setelah model dimuat.
**catatan**
Untuk instance yang didukung GPU, kode respons HTTP dengan 507 dari wadah GPU menunjukkan kurangnya memori atau sumber daya lainnya. Hal ini menyebabkan model yang tidak terpakai diturunkan dari wadah untuk memuat model yang lebih sering digunakan.
## Coba lagi Permintaan pada Kesalahan ModelNotReadyException
Pertama kali Anda memanggil `invoke_endpoint` model, model diunduh dari Amazon Simple Storage Service dan dimuat ke dalam wadah inferensi. Ini membuat panggilan pertama membutuhkan waktu lebih lama untuk kembali. Panggilan selanjutnya ke model yang sama selesai lebih cepat, karena model sudah dimuat.
SageMaker AI mengembalikan respons untuk panggilan `invoke_endpoint` dalam waktu 60 detik. Beberapa model terlalu besar untuk diunduh dalam waktu 60 detik. Jika model tidak selesai memuat sebelum batas waktu 60 detik, permintaan untuk `invoke_endpoint` kembali dengan kode kesalahan`ModelNotReadyException`, dan model terus mengunduh dan memuat ke dalam wadah inferensi hingga 360 detik. Jika Anda mendapatkan kode `ModelNotReadyException` kesalahan untuk `invoke_endpoint` permintaan, coba lagi permintaan tersebut. Secara default, AWS SDKs untuk Python (Boto 3) (menggunakan [mode coba lagi Legacy) dan permintaan coba lagi](https://boto3.amazonaws.com/v1/documentation/api/latest/guide/retries.html#legacy-retry-mode) Java yang menghasilkan kesalahan. `invoke_endpoint` `ModelNotReadyException` Anda dapat mengonfigurasi strategi coba lagi untuk terus mencoba ulang permintaan hingga 360 detik. Jika Anda mengharapkan model Anda membutuhkan waktu lebih dari 60 detik untuk mengunduh dan memuat ke dalam wadah, atur batas waktu soket SDK menjadi 70 detik. Untuk informasi selengkapnya tentang mengonfigurasi strategi coba lagi AWS SDK untuk Python (Boto3), lihat [Mengonfigurasi](https://boto3.amazonaws.com/v1/documentation/api/latest/guide/retries.html#configuring-a-retry-mode) mode coba lagi. Kode berikut menunjukkan contoh yang mengonfigurasi strategi coba lagi untuk mencoba lagi panggilan hingga `invoke_endpoint` 180 detik.
```
import boto3
from botocore.config import Config
# This example retry strategy sets the retry attempts to 2.
# With this setting, the request can attempt to download and/or load the model
# for upto 180 seconds: 1 orginal request (60 seconds) + 2 retries (120 seconds)
config = Config(
read_timeout=70,
retries={
'max_attempts': 2 # This value can be adjusted to 5 to go up to the 360s max timeout
}
)
runtime_sagemaker_client = boto3.client('sagemaker-runtime', config=config)
```
# Tambah atau Hapus Model
Anda dapat menerapkan model tambahan ke titik akhir multi-model dan segera memanggilnya melalui titik akhir tersebut. Saat menambahkan model baru, Anda tidak perlu memperbarui atau menurunkan titik akhir, sehingga Anda menghindari biaya pembuatan dan menjalankan titik akhir terpisah untuk setiap model baru. Proses untuk menambahkan dan menghapus model sama untuk CPU dan titik akhir multi-model yang didukung GPU.
SageMaker AI membongkar model yang tidak digunakan dari wadah saat instance mencapai kapasitas memori dan lebih banyak model perlu diunduh ke dalam wadah. SageMaker AI juga menghapus artefak model yang tidak digunakan dari volume penyimpanan instans ketika volume mencapai kapasitas dan model baru perlu diunduh. Pemanggilan pertama ke model yang baru ditambahkan membutuhkan waktu lebih lama karena titik akhir membutuhkan waktu untuk mengunduh model dari S3 ke memori container saat menghosting titik akhir
Dengan titik akhir yang sudah berjalan, salin satu set artefak model baru ke lokasi Amazon S3 di sana Anda menyimpan model Anda.
```
# Add an AdditionalModel to the endpoint and exercise it
aws s3 cp AdditionalModel.tar.gz s3://amzn-s3-demo-bucket/path/to/artifacts/
```
**penting**
Untuk memperbarui model, lanjutkan seperti yang Anda lakukan saat menambahkan model baru. Gunakan nama baru dan unik. Jangan menimpa artefak model di Amazon S3 karena versi lama model mungkin masih dimuat dalam wadah atau pada volume penyimpanan instance di titik akhir. Pemanggilan ke model baru kemudian dapat memanggil versi lama model.
Aplikasi klien dapat meminta prediksi dari model target tambahan segera setelah disimpan di S3.
```
response = runtime_sagemaker_client.invoke_endpoint(
EndpointName='',
ContentType='text/csv',
TargetModel='AdditionalModel.tar.gz',
Body=body)
```
Untuk menghapus model dari titik akhir multi-model, berhenti memanggil model dari klien dan menghapusnya dari lokasi S3 tempat artefak model disimpan.
# Bangun Container Anda Sendiri untuk Titik SageMaker Akhir Multi-Model AI
Lihat bagian berikut untuk membawa wadah dan dependensi Anda sendiri ke titik akhir multi-model.
**Topics**
+ [Bawa dependensi Anda sendiri untuk titik akhir multi-model pada instance yang didukung CPU](#build-multi-model-container-cpu)
+ [Bawa dependensi Anda sendiri untuk titik akhir multi-model pada instans yang didukung GPU](#build-multi-model-container-gpu)
+ [Gunakan SageMaker Toolkit Inferensi AI](#multi-model-inference-toolkit)
+ [Kontrak Kontainer Kustom untuk Titik Akhir Multi-Model](mms-container-apis.md)
## Bawa dependensi Anda sendiri untuk titik akhir multi-model pada instance yang didukung CPU
Jika tidak ada gambar kontainer yang dibuat sebelumnya yang memenuhi kebutuhan Anda, Anda dapat membuat wadah Anda sendiri untuk digunakan dengan titik akhir multi-model yang didukung CPU.
Gambar Custom Amazon Elastic Container Registry (Amazon ECR) yang digunakan di SageMaker Amazon AI diharapkan mematuhi kontrak dasar yang dijelaskan [Kode Inferensi Kustom dengan Layanan Hosting](your-algorithms-inference-code.md) dalam yang mengatur SageMaker bagaimana AI berinteraksi dengan wadah Docker yang menjalankan kode inferensi Anda sendiri. Agar wadah dapat memuat dan melayani beberapa model secara bersamaan, ada tambahan APIs dan perilaku yang harus diikuti. Kontrak tambahan ini mencakup model baru APIs untuk memuat, mencantumkan, mendapatkan, dan membongkar, dan API yang berbeda untuk memanggil model. Ada juga perilaku berbeda untuk skenario kesalahan yang APIs perlu dipatuhi. Untuk menunjukkan bahwa kontainer memenuhi persyaratan tambahan, Anda dapat menambahkan perintah berikut ke file Docker Anda:
```
LABEL com.amazonaws.sagemaker.capabilities.multi-models=true
```
SageMaker AI juga menyuntikkan variabel lingkungan ke dalam wadah
```
SAGEMAKER_MULTI_MODEL=true
```
Jika Anda membuat titik akhir multi-model untuk pipline inferensi serial, file Docker Anda harus memiliki label yang diperlukan untuk pipeline inferensi multi-model dan serial. Untuk informasi selengkapnya tentang jalur informasi serial, lihat[Jalankan Prediksi Real-time dengan Pipeline Inferensi](inference-pipeline-real-time.md).
Untuk membantu Anda menerapkan persyaratan ini untuk wadah kustom, tersedia dua pustaka:
+ [Multi Model Server](https://github.com/awslabs/multi-model-server) adalah kerangka kerja open source untuk melayani model pembelajaran mesin yang dapat diinstal dalam wadah untuk menyediakan ujung depan yang memenuhi persyaratan untuk wadah endpoint multi-model baru. APIs Ini menyediakan ujung depan HTTP dan kemampuan manajemen model yang diperlukan oleh titik akhir multi-model untuk meng-host beberapa model dalam satu wadah, memuat model ke dalam dan membongkar model keluar dari wadah secara dinamis, dan melakukan inferensi pada model dimuat yang ditentukan. Ini juga menyediakan backend pluggable yang mendukung handler backend kustom pluggable di mana Anda dapat mengimplementasikan algoritme Anda sendiri.
+ [SageMaker AI Inference Toolkit](https://github.com/aws/sagemaker-inference-toolkit) adalah perpustakaan yang mem-bootstrap Multi Model Server dengan konfigurasi dan pengaturan yang membuatnya kompatibel dengan SageMaker titik akhir multi-model AI. Ini juga memungkinkan Anda untuk mengubah parameter kinerja penting, seperti jumlah pekerja per model, tergantung pada kebutuhan skenario Anda.
## Bawa dependensi Anda sendiri untuk titik akhir multi-model pada instans yang didukung GPU
Kemampuan bring your own container (BYOC) pada titik akhir multi-model dengan instans yang didukung GPU saat ini tidak didukung oleh pustaka Multi Model Server dan AI Inference Toolkit. SageMaker
[Untuk membuat titik akhir multi-model dengan instans yang didukung GPU, Anda dapat menggunakan NVIDIA Triton [Inference Server yang didukung SageMaker AI. dengan NVIDIA Triton Inference Containers](https://docs.aws.amazon.com/sagemaker/latest/dg/triton.html).](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#nvidia-triton-inference-containers-sm-support-only) Untuk membawa dependensi Anda sendiri, Anda dapat membangun wadah Anda sendiri dengan [NVIDIA Triton Inference Server](https://docs.aws.amazon.com/sagemaker/latest/dg/triton.html) yang didukung SageMaker AI sebagai gambar dasar ke file Docker Anda:
```
FROM 301217895009.dkr.ecr.us-west-2.amazonaws.com/sagemaker-tritonserver:22.07-py3
```
**penting**
Container dengan Triton Inference Server adalah satu-satunya kontainer yang didukung yang dapat Anda gunakan untuk titik akhir multi-model yang didukung GPU.
## Gunakan SageMaker Toolkit Inferensi AI
**catatan**
SageMaker AI Inference Toolkit hanya didukung untuk titik akhir multi-model yang didukung CPU. SageMaker AI Inference Toolkit saat ini tidak didukung untuk titik akhir multi-model yang didukung GPU.
Kontainer pra-bangun yang mendukung titik akhir multi-model tercantum dalam. [Algoritma, kerangka kerja, dan instance yang didukung untuk titik akhir multi-model](multi-model-support.md) Jika Anda ingin menggunakan kerangka kerja atau algoritme lain, Anda perlu membangun wadah. Cara termudah untuk melakukannya adalah dengan menggunakan [SageMaker AI Inference Toolkit](https://github.com/aws/sagemaker-inference-toolkit) untuk memperluas wadah pra-bangun yang ada. Toolkit inferensi SageMaker AI adalah implementasi untuk server multi-model (MMS) yang menciptakan titik akhir yang dapat digunakan di AI. SageMaker Untuk contoh notebook yang menunjukkan cara menyiapkan dan menerapkan container khusus yang mendukung titik akhir multi-model di SageMaker AI, lihat Notebook Sampel BYOC [Multi-Model Endpoint](https://github.com/awslabs/amazon-sagemaker-examples/tree/master/advanced_functionality/multi_model_bring_your_own).
**catatan**
Toolkit inferensi SageMaker AI hanya mendukung penangan model Python. Jika Anda ingin mengimplementasikan handler Anda dalam bahasa lain, Anda harus membangun container Anda sendiri yang mengimplementasikan endpoint multi-model tambahan. APIs Untuk informasi, lihat [Kontrak Kontainer Kustom untuk Titik Akhir Multi-Model](mms-container-apis.md).
**Untuk memperluas wadah dengan menggunakan toolkit inferensi SageMaker AI**
1. Buat handler model. MMS mengharapkan handler model, yang merupakan file Python yang mengimplementasikan fungsi untuk pra-proses, mendapatkan predisi dari model, dan memproses output dalam handler model. Untuk contoh handler model, lihat [model\$1handler.py](https://github.com/awslabs/amazon-sagemaker-examples/blob/master/advanced_functionality/multi_model_bring_your_own/container/model_handler.py) dari notebook contoh.
1. Impor toolkit inferensi dan gunakan `model_server.start_model_server` fungsinya untuk memulai MMS. Contoh berikut adalah dari `dockerd-entrypoint.py` file dari notebook sampel. Perhatikan bahwa panggilan untuk `model_server.start_model_server` melewati handler model yang dijelaskan pada langkah sebelumnya:
```
import subprocess
import sys
import shlex
import os
from retrying import retry
from subprocess import CalledProcessError
from sagemaker_inference import model_server
def _retry_if_error(exception):
return isinstance(exception, CalledProcessError or OSError)
@retry(stop_max_delay=1000 * 50,
retry_on_exception=_retry_if_error)
def _start_mms():
# by default the number of workers per model is 1, but we can configure it through the
# environment variable below if desired.
# os.environ['SAGEMAKER_MODEL_SERVER_WORKERS'] = '2'
model_server.start_model_server(handler_service='/home/model-server/model_handler.py:handle')
def main():
if sys.argv[1] == 'serve':
_start_mms()
else:
subprocess.check_call(shlex.split(' '.join(sys.argv[1:])))
# prevent docker exit
subprocess.call(['tail', '-f', '/dev/null'])
main()
```
1. Dalam Anda`Dockerfile`, salin handler model dari langkah pertama dan tentukan file Python dari langkah sebelumnya sebagai titik masuk dalam file Anda. `Dockerfile` Baris berikut berasal dari [Dockerfile](https://github.com/awslabs/amazon-sagemaker-examples/blob/master/advanced_functionality/multi_model_bring_your_own/container/Dockerfile) yang digunakan dalam contoh notebook:
```
# Copy the default custom service file to handle incoming data and inference requests
COPY model_handler.py /home/model-server/model_handler.py
# Define an entrypoint script for the docker image
ENTRYPOINT ["python", "/usr/local/bin/dockerd-entrypoint.py"]
```
1. Bangun dan daftarkan wadah Anda. Skrip shell berikut dari notebook contoh membangun wadah dan mengunggahnya ke repositori Amazon Elastic Container Registry di akun Anda: AWS
```
%%sh
# The name of our algorithm
algorithm_name=demo-sagemaker-multimodel
cd container
account=$(aws sts get-caller-identity --query Account --output text)
# Get the region defined in the current configuration (default to us-west-2 if none defined)
region=$(aws configure get region)
region=${region:-us-west-2}
fullname="${account}.dkr.ecr.${region}.amazonaws.com/${algorithm_name}:latest"
# If the repository doesn't exist in ECR, create it.
aws ecr describe-repositories --repository-names "${algorithm_name}" > /dev/null 2>&1
if [ $? -ne 0 ]
then
aws ecr create-repository --repository-name "${algorithm_name}" > /dev/null
fi
# Get the login command from ECR and execute it directly
$(aws ecr get-login --region ${region} --no-include-email)
# Build the docker image locally with the image name and then push it to ECR
# with the full name.
docker build -q -t ${algorithm_name} .
docker tag ${algorithm_name} ${fullname}
docker push ${fullname}
```
Anda sekarang dapat menggunakan wadah ini untuk menerapkan titik akhir multi-model di AI. SageMaker
**Topics**
+ [Bawa dependensi Anda sendiri untuk titik akhir multi-model pada instance yang didukung CPU](#build-multi-model-container-cpu)
+ [Bawa dependensi Anda sendiri untuk titik akhir multi-model pada instans yang didukung GPU](#build-multi-model-container-gpu)
+ [Gunakan SageMaker Toolkit Inferensi AI](#multi-model-inference-toolkit)
+ [Kontrak Kontainer Kustom untuk Titik Akhir Multi-Model](mms-container-apis.md)
# Kontrak Kontainer Kustom untuk Titik Akhir Multi-Model
Untuk menangani beberapa model, container Anda harus mendukung satu set APIs yang memungkinkan Amazon SageMaker AI berkomunikasi dengan container untuk memuat, mencantumkan, mendapatkan, dan membongkar model sesuai kebutuhan. `model_name`Ini digunakan dalam set baru APIs sebagai parameter input kunci. Kontainer pelanggan diharapkan untuk melacak model yang dimuat menggunakan `model_name` sebagai kunci pemetaan. Juga, `model_name` ini adalah pengidentifikasi buram dan belum tentu nilai `TargetModel` parameter yang diteruskan ke API. `InvokeEndpoint` `TargetModel`Nilai asli dalam `InvokeEndpoint` permintaan diteruskan ke container di APIs as a `X-Amzn-SageMaker-Target-Model` header yang dapat digunakan untuk tujuan logging.
**catatan**
Titik akhir multi-model untuk instans yang didukung GPU saat ini hanya didukung dengan wadah Server Inferensi [NVIDIA Triton SageMaker ](https://docs.aws.amazon.com/sagemaker/latest/dg/triton.html) AI. Wadah ini sudah mengimplementasikan kontrak yang didefinisikan di bawah ini. Pelanggan dapat langsung menggunakan wadah ini dengan titik akhir GPU multi-model mereka, tanpa pekerjaan tambahan apa pun.
Anda dapat mengonfigurasi hal berikut APIs pada kontainer Anda untuk titik akhir multi-model yang didukung CPU.
**Topics**
+ [Muat Model API](#multi-model-api-load-model)
+ [Daftar Model API](#multi-model-api-list-model)
+ [Dapatkan Model API](#multi-model-api-get-model)
+ [Bongkar Model API](#multi-model-api-unload-model)
+ [Memanggil Model API](#multi-model-api-invoke-model)
## Muat Model API
Menginstruksikan wadah untuk memuat model tertentu yang ada di `url` bidang tubuh ke dalam memori wadah pelanggan dan untuk melacaknya dengan yang ditugaskan`model_name`. Setelah model dimuat, wadah harus siap untuk melayani permintaan inferensi menggunakan ini`model_name`.
```
POST /models HTTP/1.1
Content-Type: application/json
Accept: application/json
{
"model_name" : "{model_name}",
"url" : "/opt/ml/models/{model_name}/model",
}
```
**catatan**
Jika `model_name` sudah dimuat, API ini harus mengembalikan 409. Setiap kali model tidak dapat dimuat karena kurangnya memori atau sumber daya lain, API ini harus mengembalikan kode status HTTP 507 ke SageMaker AI, yang kemudian memulai pembongkaran model yang tidak digunakan untuk mengklaim kembali.
## Daftar Model API
Mengembalikan daftar model dimuat ke dalam memori wadah pelanggan.
```
GET /models HTTP/1.1
Accept: application/json
Response =
{
"models": [
{
"modelName" : "{model_name}",
"modelUrl" : "/opt/ml/models/{model_name}/model",
},
{
"modelName" : "{model_name}",
"modelUrl" : "/opt/ml/models/{model_name}/model",
},
....
]
}
```
API ini juga mendukung pagination.
```
GET /models HTTP/1.1
Accept: application/json
Response =
{
"models": [
{
"modelName" : "{model_name}",
"modelUrl" : "/opt/ml/models/{model_name}/model",
},
{
"modelName" : "{model_name}",
"modelUrl" : "/opt/ml/models/{model_name}/model",
},
....
]
}
```
SageMaker AI awalnya dapat memanggil List Models API tanpa memberikan nilai untuk`next_page_token`. Jika `nextPageToken` bidang dikembalikan sebagai bagian dari respons, itu akan diberikan sebagai nilai untuk `next_page_token` dalam panggilan Model Daftar berikutnya. Jika a `nextPageToken` tidak dikembalikan, itu berarti tidak ada lagi model untuk dikembalikan.
## Dapatkan Model API
Ini adalah API baca sederhana pada `model_name` entitas.
```
GET /models/{model_name} HTTP/1.1
Accept: application/json
{
"modelName" : "{model_name}",
"modelUrl" : "/opt/ml/models/{model_name}/model",
}
```
**catatan**
Jika `model_name` tidak dimuat, API ini harus mengembalikan 404.
## Bongkar Model API
Menginstruksikan platform SageMaker AI untuk menginstruksikan wadah pelanggan untuk membongkar model dari memori. Ini memulai penggusuran model kandidat sebagaimana ditentukan oleh platform saat memulai proses pemuatan model baru. Sumber daya yang disediakan `model_name` harus direklamasi oleh container saat API ini mengembalikan respons.
```
DELETE /models/{model_name}
```
**catatan**
Jika `model_name` tidak dimuat, API ini harus mengembalikan 404.
## Memanggil Model API
Membuat permintaan prediksi dari yang `model_name` disediakan tertentu. `InvokeEndpoint`Permintaan SageMaker AI Runtime mendukung `X-Amzn-SageMaker-Target-Model` sebagai header baru yang mengambil jalur relatif model yang ditentukan untuk pemanggilan. Sistem SageMaker AI membangun jalur absolut model dengan menggabungkan awalan yang disediakan sebagai bagian dari panggilan `CreateModel` API dengan jalur relatif model.
```
POST /models/{model_name}/invoke HTTP/1.1
Content-Type: ContentType
Accept: Accept
X-Amzn-SageMaker-Custom-Attributes: CustomAttributes
X-Amzn-SageMaker-Target-Model: [relativePath]/{artifactName}.tar.gz
```
**catatan**
Jika `model_name` tidak dimuat, API ini harus mengembalikan 404.
Selain itu, pada instance GPU, jika `InvokeEndpoint` gagal karena kurangnya memori atau sumber daya lainnya, API ini harus mengembalikan kode status HTTP 507 ke SageMaker AI, yang kemudian memulai pembongkaran model yang tidak digunakan untuk mengklaim kembali.
# Keamanan Titik Akhir Multi-Model
Model dan data dalam titik akhir multi-model ditempatkan bersama pada volume penyimpanan instance dan dalam memori kontainer. Semua instance untuk titik akhir Amazon SageMaker AI berjalan pada satu wadah penyewa yang Anda miliki. Hanya model Anda yang dapat berjalan di titik akhir multi-model Anda. Anda bertanggung jawab untuk mengelola pemetaan permintaan ke model dan menyediakan akses bagi pengguna ke model target yang benar. SageMaker AI menggunakan [peran IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles.html) untuk memberikan kebijakan berbasis identitas IAM yang Anda gunakan untuk menentukan tindakan dan sumber daya yang diizinkan atau ditolak serta kondisi di mana tindakan diizinkan atau ditolak.
Secara default, prinsipal IAM dengan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_InvokeEndpoint.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_InvokeEndpoint.html)izin pada titik akhir multi-model dapat memanggil model apa pun di alamat awalan S3 yang ditentukan dalam [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)operasi, asalkan Peran Eksekusi IAM yang ditentukan dalam operasi memiliki izin untuk mengunduh model. Jika Anda perlu membatasi [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_InvokeEndpoint.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_InvokeEndpoint.html)akses ke serangkaian model terbatas di S3, Anda dapat melakukan salah satu hal berikut:
+ Batasi `InvokeEndpont` panggilan ke model tertentu yang dihosting di titik akhir dengan menggunakan kunci kondisi `sagemaker:TargetModel` IAM. Misalnya, kebijakan berikut hanya mengizinkan `InvokeEndpont` permintaan jika nilai `TargetModel` bidang cocok dengan salah satu ekspresi reguler yang ditentukan:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Action": [
"sagemaker:InvokeEndpoint"
],
"Effect": "Allow",
"Resource":
"arn:aws:sagemaker:us-east-1:111122223333:endpoint/endpoint_name",
"Condition": {
"StringLike": {
"sagemaker:TargetModel": ["company_a/*", "common/*"]
}
}
}
]
}
```
------
Untuk informasi tentang kunci kondisi SageMaker AI, lihat [Kunci Kondisi untuk Amazon SageMaker AI](https://docs.aws.amazon.com/IAM/latest/UserGuide/list_amazonsagemaker.html#amazonsagemaker-policy-keys) di *Panduan AWS Identity and Access Management Pengguna*.
+ Buat titik akhir multi-model dengan awalan S3 yang lebih ketat.
Untuk informasi selengkapnya tentang cara SageMaker AI menggunakan peran untuk mengelola akses ke titik akhir dan melakukan operasi atas nama Anda, lihat[Cara menggunakan peran eksekusi SageMaker AI](sagemaker-roles.md). Pelanggan Anda mungkin juga memiliki persyaratan isolasi data tertentu yang ditentukan oleh persyaratan kepatuhan mereka sendiri yang dapat dipenuhi menggunakan identitas IAM.
# CloudWatch Metrik untuk Penerapan Titik Akhir Multi-Model
Amazon SageMaker AI menyediakan metrik untuk titik akhir sehingga Anda dapat memantau tingkat hit cache, jumlah model yang dimuat, dan waktu tunggu model untuk memuat, mengunduh, dan mengunggah pada titik akhir multi-model. Beberapa metrik berbeda untuk titik akhir multi-model yang didukung CPU dan GPU, jadi bagian berikut menjelaskan CloudWatch metrik Amazon yang dapat Anda gunakan untuk setiap jenis titik akhir multi-model.
Untuk informasi selengkapnya tentang metrik, lihat Metrik **Pemuatan Model Titik Akhir Multi-Model dan Metrik** Instance Model Titik **Akhir Multi-Model** di. [Metrik Amazon SageMaker AI di Amazon CloudWatch](monitoring-cloudwatch.md) Metrik per model tidak didukung.
## CloudWatch metrik untuk titik akhir multi-model yang didukung CPU
Anda dapat memantau metrik berikut pada titik akhir multi-model yang didukung CPU.
`AWS/SageMaker`Namespace menyertakan metrik pemuatan model berikut dari panggilan ke. [ InvokeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_InvokeEndpoint.html)
Metrik tersedia pada frekuensi 1 menit.
Untuk informasi tentang berapa lama CloudWatch metrik dipertahankan, lihat [GetMetricStatistics](https://docs.aws.amazon.com/AmazonCloudWatch/latest/APIReference/API_GetMetricStatistics.html)di Referensi *Amazon CloudWatch API*.
**Metrik Pemuatan Model Titik Akhir Multi-Model**
| Metrik | Deskripsi |
| --- | --- |
| ModelLoadingWaitTime | Interval waktu permintaan pemanggilan telah menunggu model target diunduh, atau dimuat, atau keduanya untuk melakukan inferensi. Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
| ModelUnloadingTime | Interval waktu yang diperlukan untuk membongkar model melalui panggilan `UnloadModel` API container. Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
| ModelDownloadingTime | Interval waktu yang dibutuhkan untuk mengunduh model dari Amazon Simple Storage Service (Amazon S3). Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
| ModelLoadingTime | Interval waktu yang diperlukan untuk memuat model melalui panggilan `LoadModel` API container. Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
| ModelCacheHit | Jumlah `InvokeEndpoint` permintaan yang dikirim ke titik akhir multi-model yang modelnya sudah dimuat. Statistik rata-rata menunjukkan rasio permintaan yang modelnya sudah dimuat. Satuan: Tidak ada Statistik yang valid: Rata-rata, Jumlah, Jumlah Sampel |
**Dimensi untuk Metrik Pemuatan Model Titik Akhir Multi-Model**
| Dimensi | Deskripsi |
| --- | --- |
| EndpointName, VariantName | Memfilter metrik pemanggilan titik akhir untuk titik akhir dan `ProductionVariant` varian yang ditentukan. |
`/aws/sagemaker/Endpoints`Ruang nama menyertakan metrik instance berikut dari panggilan ke. [ InvokeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_InvokeEndpoint.html)
Metrik tersedia pada frekuensi 1 menit.
Untuk informasi tentang berapa lama CloudWatch metrik dipertahankan, lihat [GetMetricStatistics](https://docs.aws.amazon.com/AmazonCloudWatch/latest/APIReference/API_GetMetricStatistics.html)di Referensi *Amazon CloudWatch API*.
**Metrik Instans Model Titik Akhir Multi-Model**
| Metrik | Deskripsi |
| --- | --- |
| LoadedModelCount | Jumlah model yang dimuat dalam wadah titik akhir multi-model. Metrik ini dipancarkan per instance. Statistik rata-rata dengan periode 1 menit memberi tahu Anda jumlah rata-rata model yang dimuat per instance. Statistik Jumlah memberi tahu Anda jumlah total model yang dimuat di semua instance di titik akhir. Model yang dilacak metrik ini belum tentu unik karena model mungkin dimuat dalam beberapa wadah di titik akhir. Satuan: Tidak ada Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
| CPUUtilization | Jumlah dari setiap pemanfaatan inti CPU individu. Pemanfaatan CPU dari setiap rentang inti adalah 0-100. Misalnya, jika ada empat CPUs, `CPUUtilization` kisarannya adalah 0% - 400%. Untuk varian endpoint, nilainya adalah jumlah dari pemanfaatan CPU dari wadah primer dan tambahan pada instance. Unit: Persen |
| MemoryUtilization | Persentase memori yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai ini adalah 0% - 100%. Untuk varian titik akhir, nilainya adalah jumlah dari pemanfaatan memori wadah primer dan tambahan pada instance. Unit: Persen |
| DiskUtilization | Persentase ruang disk yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai ini adalah 0% - 100%. Untuk varian endpoint, nilainya adalah jumlah dari pemanfaatan ruang disk dari wadah primer dan tambahan pada instance. Unit: Persen |
## CloudWatch metrik untuk penerapan titik akhir multi-model GPU
Anda dapat memantau metrik berikut pada titik akhir multi-model yang didukung GPU.
`AWS/SageMaker`Namespace menyertakan metrik pemuatan model berikut dari panggilan ke. [ InvokeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_InvokeEndpoint.html)
Metrik tersedia pada frekuensi 1 menit.
Untuk informasi tentang berapa lama CloudWatch metrik dipertahankan, lihat [GetMetricStatistics](https://docs.aws.amazon.com/AmazonCloudWatch/latest/APIReference/API_GetMetricStatistics.html)di Referensi *Amazon CloudWatch API*.
**Metrik Pemuatan Model Titik Akhir Multi-Model**
| Metrik | Deskripsi |
| --- | --- |
| ModelLoadingWaitTime | Interval waktu permintaan pemanggilan telah menunggu model target diunduh, atau dimuat, atau keduanya untuk melakukan inferensi. Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
| ModelUnloadingTime | Interval waktu yang diperlukan untuk membongkar model melalui panggilan `UnloadModel` API container. Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
| ModelDownloadingTime | Interval waktu yang dibutuhkan untuk mengunduh model dari Amazon Simple Storage Service (Amazon S3). Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
| ModelLoadingTime | Interval waktu yang diperlukan untuk memuat model melalui panggilan `LoadModel` API container. Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
| ModelCacheHit | Jumlah `InvokeEndpoint` permintaan yang dikirim ke titik akhir multi-model yang modelnya sudah dimuat. Statistik rata-rata menunjukkan rasio permintaan yang modelnya sudah dimuat. Satuan: Tidak ada Statistik yang valid: Rata-rata, Jumlah, Jumlah Sampel |
**Dimensi untuk Metrik Pemuatan Model Titik Akhir Multi-Model**
| Dimensi | Deskripsi |
| --- | --- |
| EndpointName, VariantName | Memfilter metrik pemanggilan titik akhir untuk titik akhir dan `ProductionVariant` varian yang ditentukan. |
`/aws/sagemaker/Endpoints`Ruang nama menyertakan metrik instance berikut dari panggilan ke. [ InvokeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_InvokeEndpoint.html)
Metrik tersedia pada frekuensi 1 menit.
Untuk informasi tentang berapa lama CloudWatch metrik dipertahankan, lihat [GetMetricStatistics](https://docs.aws.amazon.com/AmazonCloudWatch/latest/APIReference/API_GetMetricStatistics.html)di Referensi *Amazon CloudWatch API*.
**Metrik Instans Model Titik Akhir Multi-Model**
| Metrik | Deskripsi |
| --- | --- |
| LoadedModelCount | Jumlah model yang dimuat dalam wadah titik akhir multi-model. Metrik ini dipancarkan per instance. Statistik rata-rata dengan periode 1 menit memberi tahu Anda jumlah rata-rata model yang dimuat per instance. Statistik Jumlah memberi tahu Anda jumlah total model yang dimuat di semua instance di titik akhir. Model yang dilacak metrik ini belum tentu unik karena model mungkin dimuat dalam beberapa wadah di titik akhir. Satuan: Tidak ada Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
| CPUUtilization | Jumlah dari setiap pemanfaatan inti CPU individu. Pemanfaatan CPU dari setiap rentang inti adalah 0-100. Misalnya, jika ada empat CPUs, `CPUUtilization` kisarannya adalah 0% - 400%. Untuk varian endpoint, nilainya adalah jumlah dari pemanfaatan CPU dari wadah primer dan tambahan pada instance. Unit: Persen |
| MemoryUtilization | Persentase memori yang digunakan oleh kontainer pada sebuah instance. Rentang nilai ini adalah 0% ‐ 100%. Untuk varian titik akhir, nilainya adalah jumlah dari pemanfaatan memori wadah primer dan tambahan pada instance. Unit: Persen |
| GPUUtilization | Persentase unit GPU yang digunakan oleh kontainer pada sebuah instance. Nilai dapat berkisar antara rentang adalah 0-100 dan dikalikan dengan jumlah. GPUs Misalnya, jika ada empat GPUs, `GPUUtilization` kisarannya adalah 0% - 400%. Untuk varian endpoint, nilainya adalah jumlah dari pemanfaatan GPU dari wadah primer dan tambahan pada instance. Unit: Persen |
| GPUMemoryUtilization | Persentase memori GPU yang digunakan oleh kontainer pada sebuah instance. Rentang nilai adalah 0-100 dan dikalikan dengan jumlah. GPUs Misalnya, jika ada empat GPUs, `GPUMemoryUtilization` kisarannya adalah 0% ‐ 400%. Untuk varian titik akhir, nilainya adalah jumlah dari pemanfaatan memori GPU dari wadah primer dan tambahan pada instance. Unit: Persen |
| DiskUtilization | Persentase ruang disk yang digunakan oleh kontainer pada sebuah instance. Kisaran nilai ini adalah 0% - 100%. Untuk varian endpoint, nilainya adalah jumlah dari pemanfaatan ruang disk dari wadah primer dan tambahan pada instance. Unit: Persen |
# Setel SageMaker perilaku caching model titik akhir multi-model AI
Secara default, multi-model endpoint cache sering menggunakan model dalam memori (CPU atau GPU, tergantung pada apakah Anda memiliki instance yang didukung CPU atau GPU) dan pada disk untuk memberikan inferensi latensi rendah. Model cache dibongkar and/or dihapus dari disk hanya ketika wadah kehabisan memori atau ruang disk untuk mengakomodasi model yang baru ditargetkan.
[Anda dapat mengubah perilaku caching dari titik akhir multi-model dan secara eksplisit mengaktifkan atau menonaktifkan caching model dengan menyetel parameter saat Anda memanggil create\$1model. `ModelCacheSetting`](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_model)
Kami merekomendasikan pengaturan nilai `ModelCacheSetting` parameter `Disabled` untuk kasus penggunaan yang tidak mendapat manfaat dari caching model. Misalnya, ketika sejumlah besar model perlu dilayani dari titik akhir tetapi setiap model dipanggil hanya sekali (atau sangat jarang). Untuk kasus penggunaan seperti itu, mengatur nilai `ModelCacheSetting` parameter untuk `Disabled` memungkinkan transaksi per detik (TPS) yang lebih tinggi untuk `invoke_endpoint` permintaan dibandingkan dengan mode caching default. TPS yang lebih tinggi dalam kasus penggunaan ini karena SageMaker AI melakukan hal berikut setelah `invoke_endpoint` permintaan:
+ Secara asinkron menurunkan model dari memori dan menghapusnya dari disk segera setelah dipanggil.
+ Memberikan konkurensi yang lebih tinggi untuk mengunduh dan memuat model dalam wadah inferensi. Untuk titik akhir yang didukung CPU dan GPU, konkurensi adalah faktor dari jumlah v CPUs dari instance container.
Untuk panduan tentang memilih jenis instans SageMaker AI ML untuk titik akhir multi-model, lihat. [Rekomendasi instans untuk penerapan titik akhir multi-model](multi-model-endpoint-instance.md)
# Menetapkan Kebijakan Auto Scaling untuk Penerapan Titik Akhir Multi-Model
SageMaker Titik akhir multi-model AI sepenuhnya mendukung penskalaan otomatis, yang mengelola replika model untuk memastikan skala model berdasarkan pola lalu lintas. Sebaiknya Anda mengonfigurasi titik akhir multi-model dan ukuran instans berdasarkan [Rekomendasi instans untuk penerapan titik akhir multi-model](multi-model-endpoint-instance.md) dan juga menyiapkan penskalaan otomatis berbasis instans untuk titik akhir Anda. Tingkat pemanggilan yang digunakan untuk memicu peristiwa skala otomatis didasarkan pada kumpulan prediksi agregat di seluruh set lengkap model yang dilayani oleh titik akhir. Untuk detail tambahan tentang menyiapkan penskalaan otomatis titik akhir, lihat Menskalakan Model [ SageMaker AI Amazon Secara Otomatis](https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling.html).
Anda dapat menyiapkan kebijakan penskalaan otomatis dengan metrik yang telah ditentukan dan kustom pada titik akhir multi-model yang didukung CPU dan GPU.
**catatan**
SageMaker Metrik titik akhir multi-model AI tersedia dengan perincian satu menit.
## Menentukan kebijakan penskalaan
Untuk menentukan metrik dan nilai target untuk kebijakan penskalaan, Anda dapat mengonfigurasi kebijakan penskalaan pelacakan target. Anda dapat menggunakan metrik yang telah ditentukan sebelumnya atau metrik khusus.
Konfigurasi kebijakan penskalaan diwakili oleh blok JSON. Anda menyimpan konfigurasi kebijakan penskalaan Anda sebagai blok JSON dalam file teks. Anda menggunakan file teks tersebut saat menjalankan AWS CLI atau Application Auto Scaling API. Untuk informasi selengkapnya tentang sintaksis konfigurasi kebijakan, lihat `[TargetTrackingScalingPolicyConfiguration](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_TargetTrackingScalingPolicyConfiguration.html)` dalam *Referensi API Application Auto Scaling*.
Opsi berikut tersedia untuk menetapkan konfigurasi kebijakan penskalaan pelacakan target.
### Gunakan metrik yang telah ditentukan
Untuk menentukan kebijakan penskalaan pelacakan target untuk varian dengan cepat, gunakan metrik yang telah ditentukan sebelumnya. `SageMakerVariantInvocationsPerInstance` `SageMakerVariantInvocationsPerInstance`adalah jumlah rata-rata kali per menit bahwa setiap instance untuk varian dipanggil. Kami sangat menyarankan menggunakan metrik ini.
Untuk menggunakan metrik yang telah ditentukan dalam kebijakan penskalaan, buat konfigurasi pelacakan target untuk kebijakan Anda. Dalam konfigurasi pelacakan target, sertakan `PredefinedMetricSpecification` untuk metrik yang telah ditentukan dan a `TargetValue` untuk nilai target metrik tersebut.
Contoh berikut adalah konfigurasi kebijakan tipikal untuk penskalaan pelacakan target untuk varian. Dalam konfigurasi ini, kami menggunakan metrik yang `SageMakerVariantInvocationsPerInstance` telah ditentukan untuk menyesuaikan jumlah instance varian sehingga setiap instance memiliki `InvocationsPerInstance` metrik. `70`
```
{"TargetValue": 70.0,
"PredefinedMetricSpecification":
{
"PredefinedMetricType": "InvocationsPerInstance"
}
}
```
**catatan**
Kami menyarankan Anda menggunakan `InvocationsPerInstance` saat menggunakan titik akhir multi-model. Metrik ini tergantung pada persyaratan latensi aplikasi Anda. `TargetValue` Kami juga menyarankan Anda memuat pengujian titik akhir untuk menyiapkan nilai parameter penskalaan yang sesuai. Untuk mempelajari lebih lanjut tentang pengujian beban dan menyiapkan penskalaan otomatis untuk titik akhir Anda, lihat blog [Mengonfigurasi titik akhir inferensi penskalaan](https://aws.amazon.com/blogs/machine-learning/configuring-autoscaling-inference-endpoints-in-amazon-sagemaker/) otomatis di Amazon AI. SageMaker
### Gunakan metrik khusus
Jika Anda perlu menentukan kebijakan penskalaan pelacakan target yang memenuhi persyaratan kustom Anda, tentukan metrik kustom. Anda dapat menentukan metrik kustom berdasarkan metrik varian produksi apa pun yang berubah sebanding dengan penskalaan.
Tidak semua metrik SageMaker AI berfungsi untuk pelacakan target. Metrik harus merupakan metrik pemanfaatan yang valid, dan harus menggambarkan seberapa sibuk sebuah instance. Nilai metrik harus meningkat atau menurun dalam proporsi terbalik dengan jumlah contoh varian. Artinya, nilai metrik harus berkurang ketika jumlah instance meningkat.
**penting**
Sebelum menerapkan penskalaan otomatis dalam produksi, Anda harus menguji penskalaan otomatis dengan metrik khusus Anda.
#### Contoh metrik kustom untuk titik akhir multi-model yang didukung CPU
Contoh berikut adalah konfigurasi pelacakan target untuk kebijakan penskalaan. Dalam konfigurasi ini, untuk model bernama`my-model`, metrik kustom `CPUUtilization` menyesuaikan jumlah instance pada titik akhir berdasarkan pemanfaatan CPU rata-rata 50% di semua instance.
```
{"TargetValue": 50,
"CustomizedMetricSpecification":
{"MetricName": "CPUUtilization",
"Namespace": "/aws/sagemaker/Endpoints",
"Dimensions": [
{"Name": "EndpointName", "Value": "my-endpoint" },
{"Name": "ModelName","Value": "my-model"}
],
"Statistic": "Average",
"Unit": "Percent"
}
}
```
#### Contoh metrik kustom untuk titik akhir multi-model yang didukung GPU
Contoh berikut adalah konfigurasi pelacakan target untuk kebijakan penskalaan. Dalam konfigurasi ini, untuk model bernama`my-model`, metrik kustom `GPUUtilization` menyesuaikan jumlah instance pada titik akhir berdasarkan pemanfaatan GPU rata-rata 50% di semua instance.
```
{"TargetValue": 50,
"CustomizedMetricSpecification":
{"MetricName": "GPUUtilization",
"Namespace": "/aws/sagemaker/Endpoints",
"Dimensions": [
{"Name": "EndpointName", "Value": "my-endpoint" },
{"Name": "ModelName","Value": "my-model"}
],
"Statistic": "Average",
"Unit": "Percent"
}
}
```
## Tambahkan periode cooldown
Untuk menambahkan periode cooldown untuk menskalakan titik akhir Anda, tentukan nilai, dalam detik, untuk. `ScaleOutCooldown` Demikian pula, untuk menambahkan periode cooldown untuk penskalaan dalam model Anda, tambahkan nilai, dalam detik, untuk. `ScaleInCooldown` Untuk informasi selengkapnya tentang `ScaleInCooldown` dan `ScaleOutCooldown`, lihat `[TargetTrackingScalingPolicyConfiguration](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_TargetTrackingScalingPolicyConfiguration.html)` dalam *Referensi API Application Auto Scaling*.
Berikut ini adalah contoh konfigurasi pelacakan target untuk kebijakan penskalaan. Dalam konfigurasi ini, metrik yang `SageMakerVariantInvocationsPerInstance` telah ditentukan digunakan untuk menyesuaikan penskalaan berdasarkan rata-rata `70` di semua instance varian tersebut. Konfigurasi ini menyediakan periode pendinginan penskalaan ke dalam selama 10 menit dan periode pendinginan penskalaan ke luar selama 5 menit.
```
{"TargetValue": 70.0,
"PredefinedMetricSpecification":
{"PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
},
"ScaleInCooldown": 600,
"ScaleOutCooldown": 300
}
```
# Titik akhir multi-kontainer
SageMaker Titik akhir multi-kontainer AI memungkinkan pelanggan untuk menerapkan beberapa kontainer, yang menggunakan model atau kerangka kerja yang berbeda, pada satu titik akhir AI. SageMaker Kontainer dapat dijalankan secara berurutan sebagai pipa inferensi, atau setiap kontainer dapat diakses secara individual dengan menggunakan pemanggilan langsung untuk meningkatkan pemanfaatan titik akhir dan mengoptimalkan biaya.
Untuk informasi tentang menjalankan kontainer di titik akhir multi-kontainer secara berurutan, lihat. [Pipa inferensi di Amazon AI SageMaker](inference-pipelines.md)
Untuk informasi tentang menjalankan kontainer tertentu di titik akhir multi-kontainer, lihat [Memanggil titik akhir multi-kontainer dengan pemanggilan langsung](multi-container-direct.md)
**Topics**
+ [Buat titik akhir multi-kontainer (Boto 3)](multi-container-create.md)
+ [Memperbarui titik akhir multi-kontainer](multi-container-update.md)
+ [Memanggil titik akhir multi-kontainer dengan pemanggilan langsung](multi-container-direct.md)
+ [Keamanan dengan titik akhir multi-kontainer dengan pemanggilan langsung](multi-container-security.md)
+ [Metrik untuk titik akhir multi-kontainer dengan pemanggilan langsung](multi-container-metrics.md)
+ [Titik akhir multi-kontainer skala otomatis](multi-container-auto-scaling.md)
+ [Memecahkan masalah titik akhir multi-kontainer](multi-container-troubleshooting.md)
# Buat titik akhir multi-kontainer (Boto 3)
Buat titik akhir Multi-kontainer dengan memanggil [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html), [CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html), dan [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html) APIs seperti yang Anda lakukan untuk membuat titik akhir lainnya. Anda dapat menjalankan kontainer ini secara berurutan sebagai pipeline inferensi, atau menjalankan setiap kontainer individu dengan menggunakan pemanggilan langsung. Titik akhir multi-kontainer memiliki persyaratan berikut saat Anda menelepon: `create_model`
+ Gunakan `Containers` parameter alih-alih`PrimaryContainer`, dan sertakan lebih dari satu wadah dalam `Containers` parameter.
+ `ContainerHostname`Parameter diperlukan untuk setiap kontainer di titik akhir multi-kontainer dengan pemanggilan langsung.
+ Atur `Mode` parameter `InferenceExecutionConfig` bidang `Direct` untuk pemanggilan langsung dari setiap kontainer, atau `Serial` gunakan kontainer sebagai pipa inferensi. Mode default adalah`Serial`.
**catatan**
Saat ini ada batas hingga 15 kontainer yang didukung pada titik akhir multi-kontainer.
Contoh berikut membuat model multi-container untuk pemanggilan langsung.
1. Buat elemen wadah dan `InferenceExecutionConfig` dengan pemanggilan langsung.
```
container1 = {
'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage1:mytag',
'ContainerHostname': 'firstContainer'
}
container2 = {
'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage2:mytag',
'ContainerHostname': 'secondContainer'
}
inferenceExecutionConfig = {'Mode': 'Direct'}
```
1. Buat model dengan elemen wadah dan atur `InferenceExecutionConfig` bidang.
```
import boto3
sm_client = boto3.Session().client('sagemaker')
response = sm_client.create_model(
ModelName = 'my-direct-mode-model-name',
InferenceExecutionConfig = inferenceExecutionConfig,
ExecutionRoleArn = role,
Containers = [container1, container2]
)
```
Untuk membuat endoint, Anda kemudian akan memanggil [create\$1endpoint\$1config dan [create\$1endpoint](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_endpoint)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_endpoint_config) seperti yang Anda lakukan untuk membuat titik akhir lainnya.
# Memperbarui titik akhir multi-kontainer
Untuk memperbarui titik akhir multi-container Amazon SageMaker AI, selesaikan langkah-langkah berikut.
1. Panggil [create\$1model](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_model) untuk membuat model baru dengan nilai baru untuk `Mode` parameter di bidang. `InferenceExecutionConfig`
1. Panggil [create\$1endpoint\$1config](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_endpoint_config) untuk membuat konfigurasi titik akhir baru dengan nama yang berbeda dengan menggunakan model baru yang Anda buat pada langkah sebelumnya.
1. Panggil [update\$1endpoint](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.update_endpoint) untuk memperbarui titik akhir dengan konfigurasi titik akhir baru yang Anda buat di langkah sebelumnya.
# Memanggil titik akhir multi-kontainer dengan pemanggilan langsung
SageMaker Titik akhir multi-kontainer AI memungkinkan pelanggan untuk menerapkan beberapa kontainer untuk menerapkan model yang berbeda pada titik akhir AI. SageMaker Anda dapat meng-host hingga 15 kontainer inferensi yang berbeda pada satu titik akhir. Dengan menggunakan pemanggilan langsung, Anda dapat mengirim permintaan ke wadah inferensi tertentu yang dihosting pada titik akhir multi-kontainer.
Untuk memanggil titik akhir multi-kontainer dengan pemanggilan langsung, panggil [invoke\$1endpoint karena Anda akan memanggil titik akhir](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker-runtime.html#SageMakerRuntime.Client.invoke_endpoint) lainnya, dan tentukan wadah mana yang ingin Anda panggil dengan menggunakan parameter. `TargetContainerHostname`
Contoh berikut secara langsung memanggil titik akhir multi-kontainer untuk mendapatkan prediksi. `secondContainer`
```
import boto3
runtime_sm_client = boto3.Session().client('sagemaker-runtime')
response = runtime_sm_client.invoke_endpoint(
EndpointName ='my-endpoint',
ContentType = 'text/csv',
TargetContainerHostname='secondContainer',
Body = body)
```
Untuk setiap permintaan pemanggilan langsung ke titik akhir multi-kontainer, hanya wadah yang `TargetContainerHostname` memproses permintaan pemanggilan. Anda akan mendapatkan kesalahan validasi jika Anda melakukan salah satu dari berikut:
+ Tentukan `TargetContainerHostname` yang tidak ada di titik akhir
+ Jangan tentukan nilai untuk `TargetContainerHostname` permintaan ke titik akhir yang dikonfigurasi untuk pemanggilan langsung
+ Tentukan nilai untuk `TargetContainerHostname` permintaan ke titik akhir yang tidak dikonfigurasi untuk pemanggilan langsung.
# Keamanan dengan titik akhir multi-kontainer dengan pemanggilan langsung
Untuk titik akhir multi-kontainer dengan pemanggilan langsung, ada beberapa kontainer yang dihosting dalam satu instance dengan berbagi memori dan volume penyimpanan. Anda bertanggung jawab untuk menggunakan kontainer yang aman, memelihara pemetaan permintaan yang benar untuk menargetkan kontainer, dan memberi pengguna akses yang benar ke kontainer target. SageMaker AI menggunakan peran IAM untuk memberikan kebijakan berbasis identitas IAM yang Anda gunakan untuk menentukan apakah akses ke sumber daya diizinkan atau ditolak untuk peran itu, dan dalam kondisi apa. Untuk informasi tentang peran IAM, lihat [peran IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles.html) di *AWS Identity and Access Management Panduan Pengguna*. Untuk informasi tentang kebijakan berbasis identitas, lihat Kebijakan berbasis [identitas dan kebijakan berbasis sumber daya](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_identity-vs-resource.html).
Secara default, prinsipal IAM dengan `InvokeEndpoint` izin pada titik akhir multi-kontainer dengan pemanggilan langsung dapat memanggil penampung apa pun di dalam titik akhir dengan nama titik akhir yang Anda tentukan saat Anda memanggil. `invoke_endpoint` Jika Anda perlu membatasi `invoke_endpoint` akses ke kumpulan kontainer terbatas di dalam titik akhir multi-kontainer, gunakan kunci kondisi `sagemaker:TargetContainerHostname` IAM. Kebijakan berikut menunjukkan cara membatasi panggilan ke container tertentu dalam titik akhir.
Kebijakan berikut hanya mengizinkan `invoke_endpoint` permintaan jika nilai `TargetContainerHostname` bidang cocok dengan salah satu ekspresi reguler yang ditentukan.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Action": [
"sagemaker:InvokeEndpoint"
],
"Effect": "Allow",
"Resource": "arn:aws:sagemaker:us-east-1:111122223333:endpoint/endpoint_name",
"Condition": {
"StringLike": {
"sagemaker:TargetModel": [
"customIps*",
"common*"
]
}
}
}
]
}
```
------
Kebijakan berikut menolak `invoke_endpoint` permintaan jika nilai `TargetContainerHostname` bidang cocok dengan salah satu ekspresi reguler yang ditentukan dalam `Deny` pernyataan.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Action": [
"sagemaker:InvokeEndpoint"
],
"Effect": "Allow",
"Resource": "arn:aws:sagemaker:us-east-1:111122223333:endpoint/endpoint_name",
"Condition": {
"StringLike": {
"sagemaker:TargetModel": [
"model_name*"
]
}
}
},
{
"Action": [
"sagemaker:InvokeEndpoint"
],
"Effect": "Deny",
"Resource": "arn:aws:sagemaker:us-east-1:111122223333:endpoint/endpoint_name",
"Condition": {
"StringLike": {
"sagemaker:TargetModel": [
"special-model_name*"
]
}
}
}
]
}
```
------
Untuk informasi tentang kunci kondisi SageMaker AI, lihat [Kunci Kondisi untuk SageMaker AI](https://docs.aws.amazon.com/IAM/latest/UserGuide/list_amazonsagemaker.html#amazonsagemaker-policy-keys) di *Panduan AWS Identity and Access Management Pengguna*.
# Metrik untuk titik akhir multi-kontainer dengan pemanggilan langsung
Selain metrik titik akhir yang tercantum[Metrik Amazon SageMaker AI di Amazon CloudWatch](monitoring-cloudwatch.md), SageMaker AI juga menyediakan metrik per kontainer.
Metrik per kontainer untuk titik akhir multi-kontainer dengan pemanggilan langsung ditempatkan dan dikategorikan ke dalam dua ruang nama: CloudWatch dan. `AWS/SageMaker` `aws/sagemaker/Endpoints` `AWS/SageMaker`Namespace mencakup metrik terkait pemanggilan, dan `aws/sagemaker/Endpoints` namespace mencakup metrik pemanfaatan memori dan CPU.
Tabel berikut mencantumkan metrik per kontainer untuk titik akhir multi-kontainer dengan pemanggilan langsung. Semua metrik menggunakan dimensi [`EndpointName, VariantName, ContainerName`], yang memfilter metrik pada titik akhir tertentu, untuk varian tertentu dan sesuai dengan wadah tertentu. Metrik ini memiliki nama metrik yang sama seperti pada pipeline inferensi, tetapi pada tingkat per kontainer []. `EndpointName, VariantName, ContainerName`
| | | | |
| --- |--- |--- |--- |
| Nama Metrik | Deskripsi | Dimensi | NameSpace |
| Invocations | Jumlah InvokeEndpoint permintaan yang dikirim ke kontainer di dalam titik akhir. Untuk mendapatkan jumlah total permintaan yang dikirim ke wadah itu, gunakan Sum statistik. Unit: Tidak Ada Statistik yang valid:Sum, Sample Count | EndpointName, VariantName, ContainerName | AWS/SageMaker |
| Invocation4XX Errors | Jumlah InvokeEndpoint permintaan bahwa model mengembalikan kode respons 4xx HTTP untuk pada wadah tertentu. Untuk setiap 4xx respons, SageMaker AI mengirimkan file1. Unit: Tidak Ada Statistik yang valid:Average, Sum | EndpointName, VariantName, ContainerName | AWS/SageMaker |
| Invocation5XX Errors | Jumlah InvokeEndpoint permintaan bahwa model mengembalikan kode respons 5xx HTTP untuk pada wadah tertentu. Untuk setiap 5xx respons, SageMaker AI mengirimkan file1. Unit: Tidak Ada Statistik yang valid:Average, Sum | EndpointName, VariantName, ContainerName | AWS/SageMaker |
| ContainerLatency | Waktu yang dibutuhkan wadah target untuk merespons seperti yang dilihat dari SageMaker AI. ContainerLatencytermasuk waktu yang dibutuhkan untuk mengirim permintaan, untuk mengambil respons dari wadah model, dan untuk menyelesaikan inferensi dalam wadah. Unit: Mikrodetik Statistik yang valid:Average,,Sum,Min, Max Sample Count | EndpointName, VariantName, ContainerName | AWS/SageMaker |
| OverheadLatency | Waktu ditambahkan ke waktu yang dibutuhkan untuk menanggapi permintaan klien oleh SageMaker AI untuk overhead. OverheadLatencydiukur dari saat SageMaker AI menerima permintaan hingga mengembalikan respons ke klien, dikurangiModelLatency. Latensi overhead dapat bervariasi tergantung pada ukuran payload permintaan dan respons, frekuensi permintaan, dan otentikasi atau otorisasi permintaan, di antara faktor-faktor lainnya. Unit: Mikrodetik Statistik yang valid:Average,, Sum MinMax, `Jumlah Sampel ` | EndpointName, VariantName, ContainerName | AWS/SageMaker |
| CPUUtilization | Persentase unit CPU yang digunakan oleh setiap kontainer yang berjalan pada sebuah instance. Nilai berkisar dari 0% hingga 100%, dan dikalikan dengan jumlah. CPUs Misalnya, jika ada empat CPUs, CPUUtilization dapat berkisar dari 0% hingga 400%. Untuk titik akhir dengan pemanggilan langsung, jumlah CPUUtilization metrik sama dengan jumlah kontainer di titik akhir tersebut. Unit: Persen | EndpointName, VariantName, ContainerName | aws/sagemaker/Endpoints |
| MemoryUtilizaton | Persentase memori yang digunakan oleh setiap kontainer yang berjalan pada sebuah instance. Nilai ini berkisar dari 0% hingga 100%. Mirip seperti CPUUtilization, di titik akhir dengan pemanggilan langsung, jumlah MemoryUtilization metrik sama dengan jumlah kontainer di titik akhir tersebut. Unit: Persen | EndpointName, VariantName, ContainerName | aws/sagemaker/Endpoints |
Semua metrik di tabel sebelumnya khusus untuk titik akhir multi-kontainer dengan pemanggilan langsung. Selain metrik per-kontainer khusus ini, ada juga metrik pada tingkat varian dengan dimensi `[EndpointName, VariantName]` untuk semua metrik dalam tabel yang diharapkan. `ContainerLatency`
# Titik akhir multi-kontainer skala otomatis
Jika Anda ingin mengonfigurasi penskalaan otomatis untuk titik akhir multi-kontainer menggunakan `InvocationsPerInstance` metrik, kami menyarankan agar model di setiap kontainer menunjukkan pemanfaatan dan latensi CPU yang serupa pada setiap permintaan inferensi. Ini direkomendasikan karena jika lalu lintas ke titik akhir multi-kontainer bergeser dari model pemanfaatan CPU rendah ke model pemanfaatan CPU yang tinggi, tetapi volume panggilan keseluruhan tetap sama, titik akhir tidak skala dan mungkin tidak ada cukup contoh untuk menangani semua permintaan ke model pemanfaatan CPU tinggi. Untuk informasi tentang penskalaan titik akhir secara otomatis, lihat. [Penskalaan otomatis model Amazon SageMaker AI](endpoint-auto-scaling.md)
# Memecahkan masalah titik akhir multi-kontainer
Bagian berikut dapat membantu Anda memecahkan masalah kesalahan dengan titik akhir multi-kontainer.
## Kesalahan Pemeriksaan Kesehatan Ping
Dengan beberapa kontainer, memori endpoint dan CPU berada di bawah tekanan yang lebih tinggi selama pembuatan endpoint. Secara khusus, `CPUUtilization` metrik `MemoryUtilization` dan lebih tinggi daripada titik akhir kontainer tunggal, karena tekanan pemanfaatan sebanding dengan jumlah kontainer. Karena itu, kami menyarankan Anda memilih jenis instance dengan memori dan CPU yang cukup untuk memastikan bahwa ada cukup memori pada instance agar semua model dimuat (panduan yang sama berlaku untuk menerapkan pipeline inferensi). Jika tidak, pembuatan titik akhir Anda mungkin gagal dengan kesalahan seperti`XXX did not pass the ping health check`.
## Hilang accept-bind-to-port =true label Docker
Kontainer dalam titik akhir multi-kontainer mendengarkan pada port yang ditentukan dalam variabel `SAGEMAKER_BIND_TO_PORT` lingkungan, bukan port 8080. Saat kontainer berjalan di titik akhir multi-kontainer, SageMaker AI secara otomatis menyediakan variabel lingkungan ini ke wadah. Jika variabel lingkungan ini tidak ada, kontainer default menggunakan port 8080. Untuk menunjukkan bahwa kontainer Anda mematuhi persyaratan ini, gunakan perintah berikut untuk menambahkan label ke Dockerfile Anda:
```
LABEL com.amazonaws.sagemaker.capabilities.accept-bind-to-port=true
```
Jika tidak, Anda akan melihat pesan kesalahan seperti `Your Ecr Image XXX does not contain required com.amazonaws.sagemaker.capabilities.accept-bind-to-port=true Docker label(s).`
Jika kontainer Anda perlu mendengarkan pada port kedua, pilih port dalam rentang yang ditentukan oleh variabel `SAGEMAKER_SAFE_PORT_RANGE` lingkungan. Tentukan nilai sebagai rentang inklusif dalam format *XXXX* -*YYYY*, di mana XXXX dan YYYY adalah bilangan bulat multi-digit. SageMaker AI memberikan nilai ini secara otomatis saat Anda menjalankan penampung di titik akhir multi-kontainer.
# Pipa inferensi di Amazon AI SageMaker
*Pipa inferensi* adalah model SageMaker AI Amazon yang terdiri dari urutan linier dua hingga lima belas kontainer yang memproses permintaan inferensi pada data. Anda menggunakan pipeline inferensi untuk menentukan dan menerapkan kombinasi algoritme bawaan SageMaker AI yang telah dilatih sebelumnya dan algoritme kustom Anda sendiri yang dikemas dalam wadah Docker. Anda dapat menggunakan pipa inferensi untuk menggabungkan tugas ilmu data pra-pemrosesan, prediksi, dan pasca-pemrosesan. Pipa inferensi dikelola sepenuhnya.
Anda dapat menambahkan SageMaker AI Spark MLServing dan wadah scikit-learn yang menggunakan kembali transformator data yang dikembangkan untuk model pelatihan. Seluruh pipa inferensi yang dirakit dapat dianggap sebagai model SageMaker AI yang dapat Anda gunakan untuk membuat prediksi waktu nyata atau untuk memproses transformasi batch secara langsung tanpa pra-pemrosesan eksternal.
Dalam model pipeline inferensi, SageMaker AI menangani pemanggilan sebagai urutan permintaan HTTP. Wadah pertama dalam pipa menangani permintaan awal, kemudian respons perantara dikirim sebagai permintaan ke wadah kedua, dan seterusnya, untuk setiap kontainer dalam pipa. SageMaker AI mengembalikan respons akhir kepada klien.
Saat Anda menerapkan model pipeline, SageMaker AI menginstal dan menjalankan semua container di setiap instans Amazon Elastic Compute Cloud (Amazon EC2) di titik akhir atau tugas transformasi. Pemrosesan fitur dan inferensi berjalan dengan latensi rendah karena kontainer ditempatkan bersama pada instans EC2 yang sama. Anda menentukan kontainer untuk model pipa menggunakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)operasi atau dari konsol. Alih-alih menyetelnya`PrimaryContainer`, Anda menggunakan `Containers` parameter untuk mengatur wadah yang membentuk pipa. Anda juga menentukan urutan di mana kontainer dijalankan.
Model pipeline tidak dapat diubah, tetapi Anda dapat memperbarui pipeline inferensi dengan menerapkan yang baru menggunakan operasi. [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html) Modularitas ini mendukung fleksibilitas yang lebih besar selama eksperimen.
Untuk informasi tentang cara membuat pipeline inferensi dengan SageMaker Model Registry, lihat[Penerapan Pendaftaran Model dengan Model Registry](model-registry.md).
Tidak ada biaya tambahan untuk menggunakan fitur ini. Anda hanya membayar untuk instance yang berjalan pada titik akhir.
**Topics**
+ [Contoh Notebook untuk Pipa Inferensi](#inference-pipeline-sample-notebooks)
+ [Pemrosesan Fitur dengan Spark ML dan Scikit-learn](inference-pipeline-mleap-scikit-learn-containers.md)
+ [Buat Model Pipeline](inference-pipeline-create-console.md)
+ [Jalankan Prediksi Real-time dengan Pipeline Inferensi](inference-pipeline-real-time.md)
+ [Batch berubah dengan pipa inferensi](inference-pipeline-batch.md)
+ [Log dan Metrik Pipa Inferensi](inference-pipeline-logs-metrics.md)
+ [Memecahkan Masalah Pipa Inferensi](inference-pipeline-troubleshoot.md)
## Contoh Notebook untuk Pipa Inferensi
Untuk contoh yang menunjukkan cara membuat dan menerapkan pipeline inferensi, lihat contoh notebook Inference Pipeline [with Scikit-learn dan Linear](https://github.com/aws/amazon-sagemaker-examples/tree/main/sagemaker-python-sdk/scikit_learn_inference_pipeline) Learner. Untuk petunjuk cara membuat dan mengakses instance notebook Jupyter yang dapat Anda gunakan untuk menjalankan contoh di SageMaker AI, lihat. [Instans SageMaker notebook Amazon](nbi.md)
Untuk melihat daftar semua sampel SageMaker AI, setelah membuat dan membuka instance notebook, pilih tab **Contoh SageMaker AI**. Ada tiga notebook pipa inferensi. Dua notebook pipa inferensi pertama yang baru saja dijelaskan terletak di `advanced_functionality` folder dan notebook ketiga ada di folder`sagemaker-python-sdk`. Untuk membuka buku catatan, pilih tab **Use**, lalu pilih **Buat salinan**.
# Pemrosesan Fitur dengan Spark ML dan Scikit-learn
Sebelum melatih model dengan algoritme bawaan Amazon SageMaker AI atau algoritme khusus, Anda dapat menggunakan praprosesor Spark dan scikit-learn untuk mengubah data dan fitur insinyur Anda.
## Pemrosesan Fitur dengan Spark Ml
Anda dapat menjalankan pekerjaan Spark ML dengan [AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/what-is-glue.html), layanan ETL (ekstrak, transformasi, muat) tanpa server, dari notebook AI Anda. SageMaker [Anda juga dapat terhubung ke kluster EMR yang ada untuk menjalankan pekerjaan Spark ML dengan Amazon EMR.](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-what-is-emr.html) Untuk melakukan ini, Anda memerlukan peran AWS Identity and Access Management (IAM) yang memberikan izin untuk melakukan panggilan dari notebook SageMaker AI Anda. AWS Glue
**catatan**
Untuk melihat versi Python dan Spark mana yang AWS Glue mendukung, lihat [AWS Glue](/glue/latest/dg/release-notes.html) Release Notes.
Setelah fitur rekayasa, Anda mengemas dan membuat serial pekerjaan Spark ML MLeap ke dalam MLeap wadah yang dapat Anda tambahkan ke pipeline inferensi. Anda tidak perlu menggunakan cluster Spark yang dikelola secara eksternal. Dengan pendekatan ini, Anda dapat menskalakan dengan mulus dari sampel baris ke terabyte data. Transformator yang sama bekerja untuk pelatihan dan inferensi, jadi Anda tidak perlu menduplikasi preprocessing dan fitur logika rekayasa atau mengembangkan solusi satu kali untuk membuat model bertahan. Dengan pipeline inferensi, Anda tidak perlu memelihara infrastruktur luar, dan Anda dapat membuat prediksi langsung dari input data.
Saat Anda menjalankan pekerjaan Spark ML AWS Glue, pipeline Spark ML diserialisasikan ke dalam format. [MLeap](https://github.com/combust/mleap) Kemudian, Anda dapat menggunakan pekerjaan dengan [SparkMl Model Serving](https://github.com/aws/sagemaker-sparkml-serving-container) Container di AI Inference SageMaker Pipeline. *MLeap*adalah format serialisasi dan mesin eksekusi untuk pipa pembelajaran mesin. Ini mendukung Spark, Scikit-learn, dan TensorFlow untuk melatih jaringan pipa dan mengekspornya ke pipa serial yang disebut Bundel. MLeap Anda dapat melakukan deserialisasi Bundle kembali ke Spark untuk penilaian mode batch atau ke runtime untuk mengaktifkan layanan API waktu nyata. MLeap
Untuk contoh yang menunjukkan cara menampilkan proses dengan Spark ML, lihat [Melatih Model ML menggunakan Apache Spark di Amazon EMR dan terapkan](https://github.com/aws/amazon-sagemaker-examples/tree/main/sagemaker-python-sdk/sparkml_serving_emr_mleap_abalone) di notebook sampel AI. SageMaker
## Pemrosesan Fitur dengan Scikit-Learn
Anda dapat menjalankan dan mengemas pekerjaan scikit-learn ke dalam wadah langsung di Amazon AI. SageMaker [Untuk contoh kode Python untuk membangun model featurizer scikit-learn yang melatih [kumpulan data bunga Iris Fisher](http://archive.ics.uci.edu/ml/datasets/Iris) dan memprediksi spesies Iris berdasarkan pengukuran morfologi, lihat Pelatihan dan Prediksi IRIS dengan Sagemaker Scikit-learn.](https://github.com/awslabs/amazon-sagemaker-examples/tree/master/sagemaker-python-sdk/scikit_learn_iris)
# Buat Model Pipeline
Untuk membuat model pipeline yang dapat diterapkan ke titik akhir atau digunakan untuk pekerjaan transformasi batch, gunakan konsol Amazon SageMaker AI atau operasinya. `CreateModel`
**Untuk membuat pipeline inferensi (konsol)**
1. Buka konsol Amazon SageMaker AI di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. Pilih **Model**, lalu pilih **Buat model** dari grup **Inferensi**.
1. Pada halaman **Buat model**, berikan nama model, pilih peran IAM, dan, jika Anda ingin menggunakan VPC pribadi, tentukan nilai VPC.
![\[Halaman untuk membuat model untuk Inference Pipeline.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/create-pipeline-model.png)
1. Untuk menambahkan informasi tentang kontainer di pipeline inferensi, pilih **Tambah wadah**, lalu pilih **Berikutnya**.
1. Lengkapi bidang untuk setiap kontainer dalam urutan yang ingin Anda jalankan, hingga maksimum lima belas. Lengkapi **opsi input Container**,, **Lokasi gambar kode inferensi**, dan, secara opsional, **Lokasi artefak model**, **nama host kontainer**, dan bidang **variabel Lingkungan**.
![\[Membuat model pipa dengan kontainer.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/create-pipeline-model-containers.png)
**MyInferencePipelineModel**Halaman merangkum pengaturan untuk wadah yang memberikan masukan untuk model. Jika Anda menyediakan variabel lingkungan dalam definisi kontainer yang sesuai, SageMaker AI menunjukkannya di bidang **variabel Lingkungan**.
![\[Ringkasan pengaturan kontainer untuk model pipa.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/pipeline-MyInferencePipelinesModel-recap.png)
# Jalankan Prediksi Real-time dengan Pipeline Inferensi
Anda dapat menggunakan model terlatih dalam pipeline inferensi untuk membuat prediksi real-time secara langsung tanpa melakukan preprocessing eksternal. Saat mengonfigurasi pipeline, Anda dapat memilih untuk menggunakan transformator fitur bawaan yang sudah tersedia di Amazon SageMaker AI. Atau, Anda dapat menerapkan logika transformasi Anda sendiri hanya dengan menggunakan beberapa baris kode scikit-learn atau Spark.
[MLeap](https://combust.github.io/mleap-docs/), format serialisasi dan mesin eksekusi untuk pipeline pembelajaran mesin, mendukung Spark, scikit-learn, dan TensorFlow untuk melatih pipeline dan mengekspornya ke pipeline serial yang disebut Bundle. MLeap Anda dapat melakukan deserialisasi Bundle kembali ke Spark untuk penilaian mode batch atau ke runtime untuk mengaktifkan layanan API waktu nyata. MLeap
Kontainer dalam pipa mendengarkan pada port yang ditentukan dalam variabel `SAGEMAKER_BIND_TO_PORT` lingkungan (bukan 8080). Saat berjalan di pipeline inferensi, SageMaker AI secara otomatis menyediakan variabel lingkungan ini ke kontainer. Jika variabel lingkungan ini tidak ada, kontainer default menggunakan port 8080. Untuk menunjukkan bahwa kontainer Anda mematuhi persyaratan ini, gunakan perintah berikut untuk menambahkan label ke Dockerfile Anda:
```
LABEL com.amazonaws.sagemaker.capabilities.accept-bind-to-port=true
```
Jika kontainer Anda perlu mendengarkan pada port kedua, pilih port dalam rentang yang ditentukan oleh variabel `SAGEMAKER_SAFE_PORT_RANGE` lingkungan. Tentukan nilai sebagai rentang inklusif dalam format**"XXXX-YYYY"**, di mana `XXXX` dan `YYYY` merupakan bilangan bulat multi-digit. SageMaker AI memberikan nilai ini secara otomatis saat Anda menjalankan container dalam pipeline multicontainer.
**catatan**
Untuk menggunakan image Docker khusus dalam pipeline yang menyertakan [algoritme bawaan SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-algo-docker-registry-paths.html), Anda memerlukan kebijakan [Amazon Elastic Container Registry (Amazon ECR)](https://docs.aws.amazon.com/AmazonECR/latest/userguide/what-is-ecr.html). Repositori Amazon ECR Anda harus memberikan izin SageMaker AI untuk menarik gambar. Untuk informasi selengkapnya, lihat [Memecahkan Masalah Izin Amazon ECR untuk Pipa Inferensi](inference-pipeline-troubleshoot.md#inference-pipeline-troubleshoot-permissions).
## Membuat dan Menerapkan Titik Akhir Pipa Inferensi
Kode berikut membuat dan menerapkan model pipeline inferensi real-time dengan SparkMl dan XGBoost model secara seri menggunakan AI SDK. SageMaker
```
from sagemaker.model import Model
from sagemaker.pipeline_model import PipelineModel
from sagemaker.sparkml.model import SparkMLModel
sparkml_data = 's3://{}/{}/{}'.format(s3_model_bucket, s3_model_key_prefix, 'model.tar.gz')
sparkml_model = SparkMLModel(model_data=sparkml_data)
xgb_model = Model(model_data=xgb_model.model_data, image=training_image)
model_name = 'serial-inference-' + timestamp_prefix
endpoint_name = 'serial-inference-ep-' + timestamp_prefix
sm_model = PipelineModel(name=model_name, role=role, models=[sparkml_model, xgb_model])
sm_model.deploy(initial_instance_count=1, instance_type='ml.c4.xlarge', endpoint_name=endpoint_name)
```
## Minta Inferensi Waktu Nyata dari Titik Akhir Pipa Inferensi
Contoh berikut menunjukkan cara membuat prediksi real-time dengan memanggil titik akhir inferensi dan meneruskan payload permintaan dalam format JSON:
```
import sagemaker
from sagemaker.predictor import json_serializer, json_deserializer, Predictor
payload = {
"input": [
{
"name": "Pclass",
"type": "float",
"val": "1.0"
},
{
"name": "Embarked",
"type": "string",
"val": "Q"
},
{
"name": "Age",
"type": "double",
"val": "48.0"
},
{
"name": "Fare",
"type": "double",
"val": "100.67"
},
{
"name": "SibSp",
"type": "double",
"val": "1.0"
},
{
"name": "Sex",
"type": "string",
"val": "male"
}
],
"output": {
"name": "features",
"type": "double",
"struct": "vector"
}
}
predictor = Predictor(endpoint=endpoint_name, sagemaker_session=sagemaker.Session(), serializer=json_serializer,
content_type='text/csv', accept='application/json')
print(predictor.predict(payload))
```
Respons yang Anda dapatkan `predictor.predict(payload)` adalah hasil inferensi model.
## Contoh pipa inferensi waktu nyata
Anda dapat menjalankan [contoh buku catatan ini menggunakan SKLearn prediktor](https://github.com/awslabs/amazon-sagemaker-examples/blob/master/sagemaker-python-sdk/scikit_learn_randomforest/Sklearn_on_SageMaker_end2end.ipynb) yang menunjukkan cara menerapkan titik akhir, menjalankan permintaan inferensi, lalu deserialisasi respons. Temukan buku catatan ini dan lebih banyak contoh di [ GitHub repositori SageMaker contoh Amazon](https://github.com/awslabs/amazon-sagemaker-examples).
# Batch berubah dengan pipa inferensi
Untuk mendapatkan kesimpulan pada seluruh kumpulan data, Anda menjalankan transformasi batch pada model terlatih. Untuk menjalankan inferensi pada kumpulan data lengkap, Anda dapat menggunakan model pipeline inferensi yang sama yang dibuat dan diterapkan ke titik akhir untuk pemrosesan waktu nyata dalam pekerjaan transformasi batch. Untuk menjalankan tugas transformasi batch dalam pipeline, Anda mengunduh data input dari Amazon S3 dan mengirimkannya dalam satu atau beberapa permintaan HTTP ke model pipeline inferensi. Untuk contoh yang menunjukkan cara menyiapkan data untuk transformasi batch, lihat “Bagian 2 - Memproses data rumahan mentah menggunakan Scikit Learn” dari [Titik Akhir SageMaker Multi-Model Amazon](https://github.com/awslabs/amazon-sagemaker-examples/tree/master/advanced_functionality/multi_model_linear_learner_home_value) menggunakan buku catatan sampel Linear Learner. Untuk informasi tentang transformasi batch Amazon SageMaker AI, lihat[Transformasi Batch untuk inferensi dengan Amazon AI SageMaker](batch-transform.md).
**catatan**
Untuk menggunakan gambar Docker khusus dalam pipeline yang menyertakan [algoritme bawaan Amazon SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-algo-docker-registry-paths.html), Anda memerlukan kebijakan [Amazon Elastic Container Registry (ECR](https://docs.aws.amazon.com/AmazonECR/latest/userguide/what-is-ecr.html)). Repositori Amazon ECR Anda harus memberikan izin SageMaker AI untuk menarik gambar. Untuk informasi selengkapnya, lihat [Memecahkan Masalah Izin Amazon ECR untuk Pipa Inferensi](inference-pipeline-troubleshoot.md#inference-pipeline-troubleshoot-permissions).
Contoh berikut menunjukkan cara menjalankan tugas transformasi menggunakan [Amazon SageMaker Python](https://sagemaker.readthedocs.io/en/stable) SDK. Dalam contoh ini, `model_name` adalah pipa inferensi yang menggabungkan SparkMl XGBoost dan model (dibuat dalam contoh sebelumnya). Lokasi Amazon S3 yang ditentukan oleh `input_data_path` berisi data input, dalam format CSV, untuk diunduh dan dikirim ke model Spark ML. Setelah tugas transformasi selesai, lokasi Amazon S3 yang ditentukan oleh `output_data_path` berisi data keluaran yang dikembalikan oleh XGBoost model dalam format CSV.
```
import sagemaker
input_data_path = 's3://{}/{}/{}'.format(default_bucket, 'key', 'file_name')
output_data_path = 's3://{}/{}'.format(default_bucket, 'key')
transform_job = sagemaker.transformer.Transformer(
model_name = model_name,
instance_count = 1,
instance_type = 'ml.m4.xlarge',
strategy = 'SingleRecord',
assemble_with = 'Line',
output_path = output_data_path,
base_transform_job_name='inference-pipelines-batch',
sagemaker_session=sagemaker.Session(),
accept = CONTENT_TYPE_CSV)
transform_job.transform(data = input_data_path,
content_type = CONTENT_TYPE_CSV,
split_type = 'Line')
```
# Log dan Metrik Pipa Inferensi
Pemantauan penting untuk menjaga keandalan, ketersediaan, dan kinerja sumber daya Amazon SageMaker AI. Untuk memantau dan memecahkan masalah performa pipeline inferensi, gunakan CloudWatch log Amazon dan pesan kesalahan. Untuk informasi tentang alat pemantauan yang disediakan SageMaker AI, lihat[Memantau AWS sumber daya di Amazon SageMaker AI](monitoring-overview.md).
## Gunakan Metrik untuk Memantau Model Multi-kontainer
Untuk memantau model multi-kontainer di Inference Pipelines, gunakan Amazon. CloudWatch CloudWatchmengumpulkan data mentah dan memprosesnya menjadi metrik yang dapat dibaca, mendekati waktu nyata. SageMaker Pekerjaan pelatihan AI dan titik akhir menulis CloudWatch metrik dan log di namespace. `AWS/SageMaker`
Tabel berikut mencantumkan metrik dan dimensi untuk hal-hal berikut:
+ Pemanggilan titik akhir
+ Pekerjaan pelatihan, pekerjaan transformasi batch, dan instance titik akhir
*Dimensi* adalah name/value pasangan yang secara unik mengidentifikasi metrik. Anda dapat menetapkan hingga 10 dimensi ke metrik. Untuk informasi lebih lanjut tentang pemantauan dengan CloudWatch, lihat[Metrik Amazon SageMaker AI di Amazon CloudWatch](monitoring-cloudwatch.md).
**Metrik Pemanggilan Titik Akhir**
`AWS/SageMaker`Namespace menyertakan metrik permintaan berikut dari panggilan ke. [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_InvokeEndpoint.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_InvokeEndpoint.html)
Metrik dilaporkan pada interval 1 menit.
| Metrik | Deskripsi |
| --- | --- |
| Invocation4XXErrors | Jumlah `InvokeEndpoint` permintaan yang model mengembalikan kode respons `4xx` HTTP untuk. Untuk setiap `4xx` respons, SageMaker AI mengirimkan file`1`. Satuan: Tidak ada Statistik yang valid: `Average`, `Sum` |
| Invocation5XXErrors | Jumlah `InvokeEndpoint` permintaan yang model mengembalikan kode respons `5xx` HTTP untuk. Untuk setiap `5xx` respons, SageMaker AI mengirimkan file`1`. Satuan: Tidak ada Statistik yang valid: `Average`, `Sum` |
| Invocations | `number of InvokeEndpoint`Permintaan dikirim ke titik akhir model. Untuk mendapatkan jumlah total permintaan yang dikirim ke titik akhir model, gunakan `Sum` statistik. Satuan: Tidak ada Statistik yang valid: `Sum`, `Sample Count` |
| InvocationsPerInstance | Jumlah pemanggilan titik akhir yang dikirim ke model, dinormalisasi oleh masing-masing. `InstanceCount` `ProductionVariant` SageMaker AI mengirimkan `numberOfInstances` 1/sebagai nilai untuk setiap permintaan, di mana `numberOfInstances` jumlah instans aktif untuk titik akhir ProductionVariant pada saat permintaan. Satuan: Tidak ada Statistik valid: `Sum` |
| ModelLatency | Waktu yang dibutuhkan model atau model untuk merespons. Ini termasuk waktu yang dibutuhkan untuk mengirim permintaan, untuk mengambil respons dari wadah model, dan untuk menyelesaikan inferensi dalam wadah. ModelLatencyadalah total waktu yang dibutuhkan oleh semua kontainer dalam pipa inferensi.Unit: MikrodetikStatistik yang valid:`Average`,`Sum`,`Min`,`Max`, Jumlah Sampel |
| OverheadLatency | Waktu ditambahkan ke waktu yang dibutuhkan untuk menanggapi permintaan klien oleh SageMaker AI untuk overhead. `OverheadLatency`diukur dari saat SageMaker AI menerima permintaan hingga mengembalikan respons ke klien, dikurangi`ModelLatency`. Latensi overhead dapat bervariasi tergantung pada ukuran payload permintaan dan respons, frekuensi permintaan, dan otentikasi atau otorisasi permintaan, di antara faktor-faktor lainnya. Unit: Mikrodetik Statistik yang valid:`Average`,`Sum`,`Min`,`Max`, `Sample Count` |
| ContainerLatency | Waktu yang dibutuhkan wadah Inference Pipelines untuk merespons seperti yang dilihat dari SageMaker AI. ContainerLatencytermasuk waktu yang dibutuhkan untuk mengirim permintaan, untuk mengambil respons dari wadah model, dan untuk menyelesaikan inferensi dalam wadah.Unit: MikrodetikStatistik yang valid:`Average`,`Sum`,`Min`,`Max`, `Sample Count` |
**Dimensi untuk Metrik Pemanggilan Titik Akhir**
| Dimensi | Deskripsi |
| --- | --- |
| EndpointName, VariantName, ContainerName | Memfilter metrik pemanggilan titik akhir untuk a `ProductionVariant` pada titik akhir yang ditentukan dan untuk varian yang ditentukan. |
**Untuk titik akhir pipeline inferensi, cantumkan metrik CloudWatch latensi per kontainer di akun Anda sebagai Metrik **Kontainer Titik Akhir dan Metrik **Varian Titik Akhir**** di namespace AI, sebagai berikut. SageMaker ** `ContainerLatency`Metrik hanya muncul untuk pipa inferensi.
![\[CloudWatch Dasbor untuk pipa inferensi.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/pipeline-endpoint-metrics.png)
Untuk setiap titik akhir dan setiap kontainer, metrik latensi menampilkan nama untuk penampung, titik akhir, varian, dan metrik.
![\[Metrik latensi untuk titik akhir.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/pipeline-endpoint-metrics-details.png)
**Training Job, Batch Transform Job, dan Metrik Instance Endpoint**
Ruang nama`/aws/sagemaker/TrainingJobs`,`/aws/sagemaker/TransformJobs`, dan `/aws/sagemaker/Endpoints` menyertakan metrik berikut untuk pekerjaan pelatihan dan instance titik akhir.
Metrik dilaporkan pada interval 1 menit.
| Metrik | Deskripsi |
| --- | --- |
| CPUUtilization | Persentase unit CPU yang digunakan oleh kontainer yang berjalan pada sebuah instance. Nilainya berkisar dari 0% hingga 100%, dan dikalikan dengan jumlah. CPUs Misalnya, jika ada empat CPUs, `CPUUtilization` dapat berkisar dari 0% hingga 400%. Untuk pekerjaan pelatihan, `CPUUtilization` adalah pemanfaatan CPU dari wadah algoritma yang berjalan pada instance. Untuk pekerjaan transformasi batch, `CPUUtilization` adalah pemanfaatan CPU dari wadah transformasi yang berjalan pada instance. Untuk model multi-kontainer, `CPUUtilization` adalah jumlah pemanfaatan CPU oleh semua kontainer yang berjalan pada instance. Untuk varian endpoint, `CPUUtilization` adalah jumlah pemanfaatan CPU oleh semua kontainer yang berjalan pada instance. Unit: Persen |
| MemoryUtilization | Persentase memori yang digunakan oleh kontainer yang berjalan pada sebuah instance. Nilai ini berkisar dari 0% hingga 100%.Untuk pekerjaan pelatihan, `MemoryUtilization` adalah memori yang digunakan oleh wadah algoritma yang berjalan pada instance.Untuk pekerjaan transformasi batch, `MemoryUtilization` adalah memori yang digunakan oleh wadah transformasi yang berjalan pada instance.Untuk model multi-kontainer, MemoryUtilization adalah jumlah memori yang digunakan oleh semua kontainer yang berjalan pada instance.Untuk varian endpoint, `MemoryUtilization` adalah jumlah memori yang digunakan oleh semua container yang berjalan pada instance.Unit: Persen |
| GPUUtilization | Persentase unit GPU yang digunakan oleh kontainer yang berjalan pada sebuah instance. `GPUUtilization`berkisar dari 0% hingga 100% dan dikalikan dengan jumlah. GPUs Misalnya, jika ada empat GPUs, `GPUUtilization` dapat berkisar dari 0% hingga 400%. Untuk pekerjaan pelatihan, `GPUUtilization` adalah GPU yang digunakan oleh wadah algoritma yang berjalan pada instance. Untuk pekerjaan transformasi batch, `GPUUtilization` adalah GPU yang digunakan oleh wadah transformasi yang berjalan pada instance. Untuk model multi-kontainer, `GPUUtilization` adalah jumlah GPU yang digunakan oleh semua kontainer yang berjalan pada instance. Untuk varian endpoint, `GPUUtilization` adalah jumlah GPU yang digunakan oleh semua container yang berjalan pada instance. Unit: Persen |
| GPUMemoryUtilization | Persentase memori GPU yang digunakan oleh kontainer yang berjalan pada sebuah instance. GPUMemoryPemanfaatan berkisar dari 0% hingga 100% dan dikalikan dengan jumlah. GPUs Misalnya, jika ada empat GPUs, `GPUMemoryUtilization` dapat berkisar dari 0% hingga 400%. Untuk pekerjaan pelatihan, `GPUMemoryUtilization` adalah memori GPU yang digunakan oleh wadah algoritma yang berjalan pada instance. Untuk pekerjaan transformasi batch, `GPUMemoryUtilization` adalah memori GPU yang digunakan oleh wadah transformasi yang berjalan pada instance. Untuk model multi-kontainer, `GPUMemoryUtilization` adalah jumlah GPU yang digunakan oleh semua kontainer yang berjalan pada instance. Untuk varian endpoint, `GPUMemoryUtilization` adalah jumlah memori GPU yang digunakan oleh semua container yang berjalan pada instance. Unit: Persen |
| DiskUtilization | Persentase ruang disk yang digunakan oleh kontainer yang berjalan pada sebuah instance. DiskUtilization berkisar dari 0% hingga 100%. Metrik ini tidak didukung untuk pekerjaan transformasi batch. Untuk pekerjaan pelatihan, `DiskUtilization` adalah ruang disk yang digunakan oleh wadah algoritma yang berjalan pada instance. Untuk varian endpoint, `DiskUtilization` adalah jumlah ruang disk yang digunakan oleh semua kontainer yang disediakan yang berjalan pada instance. Unit: Persen |
**Dimensi untuk Training Job, Batch Transform Job, dan Endpoint Instance Metrics**
| Dimensi | Deskripsi |
| --- | --- |
| Host | Untuk pekerjaan pelatihan, `Host` memiliki format`[training-job-name]/algo-[instance-number-in-cluster]`. Gunakan dimensi ini untuk memfilter metrik instance untuk pekerjaan dan instance pelatihan yang ditentukan. Format dimensi ini hanya ada di `/aws/sagemaker/TrainingJobs` namespace. Untuk pekerjaan transformasi batch, `Host` memiliki format`[transform-job-name]/[instance-id]`. Gunakan dimensi ini untuk memfilter metrik instance untuk pekerjaan dan instance transformasi batch yang ditentukan. Format dimensi ini hanya ada di `/aws/sagemaker/TransformJobs` namespace. Untuk titik akhir, `Host` memiliki format`[endpoint-name]/[ production-variant-name ]/[instance-id]`. Gunakan dimensi ini untuk memfilter metrik instance untuk titik akhir, varian, dan instance yang ditentukan. Format dimensi ini hanya ada di `/aws/sagemaker/Endpoints` namespace. |
Untuk membantu Anda men-debug pekerjaan pelatihan, titik akhir, dan konfigurasi siklus hidup instance notebook, SageMaker AI juga mengirimkan apa pun yang dikirim oleh container algoritme, wadah model, atau konfigurasi siklus hidup instance notebook ke atau ke Amazon Logs. `stdout` `stderr` CloudWatch Anda dapat menggunakan informasi ini untuk debugging dan untuk menganalisis kemajuan.
## Gunakan Log untuk Memantau Pipa Inferensi
Tabel berikut mencantumkan grup log dan aliran log SageMaker AI. kirim ke Amazon CloudWatch
*Pengaliran log* adalah urutan log acara yang berbagi sumber yang sama. Setiap sumber log yang CloudWatch terpisah menjadi aliran log terpisah. *Grup log* adalah grup log stream yang berbagi pengaturan retensi, pemantauan, dan kontrol akses yang sama.
**Log**
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/inference-pipeline-logs-metrics.html)
**catatan**
SageMaker AI membuat grup `/aws/sagemaker/NotebookInstances` log saat Anda membuat instance notebook dengan konfigurasi siklus hidup. Untuk informasi selengkapnya, lihat [Kustomisasi instance SageMaker notebook menggunakan skrip LCC](notebook-lifecycle-config.md).
Untuk informasi selengkapnya tentang pencatatan SageMaker AI, lihat[CloudWatch Log untuk Amazon SageMaker AI](logging-cloudwatch.md).
# Memecahkan Masalah Pipa Inferensi
Untuk memecahkan masalah pipeline inferensi, gunakan CloudWatch log dan pesan kesalahan. Jika Anda menggunakan gambar Docker khusus dalam pipeline yang menyertakan algoritme bawaan Amazon SageMaker AI, Anda mungkin juga mengalami masalah izin. Untuk memberikan izin yang diperlukan, buat kebijakan Amazon Elastic Container Registry (Amazon ECR).
**Topics**
+ [Memecahkan Masalah Izin Amazon ECR untuk Pipa Inferensi](#inference-pipeline-troubleshoot-permissions)
+ [Gunakan CloudWatch Log untuk Memecahkan Masalah Pipa Inferensi SageMaker AI](#inference-pipeline-troubleshoot-logs)
+ [Menggunakan Pesan Kesalahan untuk Memecahkan Masalah Saluran Inferensi](#inference-pipeline-troubleshoot-errors)
## Memecahkan Masalah Izin Amazon ECR untuk Pipa Inferensi
Saat Anda menggunakan gambar Docker khusus dalam pipeline yang menyertakan [algoritme bawaan SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-algo-docker-registry-paths.html), Anda memerlukan kebijakan [ECR Amazon](https://docs.aws.amazon.com/AmazonECR/latest/userguide/what-is-ecr.html). Kebijakan ini memungkinkan repositori Amazon ECR Anda memberikan izin kepada SageMaker AI untuk menarik gambar. Kebijakan harus menambahkan izin berikut:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "allowSageMakerToPull",
"Effect": "Allow",
"Principal": {
"Service": "sagemaker.amazonaws.com"
},
"Action": [
"ecr:GetDownloadUrlForLayer",
"ecr:BatchGetImage",
"ecr:BatchCheckLayerAvailability"
],
"Resource": "*"
}
]
}
```
------
## Gunakan CloudWatch Log untuk Memecahkan Masalah Pipa Inferensi SageMaker AI
SageMaker AI menerbitkan log kontainer untuk titik akhir yang menerapkan pipeline inferensi ke Amazon CloudWatch di jalur berikut untuk setiap kontainer.
```
/aws/sagemaker/Endpoints/{EndpointName}/{Variant}/{InstanceId}/{ContainerHostname}
```
Misalnya, log untuk titik akhir ini dipublikasikan ke grup dan aliran log berikut:
```
EndpointName: MyInferencePipelinesEndpoint
Variant: MyInferencePipelinesVariant
InstanceId: i-0179208609ff7e488
ContainerHostname: MyContainerName1 and MyContainerName2
```
```
logGroup: /aws/sagemaker/Endpoints/MyInferencePipelinesEndpoint
logStream: MyInferencePipelinesVariant/i-0179208609ff7e488/MyContainerName1
logStream: MyInferencePipelinesVariant/i-0179208609ff7e488/MyContainerName2
```
*Pengaliran log* adalah urutan log acara yang berbagi sumber yang sama. Setiap sumber log yang CloudWatch terpisah menjadi aliran log terpisah. *Grup log* adalah grup log stream yang berbagi pengaturan retensi, pemantauan, dan kontrol akses yang sama.
**Untuk melihat grup log dan aliran**
1. Buka CloudWatch konsol di [https://console.aws.amazon.com/cloudwatch/](https://console.aws.amazon.com/cloudwatch/).
1. Di halaman navigasi, pilih **Log**.
1. Di **Grup Log**. filter pada**MyInferencePipelinesEndpoint**:
![\[Grup CloudWatch log difilter untuk titik akhir pipa inferensi.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/pipeline-log-group-filter.png)
1. Untuk melihat aliran log, pada halaman **Grup CloudWatch Log**, pilih**MyInferencePipelinesEndpoint**, lalu **Cari Grup Log**.
![\[Aliran CloudWatch log untuk pipa inferensi.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/pipeline-log-streams-2.png)
Untuk daftar log yang diterbitkan SageMaker AI, lihat[Log dan Metrik Pipa Inferensi](inference-pipeline-logs-metrics.md).
## Menggunakan Pesan Kesalahan untuk Memecahkan Masalah Saluran Inferensi
Pesan kesalahan saluran inferensi menunjukkan kontainer mana yang gagal.
Jika terjadi kesalahan saat SageMaker AI memanggil titik akhir, layanan mengembalikan `ModelError` (kode kesalahan 424), yang menunjukkan wadah mana yang gagal. Jika payload permintaan (respons dari penampung sebelumnya) melebihi batas 5 MB, SageMaker AI memberikan pesan kesalahan terperinci, seperti:
Menerima tanggapan dari MyContainerName 1 dengan kode status 200. Namun, payload permintaan dari MyContainerName 1 hingga MyContainerName 2 adalah 6000000 byte, yang telah melampaui batas maksimum 5 MB.
``
Jika sebuah wadah gagal dalam pemeriksaan kesehatan ping saat SageMaker AI membuat titik akhir, ia mengembalikan `ClientError` dan menunjukkan semua wadah yang gagal pemeriksaan ping di pemeriksaan kesehatan terakhir.
# Hapus Titik Akhir dan Sumber Daya
Hapus titik akhir untuk menghentikan biaya yang dikenakan.
## Hapus Endpoint
Hapus titik akhir Anda secara terprogram menggunakan AWS SDK untuk Python (Boto3), dengan AWS CLI, atau secara interaktif menggunakan konsol AI. SageMaker
SageMaker AI membebaskan semua sumber daya yang digunakan saat titik akhir dibuat. Menghapus titik akhir tidak akan menghapus konfigurasi titik akhir atau model AI. SageMaker Lihat [Hapus Konfigurasi Titik Akhir](#realtime-endpoints-delete-endpoint-config) dan [Hapus Model](#realtime-endpoints-delete-model) untuk informasi tentang cara menghapus konfigurasi titik akhir dan model SageMaker AI Anda.
------
#### [ AWS SDK untuk Python (Boto3) ]
Gunakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DeleteEndpoint.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DeleteEndpoint.html)API untuk menghapus titik akhir Anda. Tentukan nama titik akhir Anda untuk `EndpointName` bidang tersebut.
```
import boto3
# Specify your AWS Region
aws_region=''
# Specify the name of your endpoint
endpoint_name=''
# Create a low-level SageMaker service client.
sagemaker_client = boto3.client('sagemaker', region_name=aws_region)
# Delete endpoint
sagemaker_client.delete_endpoint(EndpointName=endpoint_name)
```
------
#### [ AWS CLI ]
Gunakan [https://docs.aws.amazon.com/cli/latest/reference/sagemaker/delete-endpoint.html](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/delete-endpoint.html)perintah untuk menghapus titik akhir Anda. Tentukan nama titik akhir Anda untuk `endpoint-name` bendera.
```
aws sagemaker delete-endpoint --endpoint-name
```
------
#### [ SageMaker AI Console ]
Hapus titik akhir Anda secara interaktif dengan konsol SageMaker AI.
1. Di konsol SageMaker AI di menu [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)navigasi, pilih **Inferensi**.
1. Pilih **Endpoints** dari menu drop-down. Daftar titik akhir yang dibuat di AWS akun Anda akan muncul berdasarkan nama, Nama Sumber Daya Amazon (ARN), waktu pembuatan, status, dan cap waktu kapan titik akhir terakhir diperbarui.
1. Pilih titik akhir yang ingin Anda hapus.
1. Pilih tombol dropdown **Actions** di pojok kanan atas.
1. Pilih **Hapus**.
------
## Hapus Konfigurasi Titik Akhir
Hapus konfigurasi titik akhir Anda secara terprogram menggunakan AWS SDK untuk Python (Boto3), dengan AWS CLI, atau secara interaktif menggunakan konsol AI. SageMaker Menghapus konfigurasi titik akhir tidak menghapus titik akhir yang dibuat menggunakan konfigurasi ini. Lihat [Hapus Endpoint](#realtime-endpoints-delete-endpoint) untuk informasi tentang cara menghapus titik akhir Anda.
Jangan menghapus konfigurasi titik akhir yang digunakan oleh titik akhir yang aktif atau saat titik akhir sedang diperbarui atau dibuat. Anda mungkin kehilangan visibilitas ke jenis instans yang digunakan titik akhir jika Anda menghapus konfigurasi titik akhir dari titik akhir yang aktif atau sedang dibuat atau diperbarui.
------
#### [ AWS SDK untuk Python (Boto3) ]
Gunakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DeleteEndpointConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DeleteEndpointConfig.html)API untuk menghapus titik akhir Anda. Tentukan nama konfigurasi titik akhir Anda untuk `EndpointConfigName` bidang tersebut.
```
import boto3
# Specify your AWS Region
aws_region=''
# Specify the name of your endpoint configuration
endpoint_config_name=''
# Create a low-level SageMaker service client.
sagemaker_client = boto3.client('sagemaker', region_name=aws_region)
# Delete endpoint configuration
sagemaker_client.delete_endpoint_config(EndpointConfigName=endpoint_config_name)
```
Anda dapat menggunakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpointConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpointConfig.html)API secara opsional untuk menampilkan informasi tentang nama model yang Anda gunakan (varian produksi) seperti nama model Anda dan nama konfigurasi titik akhir yang terkait dengan model yang diterapkan tersebut. Berikan nama titik akhir Anda untuk `EndpointConfigName` bidang tersebut.
```
# Specify the name of your endpoint
endpoint_name=''
# Create a low-level SageMaker service client.
sagemaker_client = boto3.client('sagemaker', region_name=aws_region)
# Store DescribeEndpointConfig response into a variable that we can index in the next step.
response = sagemaker_client.describe_endpoint_config(EndpointConfigName=endpoint_name)
# Delete endpoint
endpoint_config_name = response['ProductionVariants'][0]['EndpointConfigName']
# Delete endpoint configuration
sagemaker_client.delete_endpoint_config(EndpointConfigName=endpoint_config_name)
```
Untuk informasi selengkapnya tentang elemen respons lain yang ditampilkan oleh`DescribeEndpointConfig`, lihat [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpointConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpointConfig.html)di [panduan Referensi SageMaker API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_Operations_Amazon_SageMaker_Service.html).
------
#### [ AWS CLI ]
Gunakan [https://docs.aws.amazon.com/cli/latest/reference/sagemaker/delete-endpoint-config.html](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/delete-endpoint-config.html)perintah untuk menghapus konfigurasi titik akhir Anda. Tentukan nama konfigurasi titik akhir Anda untuk `endpoint-config-name` bendera.
```
aws sagemaker delete-endpoint-config \
--endpoint-config-name
```
Anda dapat menggunakan [https://docs.aws.amazon.com/cli/latest/reference/sagemaker/describe-endpoint-config.html](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/describe-endpoint-config.html)perintah secara opsional untuk mengembalikan informasi tentang nama model yang Anda gunakan (varian produksi) seperti nama model Anda dan nama konfigurasi titik akhir yang terkait dengan model yang diterapkan tersebut. Berikan nama titik akhir Anda untuk `endpoint-config-name` bendera.
```
aws sagemaker describe-endpoint-config --endpoint-config-name
```
Ini akan mengembalikan respons JSON. Anda dapat menyalin dan menempel, menggunakan parser JSON, atau menggunakan alat yang dibuat untuk penguraian JSON untuk mendapatkan nama konfigurasi titik akhir yang terkait dengan titik akhir tersebut.
------
#### [ SageMaker AI Console ]
Hapus konfigurasi titik akhir Anda secara interaktif dengan konsol SageMaker AI.
1. Di konsol SageMaker AI di menu [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)navigasi, pilih **Inferensi**.
1. Pilih **konfigurasi Endpoint** dari menu dropdown. Daftar konfigurasi titik akhir yang dibuat di AWS akun Anda akan muncul berdasarkan nama, Nama Sumber Daya Amazon (ARN), dan waktu pembuatan.
1. Pilih konfigurasi titik akhir yang ingin Anda hapus.
1. Pilih tombol dropdown **Actions** di pojok kanan atas.
1. Pilih **Hapus**.
------
## Hapus Model
Hapus model SageMaker AI Anda secara terprogram menggunakan AWS SDK untuk Python (Boto3), dengan AWS CLI, atau secara interaktif menggunakan konsol AI. SageMaker Menghapus model SageMaker AI hanya menghapus entri model yang dibuat di SageMaker AI. Menghapus model tidak menghapus artefak model, kode inferensi, atau peran IAM yang Anda tentukan saat membuat model.
------
#### [ AWS SDK untuk Python (Boto3) ]
Gunakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DeleteModel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DeleteModel.html)API untuk menghapus model SageMaker AI Anda. Tentukan nama model Anda untuk `ModelName` bidang tersebut.
```
import boto3
# Specify your AWS Region
aws_region=''
# Specify the name of your endpoint configuration
model_name=''
# Create a low-level SageMaker service client.
sagemaker_client = boto3.client('sagemaker', region_name=aws_region)
# Delete model
sagemaker_client.delete_model(ModelName=model_name)
```
Anda dapat menggunakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpointConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpointConfig.html)API secara opsional untuk menampilkan informasi tentang nama model yang Anda gunakan (varian produksi) seperti nama model Anda dan nama konfigurasi titik akhir yang terkait dengan model yang diterapkan tersebut. Berikan nama titik akhir Anda untuk `EndpointConfigName` bidang tersebut.
```
# Specify the name of your endpoint
endpoint_name=''
# Create a low-level SageMaker service client.
sagemaker_client = boto3.client('sagemaker', region_name=aws_region)
# Store DescribeEndpointConfig response into a variable that we can index in the next step.
response = sagemaker_client.describe_endpoint_config(EndpointConfigName=endpoint_name)
# Delete endpoint
model_name = response['ProductionVariants'][0]['ModelName']
sagemaker_client.delete_model(ModelName=model_name)
```
Untuk informasi selengkapnya tentang elemen respons lain yang ditampilkan oleh`DescribeEndpointConfig`, lihat [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpointConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpointConfig.html)di [panduan Referensi SageMaker API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_Operations_Amazon_SageMaker_Service.html).
------
#### [ AWS CLI ]
Gunakan [https://docs.aws.amazon.com/cli/latest/reference/sagemaker/delete-model.html](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/delete-model.html)perintah untuk menghapus model SageMaker AI Anda. Tentukan nama model Anda untuk `model-name` bendera.
```
aws sagemaker delete-model \
--model-name
```
Anda dapat menggunakan [https://docs.aws.amazon.com/cli/latest/reference/sagemaker/describe-endpoint-config.html](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/describe-endpoint-config.html)perintah secara opsional untuk mengembalikan informasi tentang nama model yang Anda gunakan (varian produksi) seperti nama model Anda dan nama konfigurasi titik akhir yang terkait dengan model yang diterapkan tersebut. Berikan nama titik akhir Anda untuk `endpoint-config-name` bendera.
```
aws sagemaker describe-endpoint-config --endpoint-config-name
```
Ini akan mengembalikan respons JSON. Anda dapat menyalin dan menempel, menggunakan parser JSON, atau menggunakan alat yang dibuat untuk penguraian JSON untuk mendapatkan nama model yang terkait dengan titik akhir tersebut.
------
#### [ SageMaker AI Console ]
Hapus model SageMaker AI Anda secara interaktif dengan konsol SageMaker AI.
1. Di konsol SageMaker AI di menu [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)navigasi, pilih **Inferensi**.
1. Pilih **Model** dari menu tarik-turun. Daftar model yang dibuat di AWS akun Anda akan muncul berdasarkan nama, Nama Sumber Daya Amazon (ARN), dan waktu pembuatan.
1. Pilih model yang ingin Anda hapus.
1. Pilih tombol dropdown **Actions** di pojok kanan atas.
1. Pilih **Hapus**.
------
# Penskalaan otomatis model Amazon SageMaker AI
Amazon SageMaker AI mendukung penskalaan otomatis (penskalaan otomatis) untuk model yang Anda hosting. *Penskalaan otomatis* secara dinamis menyesuaikan jumlah instance yang disediakan untuk model sebagai respons terhadap perubahan beban kerja Anda. Saat beban kerja meningkat, penskalaan otomatis menghadirkan lebih banyak instance online. Ketika beban kerja berkurang, penskalaan otomatis akan menghapus instans yang tidak perlu sehingga Anda tidak membayar instans yang disediakan yang tidak Anda gunakan.
**Topics**
+ [Ikhtisar kebijakan penskalaan otomatis](endpoint-auto-scaling-policy.md)
+ [Prasyarat penskalaan otomatis](endpoint-auto-scaling-prerequisites.md)
+ [Konfigurasikan penskalaan otomatis model dengan konsol](endpoint-auto-scaling-add-console.md)
+ [Daftarkan model](endpoint-auto-scaling-add-policy.md)
+ [Menentukan kebijakan penskalaan](endpoint-auto-scaling-add-code-define.md)
+ [Menerapkan kebijakan penskalaan](endpoint-auto-scaling-add-code-apply.md)
+ [Petunjuk untuk mengedit kebijakan penskalaan](endpoint-auto-scaling-edit.md)
+ [Matikan sementara kebijakan penskalaan](endpoint-auto-scaling-suspend-scaling-activities.md)
+ [Menghapus kebijakan penskalaan](endpoint-auto-scaling-delete.md)
+ [Memeriksa status aktivitas penskalaan dengan menjelaskan aktivitas penskalaan](endpoint-scaling-query-history.md)
+ [Menskalakan titik akhir ke nol instance](endpoint-auto-scaling-zero-instances.md)
+ [Uji beban konfigurasi penskalaan otomatis Anda](endpoint-scaling-loadtest.md)
+ [Gunakan CloudFormation untuk membuat kebijakan penskalaan](endpoint-scaling-cloudformation.md)
+ [Perbarui titik akhir yang menggunakan penskalaan otomatis](endpoint-scaling-update.md)
+ [Hapus titik akhir yang dikonfigurasi untuk penskalaan otomatis](endpoint-delete-with-scaling.md)
# Ikhtisar kebijakan penskalaan otomatis
Untuk menggunakan penskalaan otomatis, Anda menentukan kebijakan penskalaan yang menambahkan dan menghapus jumlah instance untuk varian produksi Anda sebagai respons terhadap beban kerja aktual.
Untuk menskalakan secara otomatis saat terjadi perubahan beban kerja, Anda memiliki dua opsi: kebijakan pelacakan target dan penskalaan langkah.
Dalam kebanyakan kasus, sebaiknya gunakan kebijakan penskalaan pelacakan target. Dengan pelacakan target, Anda memilih CloudWatch metrik Amazon dan nilai target. Penskalaan otomatis membuat dan mengelola CloudWatch alarm untuk kebijakan penskalaan dan menghitung penyesuaian penskalaan berdasarkan metrik dan nilai target. Kebijakan menambahkan dan menghapus jumlah instance yang diperlukan untuk menjaga metrik pada, atau mendekati, nilai target yang ditentukan. Misalnya, kebijakan penskalaan yang menggunakan `InvocationsPerInstance` metrik yang telah ditentukan dengan nilai target 70 dapat dipertahankan`InvocationsPerInstance`, atau mendekati 70. Untuk informasi selengkapnya, lihat [Kebijakan penskalaan pelacakan target](https://docs.aws.amazon.com/autoscaling/application/userguide/application-auto-scaling-target-tracking.html) di Panduan Pengguna *Application Auto Scaling.*
Anda dapat menggunakan penskalaan langkah saat memerlukan konfigurasi lanjutan, seperti menentukan berapa banyak instance yang akan diterapkan dalam kondisi apa. Misalnya, Anda harus menggunakan penskalaan langkah jika Anda ingin mengaktifkan titik akhir untuk menskalakan dari nol instance aktif. Untuk gambaran umum tentang kebijakan penskalaan langkah dan cara kerjanya, lihat Kebijakan [penskalaan langkah di Panduan Pengguna *Application Auto Scaling*](https://docs.aws.amazon.com/autoscaling/application/userguide/application-auto-scaling-step-scaling-policies.html).
Untuk membuat kebijakan penskalaan pelacakan target, Anda menentukan hal berikut:
+ **Metrik** — CloudWatch Metrik untuk dilacak, seperti jumlah rata-rata pemanggilan per instance.
+ **Nilai target — Nilai** target untuk metrik, seperti 70 pemanggilan per instance per menit.
Anda dapat membuat kebijakan penskalaan pelacakan target dengan metrik yang telah ditentukan sebelumnya atau metrik khusus. Metrik yang telah ditentukan sebelumnya didefinisikan dalam enumerasi sehingga Anda dapat menentukannya berdasarkan nama dalam kode atau menggunakannya di konsol AI. SageMaker Atau, Anda dapat menggunakan Application Auto Scaling API AWS CLI atau Application Auto Scaling untuk menerapkan kebijakan penskalaan pelacakan target berdasarkan metrik yang telah ditentukan atau kustom.
Perhatikan bahwa aktivitas penskalaan dilakukan dengan periode cooldown di antara mereka untuk mencegah fluktuasi kapasitas yang cepat. Anda dapat secara opsional mengonfigurasi periode cooldown untuk kebijakan penskalaan Anda.
Untuk informasi selengkapnya tentang konsep kunci penskalaan otomatis, lihat bagian berikut.
## Penskalaan berbasis jadwal
Anda juga dapat membuat tindakan terjadwal untuk melakukan aktivitas penskalaan pada waktu tertentu. Anda dapat membuat tindakan terjadwal yang menskalakan satu kali saja atau menskalakan berdasarkan jadwal berulang. Setelah tindakan terjadwal berjalan, kebijakan penskalaan Anda dapat terus membuat keputusan tentang apakah akan menskalakan secara dinamis saat terjadi perubahan beban kerja. Penskalaan terjadwal hanya dapat dikelola dari Application Auto Scaling AWS CLI API atau Application Auto Scaling. Untuk informasi lebih lanjut, lihat [Penskalaan terjadwal](https://docs.aws.amazon.com/autoscaling/application/userguide/application-auto-scaling-step-scaling-policies.html) dalam *Panduan Pengguna Application Auto Scaling*.
## Batas penskalaan minimum dan maksimum
Saat mengonfigurasi penskalaan otomatis, Anda harus menentukan batas penskalaan sebelum membuat kebijakan penskalaan. Anda menetapkan batas secara terpisah untuk nilai minimum dan maksimum.
Nilai minimum harus minimal 1, dan sama dengan atau kurang dari nilai yang ditentukan untuk nilai maksimum.
Nilai maksimum harus sama dengan atau lebih besar dari nilai yang ditentukan untuk nilai minimum. SageMaker Penskalaan otomatis AI tidak memberlakukan batasan untuk nilai ini.
Untuk menentukan batas penskalaan yang Anda perlukan untuk lalu lintas biasa, uji konfigurasi penskalaan otomatis Anda dengan laju lalu lintas yang diharapkan ke model Anda.
Jika lalu lintas varian menjadi nol, SageMaker AI secara otomatis menskalakan ke jumlah minimum instance yang ditentukan. Dalam hal ini, SageMaker AI memancarkan metrik dengan nilai nol.
Ada tiga opsi untuk menentukan kapasitas minimum dan maksimum:
1. Gunakan konsol untuk memperbarui **jumlah instans Minimum** dan pengaturan **hitungan instans maksimum**.
1. Gunakan AWS CLI dan sertakan `--max-capacity` opsi `--min-capacity` dan saat menjalankan [register-scalable-target](https://docs.aws.amazon.com/cli/latest/reference/application-autoscaling/register-scalable-target.html)perintah.
1. Panggil [RegisterScalableTarget](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_RegisterScalableTarget.html)API dan tentukan `MaxCapacity` parameter `MinCapacity` dan.
**Tip**
Anda dapat menskalakan secara manual dengan meningkatkan nilai minimum, atau menskalakan secara manual dengan mengurangi nilai maksimum.
## Periode pendinginan
*Periode cooldown* digunakan untuk melindungi dari penskalaan berlebih saat model Anda melakukan penskalaan (mengurangi kapasitas) atau penskalaan (meningkatkan kapasitas). Ini dilakukan dengan memperlambat aktivitas penskalaan berikutnya sampai periode berakhir. Secara khusus, ini memblokir penghapusan instance untuk permintaan scale-in, dan membatasi pembuatan instance untuk permintaan scale-out. Untuk informasi selengkapnya, lihat [Menentukan periode cooldown](https://docs.aws.amazon.com/autoscaling/application/userguide/target-tracking-scaling-policy-overview.html#target-tracking-cooldown) di Panduan Pengguna *Application Auto Scaling.*
Anda mengonfigurasi periode cooldown dalam kebijakan penskalaan Anda.
Jika Anda tidak menentukan periode cooldown scale-in atau scale-out, kebijakan penskalaan Anda menggunakan default, yaitu masing-masing 300 detik.
Jika instance ditambahkan atau dihapus terlalu cepat saat Anda menguji konfigurasi penskalaan, pertimbangkan untuk meningkatkan nilai ini. Anda mungkin melihat perilaku ini jika lalu lintas ke model Anda memiliki banyak lonjakan, atau jika Anda memiliki beberapa kebijakan penskalaan yang ditentukan untuk varian.
Jika instance tidak ditambahkan cukup cepat untuk mengatasi peningkatan lalu lintas, pertimbangkan untuk mengurangi nilai ini.
## Sumber daya terkait
Untuk informasi selengkapnya tentang mengonfigurasi penskalaan otomatis, lihat sumber daya berikut:
+ Bagian [application-autoscaling](https://docs.aws.amazon.com/cli/latest/reference/application-autoscaling) dari *Referensi Perintah AWS CLI *
+ [Referensi API Penskalaan Otomatis Aplikasi](https://docs.aws.amazon.com/autoscaling/application/APIReference/)
+ [Panduan Pengguna Penskalaan Otomatis Aplikasi](https://docs.aws.amazon.com/autoscaling/application/userguide/)
**catatan**
SageMaker AI baru-baru ini memperkenalkan kemampuan inferensi baru yang dibangun di atas titik akhir inferensi waktu nyata. Anda membuat titik akhir SageMaker AI dengan konfigurasi titik akhir yang menentukan jenis instans dan jumlah instans awal untuk titik akhir. Kemudian, buat komponen inferensi, yang merupakan objek hosting SageMaker AI yang dapat Anda gunakan untuk menerapkan model ke titik akhir. Untuk informasi tentang penskalaan komponen inferensi, lihat [SageMaker AI menambahkan kemampuan inferensi baru untuk membantu mengurangi biaya penerapan model pondasi dan latensi](https://aws.amazon.com/blogs/aws/amazon-sagemaker-adds-new-inference-capabilities-to-help-reduce-foundation-model-deployment-costs-and-latency/) dan [Mengurangi biaya penerapan model rata-rata sebesar 50% menggunakan fitur terbaru AI di](https://aws.amazon.com/blogs/machine-learning/reduce-model-deployment-costs-by-50-on-average-using-sagemakers-latest-features/) Blog. SageMaker AWS
# Prasyarat penskalaan otomatis
Sebelum Anda dapat menggunakan penskalaan otomatis, Anda harus sudah membuat titik akhir model Amazon SageMaker AI. Anda dapat memiliki beberapa versi model untuk titik akhir yang sama. Setiap model disebut sebagai [varian produksi (model)](model-ab-testing.md). Untuk informasi selengkapnya tentang penerapan titik akhir model, lihat. [Menyebarkan Model ke Layanan Hosting SageMaker AI](ex1-model-deployment.md#ex1-deploy-model)
Untuk mengaktifkan penskalaan otomatis untuk model, Anda dapat menggunakan konsol SageMaker AI, AWS Command Line Interface (AWS CLI), atau AWS SDK melalui Application Auto Scaling API.
+ Jika ini adalah pertama kalinya Anda mengonfigurasi penskalaan untuk model, kami sarankan Anda. [Konfigurasikan penskalaan otomatis model dengan konsol](endpoint-auto-scaling-add-console.md)
+ Saat menggunakan AWS CLI atau Application Auto Scaling API, alurnya adalah mendaftarkan model sebagai target yang dapat diskalakan, menentukan kebijakan penskalaan, dan kemudian menerapkannya. **Di konsol SageMaker AI, di bawah **Inferensi** di panel navigasi, pilih Titik Akhir.** Temukan nama titik akhir model Anda dan kemudian pilih untuk menemukan nama varian. Anda harus menentukan nama titik akhir dan nama varian untuk mengaktifkan penskalaan otomatis untuk model.
Penskalaan otomatis dimungkinkan oleh kombinasi Amazon SageMaker AI, Amazon CloudWatch, dan Application Auto APIs Scaling. Untuk informasi tentang izin minimum yang diperlukan, lihat contoh [kebijakan berbasis identitas Application Auto Scaling](https://docs.aws.amazon.com/autoscaling/application/userguide/security_iam_id-based-policy-examples.html) di Panduan Pengguna Application Auto *Scaling*.
Kebijakan `SagemakerFullAccessPolicy` IAM memiliki semua izin IAM yang diperlukan untuk melakukan penskalaan otomatis. Untuk informasi selengkapnya tentang izin SageMaker AI IAM, lihat. [Cara menggunakan peran eksekusi SageMaker AI](sagemaker-roles.md)
Jika Anda mengelola kebijakan izin Anda sendiri, Anda harus menyertakan izin berikut:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"sagemaker:DescribeEndpoint",
"sagemaker:DescribeEndpointConfig",
"sagemaker:UpdateEndpointWeightsAndCapacities"
],
"Resource": "*"
},
{
"Effect": "Allow",
"Action": [
"application-autoscaling:*"
],
"Resource": "*"
},
{
"Effect": "Allow",
"Action": "iam:CreateServiceLinkedRole",
"Resource": "arn:aws:iam::*:role/aws-service-role/sagemaker.application-autoscaling.amazonaws.com/AWSServiceRoleForApplicationAutoScaling_SageMakerEndpoint",
"Condition": {
"StringLike": { "iam:AWSServiceName": "sagemaker.application-autoscaling.amazonaws.com" }
}
},
{
"Effect": "Allow",
"Action": [
"cloudwatch:PutMetricAlarm",
"cloudwatch:DescribeAlarms",
"cloudwatch:DeleteAlarms"
],
"Resource": "*"
}
]
}
```
------
## Peran tertaut layanan
Penskalaan otomatis menggunakan peran `AWSServiceRoleForApplicationAutoScaling_SageMakerEndpoint` terkait layanan. Peran terkait layanan ini memberikan izin Application Auto Scaling untuk menjelaskan alarm kebijakan Anda, memantau tingkat kapasitas saat ini, dan untuk menskalakan sumber daya target. Peran ini dibuat untuk Anda secara otomatis. Agar pembuatan peran otomatis berhasil, Anda harus memiliki izin untuk `iam:CreateServiceLinkedRole` tindakan tersebut. Untuk informasi selengkapnya, lihat [Peran terkait layanan di Panduan](https://docs.aws.amazon.com/autoscaling/application/userguide/application-auto-scaling-service-linked-roles.html) Pengguna *Application Auto Scaling*.
# Konfigurasikan penskalaan otomatis model dengan konsol
**Untuk mengonfigurasi penskalaan otomatis untuk model (konsol)**
1. Buka konsol Amazon SageMaker AI di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. **Pada panel navigasi, pilih **Inferensi**, lalu pilih Endpoints.**
1. Pilih endpoint Anda, dan kemudian untuk **pengaturan runtime Endpoint**, pilih variannya.
1. Pilih **Konfigurasi penskalaan otomatis**.
1. Pada halaman **Configure variant automatic scaling**, untuk **Variant automatic scaling**, lakukan hal berikut:
1. Untuk **jumlah instans Minimum**, ketikkan jumlah instans minimum yang ingin dipertahankan oleh kebijakan penskalaan. Setidaknya 1 instance diperlukan.
1. Untuk **jumlah instans Maksimum**, ketikkan jumlah instans maksimum yang ingin dipertahankan oleh kebijakan penskalaan.
1. Untuk **kebijakan penskalaan bawaan**, lakukan hal berikut:
1. Untuk **metrik Target**, `SageMakerVariantInvocationsPerInstance` secara otomatis dipilih untuk metrik dan tidak dapat diubah.
1. Untuk **nilai Target**, ketikkan jumlah rata-rata pemanggilan per instance per menit untuk model. Untuk menentukan nilai ini, ikuti pedoman di[Pengujian beban](endpoint-scaling-loadtest.md).
1. (Opsional) Untuk **pendinginan Scale-in (detik)** dan **pendinginan Scale-out (detik)**, masukkan jumlah waktu, dalam detik, untuk setiap periode pendinginan.
1. (Opsional) Pilih **Nonaktifkan skala** jika Anda tidak ingin penskalaan otomatis menghentikan instance saat lalu lintas menurun.
1. Pilih **Simpan**.
Prosedur ini mendaftarkan model sebagai target yang dapat diskalakan dengan Application Auto Scaling. Saat Anda mendaftarkan model, Application Auto Scaling melakukan pemeriksaan validasi untuk memastikan hal-hal berikut:
+ Modelnya ada
+ Izin sudah cukup
+ Anda tidak mendaftarkan varian dengan instance yang merupakan instance kinerja yang dapat dibobol seperti T2
**catatan**
SageMaker AI tidak mendukung penskalaan otomatis untuk instans burstable seperti T2, karena mereka sudah memungkinkan peningkatan kapasitas di bawah peningkatan beban kerja. Untuk informasi tentang instans performa burstable, lihat jenis instans [Amazon EC2](https://aws.amazon.com/ec2/instance-types/).
# Daftarkan model
Sebelum menambahkan kebijakan penskalaan ke model, pertama-tama Anda harus mendaftarkan model Anda untuk penskalaan otomatis dan menentukan batas penskalaan untuk model tersebut.
Prosedur berikut mencakup cara mendaftarkan model (varian produksi) untuk penskalaan otomatis menggunakan AWS Command Line Interface (AWS CLI) atau Application Auto Scaling API.
**Topics**
+ [Daftarkan model (AWS CLI)](#endpoint-auto-scaling-add-cli)
+ [Daftarkan model (Application Auto Scaling API)](#endpoint-auto-scaling-add-api)
## Daftarkan model (AWS CLI)
Untuk mendaftarkan varian produksi Anda, gunakan [register-scalable-target](https://docs.aws.amazon.com/cli/latest/reference/application-autoscaling/register-scalable-target.html)perintah dengan parameter berikut:
+ `--service-namespace`—Tetapkan nilai ini ke`sagemaker`.
+ `--resource-id`—Pengidentifikasi sumber daya untuk model (khususnya, varian produksi). Untuk parameter ini, tipe sumber daya adalah `endpoint` dan pengidentifikasi unik adalah nama varian produksi. Misalnya, `endpoint/my-endpoint/variant/my-variant`.
+ `--scalable-dimension`—Tetapkan nilai ini ke`sagemaker:variant:DesiredInstanceCount`.
+ `--min-capacity`Jumlah minimum instans. Nilai ini harus diatur ke minimal 1 dan harus sama dengan atau kurang dari nilai yang ditentukan untuk`max-capacity`.
+ `--max-capacity`—Jumlah maksimum instance. Nilai ini harus diatur ke minimal 1 dan harus sama dengan atau lebih besar dari nilai yang ditentukan untuk`min-capacity`.
**Example**
Contoh berikut menunjukkan cara mendaftarkan varian bernama`my-variant`, berjalan pada `my-endpoint` titik akhir, yang dapat diskalakan secara dinamis untuk memiliki satu hingga delapan instance.
```
aws application-autoscaling register-scalable-target \
--service-namespace sagemaker \
--resource-id endpoint/my-endpoint/variant/my-variant \
--scalable-dimension sagemaker:variant:DesiredInstanceCount \
--min-capacity 1 \
--max-capacity 8
```
## Daftarkan model (Application Auto Scaling API)
Untuk mendaftarkan model Anda dengan Application Auto Scaling, gunakan aksi [RegisterScalableTarget](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_RegisterScalableTarget.html)Application Auto Scaling API dengan parameter berikut:
+ `ServiceNamespace`—Tetapkan nilai ini ke`sagemaker`.
+ `ResourceID`—Pengidentifikasi sumber daya untuk varian produksi. Untuk parameter ini, tipe sumber daya adalah `endpoint` dan pengidentifikasi unik adalah nama varian. Sebagai contoh, `endpoint/my-endpoint/variant/my-variant`.
+ `ScalableDimension`—Tetapkan nilai ini ke`sagemaker:variant:DesiredInstanceCount`.
+ `MinCapacity`Jumlah minimum instans. Nilai ini harus diatur ke minimal 1 dan harus sama dengan atau kurang dari nilai yang ditentukan untuk`MaxCapacity`.
+ `MaxCapacity`—Jumlah maksimum instance. Nilai ini harus diatur ke minimal 1 dan harus sama dengan atau lebih besar dari nilai yang ditentukan untuk`MinCapacity`.
**Example**
Contoh berikut menunjukkan cara mendaftarkan varian bernama`my-variant`, berjalan pada `my-endpoint` titik akhir, yang dapat diskalakan secara dinamis untuk menggunakan satu hingga delapan instance.
```
POST / HTTP/1.1
Host: application-autoscaling.us-east-2.amazonaws.com
Accept-Encoding: identity
X-Amz-Target: AnyScaleFrontendService.RegisterScalableTarget
X-Amz-Date: 20230506T182145Z
User-Agent: aws-cli/2.0.0 Python/3.7.5 Windows/10 botocore/2.0.0dev4
Content-Type: application/x-amz-json-1.1
Authorization: AUTHPARAMS
{
"ServiceNamespace": "sagemaker",
"ResourceId": "endpoint/my-endpoint/variant/my-variant",
"ScalableDimension": "sagemaker:variant:DesiredInstanceCount",
"MinCapacity": 1,
"MaxCapacity": 8
}
```
# Menentukan kebijakan penskalaan
Sebelum menambahkan kebijakan penskalaan ke model, simpan konfigurasi kebijakan Anda sebagai blok JSON dalam file teks. Anda menggunakan file teks tersebut saat menjalankan AWS Command Line Interface (AWS CLI) atau Application Auto Scaling API. Anda dapat mengoptimalkan penskalaan dengan memilih CloudWatch metrik yang sesuai. Namun, sebelum menggunakan metrik khusus dalam produksi, Anda harus menguji penskalaan otomatis dengan metrik khusus Anda.
**Topics**
+ [Tentukan metrik yang telah ditentukan (CloudWatch metrik: InvocationsPerInstance)](#endpoint-auto-scaling-add-code-predefined)
+ [Tentukan metrik standar resolusi tinggi (CloudWatch metrik: dan) ConcurrentRequestsPerModel ConcurrentRequestsPerCopy](#endpoint-auto-scaling-add-code-high-res)
+ [Tentukan metrik khusus (CloudWatch metrik: CPUUtilization)](#endpoint-auto-scaling-add-code-custom)
+ [Tentukan metrik khusus (CloudWatch metrik: ExplanationsPerInstance)](#endpoint-auto-scaling-online-explainability)
+ [Tentukan periode cooldown](#endpoint-auto-scaling-add-code-cooldown)
Bagian ini menunjukkan contoh konfigurasi kebijakan untuk kebijakan penskalaan pelacakan target.
## Tentukan metrik yang telah ditentukan (CloudWatch metrik: InvocationsPerInstance)
**Example**
Berikut ini adalah contoh konfigurasi kebijakan pelacakan target untuk varian yang menjaga pemanggilan rata-rata per instance pada 70. Simpan konfigurasi ini dalam file bernama `config.json`.
```
{
"TargetValue": 70.0,
"PredefinedMetricSpecification":
{
"PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
}
}
```
Untuk informasi lebih lanjut, lihat [TargetTrackingScalingPolicyConfiguration](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_TargetTrackingScalingPolicyConfiguration.html) dalam *Referensi API Application Auto Scaling*.
## Tentukan metrik standar resolusi tinggi (CloudWatch metrik: dan) ConcurrentRequestsPerModel ConcurrentRequestsPerCopy
Dengan CloudWatch metrik resolusi tinggi berikut, Anda dapat menyetel kebijakan penskalaan untuk volume permintaan bersamaan yang diterima model Anda:
**ConcurrentRequestsPerModel**
Jumlah permintaan bersamaan yang diterima oleh wadah model.
**ConcurrentRequestsPerCopy**
Jumlah permintaan bersamaan yang diterima oleh komponen inferensi.
Metrik ini melacak jumlah permintaan simultan yang ditangani oleh container model Anda, termasuk permintaan yang diantrian di dalam container. Untuk model yang mengirimkan respons inferensi mereka sebagai aliran token, metrik ini melacak setiap permintaan hingga model mengirimkan token terakhir untuk permintaan tersebut.
Sebagai metrik resolusi tinggi, mereka memancarkan data lebih sering daripada metrik standar. CloudWatch Metrik standar, seperti `InvocationsPerInstance` metrik, memancarkan data setiap menit sekali. Namun, metrik resolusi tinggi ini memancarkan data setiap 10 detik. Oleh karena itu, ketika lalu lintas bersamaan ke model Anda meningkat, kebijakan Anda bereaksi dengan menskalakan jauh lebih cepat daripada metrik standar. Namun, karena lalu lintas ke model Anda berkurang, kebijakan Anda menskalakan dengan kecepatan yang sama seperti untuk metrik standar.
Berikut ini adalah contoh konfigurasi kebijakan pelacakan target yang menambahkan instance jika jumlah permintaan bersamaan per model melebihi 5. Simpan konfigurasi ini dalam file bernama `config.json`.
```
{
"TargetValue": 5.0,
"PredefinedMetricSpecification":
{
"PredefinedMetricType": "SageMakerVariantConcurrentRequestsPerModelHighResolution"
}
}
```
Jika Anda menggunakan komponen inferensi untuk menerapkan beberapa model ke titik akhir yang sama, Anda dapat membuat kebijakan yang setara. Dalam hal ini, atur `PredefinedMetricType` ke`SageMakerInferenceComponentConcurrentRequestsPerCopyHighResolution`.
Untuk informasi lebih lanjut, lihat [TargetTrackingScalingPolicyConfiguration](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_TargetTrackingScalingPolicyConfiguration.html) dalam *Referensi API Application Auto Scaling*.
## Tentukan metrik khusus (CloudWatch metrik: CPUUtilization)
Untuk membuat kebijakan penskalaan pelacakan target dengan metrik kustom, tentukan nama metrik, namespace, unit, statistik, dan dimensi nol atau lebih. Dimensi terdiri dari nama dimensi dan nilai dimensi. Anda dapat menggunakan metrik varian produksi apa pun yang berubah sebanding dengan kapasitas.
**Example**
Contoh konfigurasi berikut menunjukkan kebijakan penskalaan pelacakan target dengan metrik kustom. Kebijakan ini menskalakan varian berdasarkan pemanfaatan CPU rata-rata 50 persen di semua kasus. Simpan konfigurasi ini dalam file bernama `config.json`.
```
{
"TargetValue": 50.0,
"CustomizedMetricSpecification":
{
"MetricName": "CPUUtilization",
"Namespace": "/aws/sagemaker/Endpoints",
"Dimensions": [
{"Name": "EndpointName", "Value": "my-endpoint" },
{"Name": "VariantName","Value": "my-variant"}
],
"Statistic": "Average",
"Unit": "Percent"
}
}
```
Untuk informasi lebih lanjut, lihat [CustomizedMetricSpecification](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_CustomizedMetricSpecification.html) dalam *Referensi API Application Auto Scaling*.
## Tentukan metrik khusus (CloudWatch metrik: ExplanationsPerInstance)
Ketika titik akhir mengaktifkan penjelasan online, ia memancarkan `ExplanationsPerInstance` metrik yang menghasilkan jumlah rata-rata catatan yang dijelaskan per menit, per contoh, untuk varian. Pemanfaatan sumber daya untuk menjelaskan catatan bisa lebih berbeda dari pada catatan prediksi. Kami sangat menyarankan menggunakan metrik ini untuk penskalaan pelacakan target titik akhir dengan kemampuan penjelasan online diaktifkan.
Anda dapat membuat beberapa kebijakan pelacakan target untuk target yang dapat diskalakan. Pertimbangkan untuk menambahkan `InvocationsPerInstance` kebijakan dari [Tentukan metrik yang telah ditentukan (CloudWatch metrik: InvocationsPerInstance)](#endpoint-auto-scaling-add-code-predefined) bagian (selain `ExplanationsPerInstance` kebijakan). Jika sebagian besar pemanggilan tidak menampilkan penjelasan karena nilai ambang batas yang ditetapkan dalam `EnableExplanations` parameter, maka titik akhir dapat memilih kebijakan. `InvocationsPerInstance` Jika ada banyak penjelasan, titik akhir dapat menggunakan kebijakan. `ExplanationsPerInstance`
**Example**
Contoh konfigurasi berikut menunjukkan kebijakan penskalaan pelacakan target dengan metrik kustom. Skala kebijakan menyesuaikan jumlah instance varian sehingga setiap instance memiliki `ExplanationsPerInstance` metrik 20. Simpan konfigurasi ini dalam file bernama `config.json`.
```
{
"TargetValue": 20.0,
"CustomizedMetricSpecification":
{
"MetricName": "ExplanationsPerInstance",
"Namespace": "AWS/SageMaker",
"Dimensions": [
{"Name": "EndpointName", "Value": "my-endpoint" },
{"Name": "VariantName","Value": "my-variant"}
],
"Statistic": "Sum"
}
}
```
Untuk informasi lebih lanjut, lihat [CustomizedMetricSpecification](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_CustomizedMetricSpecification.html) dalam *Referensi API Application Auto Scaling*.
## Tentukan periode cooldown
Anda dapat secara opsional menentukan periode cooldown dalam kebijakan penskalaan pelacakan target Anda dengan menentukan dan parameter. `ScaleOutCooldown` `ScaleInCooldown`
**Example**
Berikut ini adalah contoh konfigurasi kebijakan pelacakan target untuk varian yang menjaga pemanggilan rata-rata per instance pada 70. Konfigurasi kebijakan menyediakan periode cooldown scale-in 10 menit (600 detik) dan periode cooldown scale-out 5 menit (300 detik). Simpan konfigurasi ini dalam file bernama `config.json`.
```
{
"TargetValue": 70.0,
"PredefinedMetricSpecification":
{
"PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
},
"ScaleInCooldown": 600,
"ScaleOutCooldown": 300
}
```
Untuk informasi lebih lanjut, lihat [TargetTrackingScalingPolicyConfiguration](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_TargetTrackingScalingPolicyConfiguration.html) dalam *Referensi API Application Auto Scaling*.
# Menerapkan kebijakan penskalaan
Setelah Anda mendaftarkan model dan menentukan kebijakan penskalaan, terapkan kebijakan penskalaan ke model terdaftar. Bagian ini menunjukkan cara menerapkan kebijakan penskalaan menggunakan AWS Command Line Interface (AWS CLI) atau Application Auto Scaling API.
**Topics**
+ [Menerapkan kebijakan penskalaan pelacakan target ()AWS CLI](#endpoint-auto-scaling-add-code-apply-cli)
+ [Menerapkan kebijakan penskalaan (Application Auto Scaling API)](#endpoint-auto-scaling-add-code-apply-api)
## Menerapkan kebijakan penskalaan pelacakan target ()AWS CLI
Untuk menerapkan kebijakan penskalaan pada model Anda, gunakan [put-scaling-policy](https://docs.aws.amazon.com/cli/latest/reference/application-autoscaling/put-scaling-policy.html) AWS CLI perintah dengan parameter berikut:
+ `--policy-name`—Nama kebijakan penskalaan.
+ `--policy-type`—Tetapkan nilai ini ke`TargetTrackingScaling`.
+ `--resource-id`—Pengidentifikasi sumber daya untuk varian. Untuk parameter ini, tipe sumber daya adalah `endpoint` dan pengidentifikasi unik adalah nama varian. Misalnya, `endpoint/my-endpoint/variant/my-variant`.
+ `--service-namespace`—Tetapkan nilai ini ke`sagemaker`.
+ `--scalable-dimension`—Tetapkan nilai ini ke`sagemaker:variant:DesiredInstanceCount`.
+ `--target-tracking-scaling-policy-configuration`—Konfigurasi kebijakan penskalaan pelacakan target yang akan digunakan untuk model.
**Example**
Contoh berikut menerapkan kebijakan penskalaan pelacakan target yang diberi nama `my-scaling-policy` ke varian bernama`my-variant`, berjalan di titik `my-endpoint` akhir. Untuk `--target-tracking-scaling-policy-configuration` opsi, tentukan `config.json` file yang Anda buat sebelumnya.
```
aws application-autoscaling put-scaling-policy \
--policy-name my-scaling-policy \
--policy-type TargetTrackingScaling \
--resource-id endpoint/my-endpoint/variant/my-variant \
--service-namespace sagemaker \
--scalable-dimension sagemaker:variant:DesiredInstanceCount \
--target-tracking-scaling-policy-configuration file://config.json
```
## Menerapkan kebijakan penskalaan (Application Auto Scaling API)
Untuk menerapkan kebijakan penskalaan ke varian dengan Application Auto Scaling API, gunakan [PutScalingPolicy](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_PutScalingPolicy.html)aksi Application Auto Scaling API dengan parameter berikut:
+ `PolicyName`—Nama kebijakan penskalaan.
+ `ServiceNamespace`—Tetapkan nilai ini ke`sagemaker`.
+ `ResourceID`—Pengidentifikasi sumber daya untuk varian. Untuk parameter ini, tipe sumber daya adalah `endpoint` dan pengidentifikasi unik adalah nama varian. Misalnya, `endpoint/my-endpoint/variant/my-variant`.
+ `ScalableDimension`—Tetapkan nilai ini ke`sagemaker:variant:DesiredInstanceCount`.
+ `PolicyType`—Tetapkan nilai ini ke`TargetTrackingScaling`.
+ `TargetTrackingScalingPolicyConfiguration`—Konfigurasi kebijakan penskalaan pelacakan target yang akan digunakan untuk varian.
**Example**
Contoh berikut menerapkan kebijakan penskalaan pelacakan target yang diberi nama `my-scaling-policy` ke varian bernama`my-variant`, berjalan di titik `my-endpoint` akhir. Konfigurasi kebijakan menjaga pemanggilan rata-rata per instance pada 70.
```
POST / HTTP/1.1
Host: application-autoscaling.us-east-2.amazonaws.com
Accept-Encoding: identity
X-Amz-Target: AnyScaleFrontendService.
X-Amz-Date: 20230506T182145Z
User-Agent: aws-cli/2.0.0 Python/3.7.5 Windows/10 botocore/2.0.0dev4
Content-Type: application/x-amz-json-1.1
Authorization: AUTHPARAMS
{
"PolicyName": "my-scaling-policy",
"ServiceNamespace": "sagemaker",
"ResourceId": "endpoint/my-endpoint/variant/my-variant",
"ScalableDimension": "sagemaker:variant:DesiredInstanceCount",
"PolicyType": "TargetTrackingScaling",
"TargetTrackingScalingPolicyConfiguration": {
"TargetValue": 70.0,
"PredefinedMetricSpecification":
{
"PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
}
}
}
```
# Petunjuk untuk mengedit kebijakan penskalaan
Setelah membuat kebijakan penskalaan, Anda dapat mengedit pengaturannya kecuali namanya.
Untuk mengedit kebijakan penskalaan pelacakan target dengan Konsol Manajemen AWS, gunakan prosedur yang sama dengan yang Anda gunakan. [Konfigurasikan penskalaan otomatis model dengan konsol](endpoint-auto-scaling-add-console.md)
Anda dapat menggunakan Application Auto Scaling API AWS CLI atau Application Auto Scaling untuk mengedit kebijakan penskalaan dengan cara yang sama seperti Anda membuat kebijakan penskalaan baru. Untuk informasi selengkapnya, lihat [Menerapkan kebijakan penskalaan](endpoint-auto-scaling-add-code-apply.md).
# Matikan sementara kebijakan penskalaan
Setelah mengonfigurasi penskalaan otomatis, Anda memiliki opsi berikut jika perlu menyelidiki masalah tanpa gangguan dari kebijakan penskalaan (penskalaan dinamis):
+ Menangguhkan sementara dan kemudian melanjutkan aktivitas penskalaan dengan memanggil perintah [register-scalable-target](https://docs.aws.amazon.com/cli/latest/reference/application-autoscaling/register-scalable-target.html)CLI atau tindakan [RegisterScalableTarget](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_RegisterScalableTarget.html)API, menentukan nilai Boolean untuk keduanya dan. `DynamicScalingInSuspended` `DynamicScalingOutSuspended`
**Example**
Contoh berikut menunjukkan cara menangguhkan kebijakan penskalaan untuk varian bernama`my-variant`, berjalan di titik akhir`my-endpoint`.
```
aws application-autoscaling register-scalable-target \
--service-namespace sagemaker \
--resource-id endpoint/my-endpoint/variant/my-variant \
--scalable-dimension sagemaker:variant:DesiredInstanceCount \
--suspended-state '{"DynamicScalingInSuspended":true,"DynamicScalingOutSuspended":true}'
```
+ Cegah kebijakan penskalaan pelacakan target tertentu dari penskalaan dalam varian Anda dengan menonaktifkan bagian penskalaan kebijakan. Metode ini mencegah kebijakan penskalaan menghapus instance, sambil tetap mengizinkannya membuatnya sesuai kebutuhan.
Nonaktifkan sementara dan kemudian aktifkan aktivitas penskalaan dengan mengedit kebijakan menggunakan perintah [put-scaling-policy](https://docs.aws.amazon.com/cli/latest/reference/application-autoscaling/put-scaling-policy.html)CLI atau tindakan [PutScalingPolicy](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_PutScalingPolicy.html)API, yang menentukan nilai Boolean untuk. `DisableScaleIn`
**Example**
Berikut ini adalah contoh konfigurasi pelacakan target untuk kebijakan penskalaan yang akan menskalakan tetapi tidak menskalakan.
```
{
"TargetValue": 70.0,
"PredefinedMetricSpecification":
{
"PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
},
"DisableScaleIn": true
}
```
# Menghapus kebijakan penskalaan
Jika Anda tidak lagi memerlukan kebijakan penskalaan, Anda dapat menghapusnya kapan saja.
**Topics**
+ [Hapus semua kebijakan penskalaan dan deregister model (konsol)](#endpoint-auto-scaling-delete-console)
+ [Menghapus kebijakan penskalaan (AWS CLI atau Application Auto Scaling API)](#endpoint-auto-scaling-delete-code)
## Hapus semua kebijakan penskalaan dan deregister model (konsol)
**Untuk menghapus semua kebijakan penskalaan dan membatalkan pendaftaran varian sebagai target yang dapat diskalakan**
1. Buka konsol Amazon SageMaker AI di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. Pada panel navigasi, pilih **Endpoints**.
1. Pilih endpoint Anda, dan kemudian untuk **pengaturan runtime Endpoint**, pilih variannya.
1. Pilih **Konfigurasi penskalaan otomatis**.
1. Pilih **Deregister auto scaling**.
## Menghapus kebijakan penskalaan (AWS CLI atau Application Auto Scaling API)
Anda dapat menggunakan Application Auto Scaling API AWS CLI atau Application Auto Scaling untuk menghapus kebijakan penskalaan dari varian.
### Menghapus kebijakan penskalaan ()AWS CLI
Untuk menghapus kebijakan penskalaan dari varian, gunakan [delete-scaling-policy](https://docs.aws.amazon.com/cli/latest/reference/application-autoscaling/delete-scaling-policy.html)perintah dengan parameter berikut:
+ `--policy-name`—Nama kebijakan penskalaan.
+ `--resource-id`—Pengidentifikasi sumber daya untuk varian. Untuk parameter ini, tipe sumber daya adalah `endpoint` dan pengidentifikasi unik adalah nama varian. Misalnya, `endpoint/my-endpoint/variant/my-variant`.
+ `--service-namespace`—Tetapkan nilai ini ke`sagemaker`.
+ `--scalable-dimension`—Tetapkan nilai ini ke`sagemaker:variant:DesiredInstanceCount`.
**Example**
Contoh berikut menghapus kebijakan penskalaan pelacakan target yang dinamai `my-scaling-policy` dari varian bernama`my-variant`, berjalan di titik akhir`my-endpoint`.
```
aws application-autoscaling delete-scaling-policy \
--policy-name my-scaling-policy \
--resource-id endpoint/my-endpoint/variant/my-variant \
--service-namespace sagemaker \
--scalable-dimension sagemaker:variant:DesiredInstanceCount
```
### Menghapus kebijakan penskalaan (Application Auto Scaling API)
Untuk menghapus kebijakan penskalaan dari varian Anda, gunakan tindakan [DeleteScalingPolicy](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_DeleteScalingPolicy.html)Application Auto Scaling API dengan parameter berikut:
+ `PolicyName`—Nama kebijakan penskalaan.
+ `ServiceNamespace`—Tetapkan nilai ini ke`sagemaker`.
+ `ResourceID`—Pengidentifikasi sumber daya untuk varian. Untuk parameter ini, tipe sumber daya adalah `endpoint` dan pengidentifikasi unik adalah nama varian. Misalnya, `endpoint/my-endpoint/variant/my-variant`.
+ `ScalableDimension`—Tetapkan nilai ini ke`sagemaker:variant:DesiredInstanceCount`.
**Example**
Contoh berikut menghapus kebijakan penskalaan pelacakan target yang dinamai `my-scaling-policy` dari varian bernama`my-variant`, berjalan di titik akhir`my-endpoint`.
```
POST / HTTP/1.1
Host: application-autoscaling.us-east-2.amazonaws.com
Accept-Encoding: identity
X-Amz-Target: AnyScaleFrontendService.DeleteScalingPolicy
X-Amz-Date: 20230506T182145Z
User-Agent: aws-cli/2.0.0 Python/3.7.5 Windows/10 botocore/2.0.0dev4
Content-Type: application/x-amz-json-1.1
Authorization: AUTHPARAMS
{
"PolicyName": "my-scaling-policy",
"ServiceNamespace": "sagemaker",
"ResourceId": "endpoint/my-endpoint/variant/my-variant",
"ScalableDimension": "sagemaker:variant:DesiredInstanceCount"
}
```
# Memeriksa status aktivitas penskalaan dengan menjelaskan aktivitas penskalaan
Anda dapat memeriksa status aktivitas penskalaan untuk titik akhir yang diskalakan otomatis dengan menjelaskan aktivitas penskalaan. Application Auto Scaling memberikan informasi deskriptif tentang aktivitas penskalaan di namespace yang ditentukan dari enam minggu sebelumnya. Untuk informasi selengkapnya, lihat [Aktivitas penskalaan untuk Application Auto](https://docs.aws.amazon.com/autoscaling/application/userguide/application-auto-scaling-scaling-activities.html) Scaling di Panduan Pengguna *Application Auto Scaling*.
Untuk memeriksa status aktivitas penskalaan, gunakan [describe-scaling-activities](https://docs.aws.amazon.com/cli/latest/reference/application-autoscaling/describe-scaling-activities.html)perintah. Anda tidak dapat memeriksa status aktivitas penskalaan menggunakan konsol.
**Topics**
+ [Jelaskan aktivitas penskalaan ()AWS CLI](#endpoint-how-to)
+ [Identifikasi aktivitas penskalaan yang diblokir dari kuota instance ()AWS CLI](#endpoint-identify-blocked-autoscaling)
## Jelaskan aktivitas penskalaan ()AWS CLI
Untuk menjelaskan aktivitas penskalaan untuk semua sumber daya SageMaker AI yang terdaftar dengan Application Auto Scaling, gunakan perintah, [describe-scaling-activities](https://docs.aws.amazon.com/cli/latest/reference/application-autoscaling/describe-scaling-activities.html)yang `sagemaker` menentukan opsi tersebut. `--service-namespace`
```
aws application-autoscaling describe-scaling-activities \
--service-namespace sagemaker
```
Untuk menggambarkan aktivitas penskalaan untuk sumber daya tertentu, sertakan `--resource-id` opsi.
```
aws application-autoscaling describe-scaling-activities \
--service-namespace sagemaker \
--resource-id endpoint/my-endpoint/variant/my-variant
```
Contoh berikut menunjukkan output yang dihasilkan ketika Anda menjalankan perintah ini.
```
{
"ActivityId": "activity-id",
"ServiceNamespace": "sagemaker",
"ResourceId": "endpoint/my-endpoint/variant/my-variant",
"ScalableDimension": "sagemaker:variant:DesiredInstanceCount",
"Description": "string",
"Cause": "string",
"StartTime": timestamp,
"EndTime": timestamp,
"StatusCode": "string",
"StatusMessage": "string"
}
```
## Identifikasi aktivitas penskalaan yang diblokir dari kuota instance ()AWS CLI
Saat Anda memperkecil skala (menambahkan lebih banyak instance), Anda mungkin mencapai kuota instans tingkat akun Anda. Anda dapat menggunakan [describe-scaling-activities](https://docs.aws.amazon.com/cli/latest/reference/application-autoscaling/describe-scaling-activities.html)perintah untuk memeriksa apakah Anda telah mencapai kuota instans Anda. Ketika Anda melebihi kuota Anda, penskalaan otomatis diblokir.
Untuk memeriksa apakah Anda telah mencapai kuota instans Anda, gunakan [describe-scaling-activities](https://docs.aws.amazon.com/cli/latest/reference/application-autoscaling/describe-scaling-activities.html)perintah dan tentukan ID sumber daya untuk `--resource-id` opsi tersebut.
```
aws application-autoscaling describe-scaling-activities \
--service-namespace sagemaker \
--resource-id endpoint/my-endpoint/variant/my-variant
```
Dalam sintaks pengembalian, periksa [StatusMessage](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_ScalingActivity.html#autoscaling-Type-ScalingActivity-StatusMessage)kunci [StatusCode](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_ScalingActivity.html#autoscaling-Type-ScalingActivity-StatusCode)dan dan nilai terkaitnya. `StatusCode`kembali`Failed`. Di dalamnya `StatusMessage` ada pesan yang menunjukkan bahwa kuota layanan tingkat akun telah tercapai. Berikut ini adalah contoh dari apa pesan itu mungkin terlihat seperti:
```
{
"ActivityId": "activity-id",
"ServiceNamespace": "sagemaker",
"ResourceId": "endpoint/my-endpoint/variant/my-variant",
"ScalableDimension": "sagemaker:variant:DesiredInstanceCount",
"Description": "string",
"Cause": "minimum capacity was set to 110",
"StartTime": timestamp,
"EndTime": timestamp,
"StatusCode": "Failed",
"StatusMessage": "Failed to set desired instance count to 110. Reason: The
account-level service limit 'ml.xx.xxxxxx for endpoint usage' is 1000
Instances, with current utilization of 997 Instances and a request delta
of 20 Instances. Please contact AWS support to request an increase for this
limit. (Service: AmazonSageMaker; Status Code: 400;
Error Code: ResourceLimitExceeded; Request ID: request-id)."
}
```
# Menskalakan titik akhir ke nol instance
Saat menyiapkan penskalaan otomatis untuk titik akhir, Anda dapat mengizinkan proses penskalaan untuk mengurangi jumlah instans dalam layanan menjadi nol. Dengan demikian, Anda menghemat biaya selama periode ketika titik akhir Anda tidak melayani permintaan inferensi dan oleh karena itu tidak memerlukan instance aktif apa pun.
Namun, setelah menskalakan ke nol instans, titik akhir Anda tidak dapat menanggapi permintaan inferensi yang masuk hingga menyediakan setidaknya satu instance. Untuk mengotomatiskan proses penyediaan, Anda membuat kebijakan penskalaan langkah dengan Application Auto Scaling. Kemudian, Anda menetapkan kebijakan ke CloudWatch alarm Amazon.
Setelah menyiapkan kebijakan penskalaan langkah dan alarm, titik akhir Anda akan secara otomatis menyediakan instance segera setelah menerima permintaan inferensi yang tidak dapat ditanggapi. Ketahuilah bahwa proses penyediaan memakan waktu beberapa menit. Selama waktu itu, setiap upaya untuk memanggil titik akhir akan menghasilkan kesalahan.
Prosedur berikut menjelaskan cara mengatur penskalaan otomatis untuk titik akhir sehingga skalanya masuk ke, dan keluar dari, nol instance. Prosedur menggunakan perintah dengan AWS CLI.
**Sebelum Anda mulai**
Sebelum titik akhir Anda dapat menskalakan ke, dan keluar dari, nol instans, titik akhir harus memenuhi persyaratan berikut:
+ Itu dalam pelayanan.
+ Ini menampung satu atau lebih komponen inferensi. Titik akhir dapat menskalakan ke dan dari nol instance hanya jika ia menampung komponen inferensi.
Untuk informasi tentang komponen inferensi hosting di titik akhir SageMaker AI, lihat. [Terapkan model untuk inferensi waktu nyata](realtime-endpoints-deploy-models.md)
+ Dalam konfigurasi endpoint, untuk `ManagedInstanceScaling` objek varian produksi, Anda telah mengatur `MinInstanceCount` parameternya. `0`
Untuk informasi referensi tentang parameter ini, lihat [ProductionVariantManagedInstanceScaling](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariantManagedInstanceScaling.html).
**Untuk mengaktifkan titik akhir untuk menskalakan ke nol instance ()AWS CLI**
Untuk setiap komponen inferensi yang dihosting endpoint, lakukan hal berikut:
1. Daftarkan komponen inferensi sebagai target yang dapat diskalakan. Saat Anda mendaftarkannya, atur kapasitas minimum ke`0`, seperti yang ditunjukkan oleh perintah berikut:
```
aws application-autoscaling register-scalable-target \
--service-namespace sagemaker \
--resource-id inference-component/inference-component-name \
--scalable-dimension sagemaker:inference-component:DesiredCopyCount \
--min-capacity 0 \
--max-capacity n
```
Dalam contoh ini, ganti *inference-component-name* dengan nama komponen inferensi Anda. Ganti *n* dengan jumlah maksimum salinan komponen inferensi untuk penyediaan saat penskalaan.
Untuk informasi lebih lanjut tentang perintah ini dan masing-masing parameternya, lihat [register-scalable-target](https://docs.aws.amazon.com/cli/latest/reference/application-autoscaling/register-scalable-target.html)di *Referensi AWS CLI Perintah*.
1. Menerapkan kebijakan pelacakan target ke komponen inferensi, seperti yang ditunjukkan oleh perintah berikut:
```
aws application-autoscaling put-scaling-policy \
--policy-name my-scaling-policy \
--policy-type TargetTrackingScaling \
--resource-id inference-component/inference-component-name \
--service-namespace sagemaker \
--scalable-dimension sagemaker:inference-component:DesiredCopyCount \
--target-tracking-scaling-policy-configuration file://config.json
```
Dalam contoh ini, ganti *inference-component-name* dengan nama komponen inferensi Anda.
Dalam contoh, `config.json` file berisi konfigurasi kebijakan pelacakan target, seperti berikut ini:
```
{
"PredefinedMetricSpecification": {
"PredefinedMetricType": "SageMakerInferenceComponentInvocationsPerCopy"
},
"TargetValue": 1,
"ScaleInCooldown": 300,
"ScaleOutCooldown": 300
}
```
Untuk contoh lainnya melacak konfigurasi kebijakan, lihat[Menentukan kebijakan penskalaan](endpoint-auto-scaling-add-code-define.md).
Untuk informasi lebih lanjut tentang perintah ini dan masing-masing parameternya, lihat [put-scaling-policy](https://docs.aws.amazon.com/cli/latest/reference/application-autoscaling/put-scaling-policy.html)di *Referensi AWS CLI Perintah*.
**Untuk mengaktifkan titik akhir untuk skala keluar dari nol instance ()AWS CLI**
Untuk setiap komponen inferensi yang dihosting endpoint, lakukan hal berikut:
1. Terapkan kebijakan penskalaan langkah ke komponen inferensi, seperti yang ditunjukkan oleh perintah berikut:
```
aws application-autoscaling put-scaling-policy \
--policy-name my-scaling-policy \
--policy-type StepScaling \
--resource-id inference-component/inference-component-name \
--service-namespace sagemaker \
--scalable-dimension sagemaker:inference-component:DesiredCopyCount \
--step-scaling-policy-configuration file://config.json
```
Dalam contoh ini, ganti *my-scaling-policy* dengan nama unik untuk kebijakan Anda. Ganti *inference-component-name* dengan nama komponen inferensi Anda.
Dalam contoh, `config.json` file berisi konfigurasi kebijakan penskalaan langkah, seperti berikut ini:
```
{
"AdjustmentType": "ChangeInCapacity",
"MetricAggregationType": "Maximum",
"Cooldown": 60,
"StepAdjustments":
[
{
"MetricIntervalLowerBound": 0,
"ScalingAdjustment": 1
}
]
}
```
Ketika kebijakan penskalaan langkah ini dipicu, SageMaker AI menyediakan instance yang diperlukan untuk mendukung salinan komponen inferensi.
Setelah Anda membuat kebijakan penskalaan langkah, perhatikan Nama Sumber Daya Amazon (ARN). Anda memerlukan ARN untuk CloudWatch alarm di langkah berikutnya.
Untuk informasi selengkapnya tentang kebijakan penskalaan langkah, lihat [Kebijakan penskalaan langkah di Panduan](https://docs.aws.amazon.com/autoscaling/application/userguide/application-auto-scaling-step-scaling-policies.html) Pengguna *Application Auto Scaling*.
1. Buat CloudWatch alarm dan tetapkan kebijakan penskalaan langkah ke dalamnya, seperti yang ditunjukkan oleh contoh berikut:
```
aws cloudwatch put-metric-alarm \
--alarm-actions step-scaling-policy-arn \
--alarm-description "Alarm when SM IC endpoint invoked that has 0 instances." \
--alarm-name ic-step-scaling-alarm \
--comparison-operator GreaterThanThreshold \
--datapoints-to-alarm 1 \
--dimensions "Name=InferenceComponentName,Value=inference-component-name" \
--evaluation-periods 1 \
--metric-name NoCapacityInvocationFailures \
--namespace AWS/SageMaker \
--period 60 \
--statistic Sum \
--threshold 1
```
Dalam contoh ini, ganti *step-scaling-policy-arn* dengan ARN kebijakan penskalaan langkah Anda. Ganti *ic-step-scaling-alarm* dengan nama pilihan Anda. Ganti *inference-component-name* dengan nama komponen inferensi Anda.
Contoh ini menetapkan `--metric-name` parameter ke`NoCapacityInvocationFailures`. SageMaker AI memancarkan metrik ini ketika titik akhir menerima permintaan inferensi, tetapi titik akhir tidak memiliki instance aktif untuk melayani permintaan. Ketika peristiwa itu terjadi, alarm memulai kebijakan penskalaan langkah di langkah sebelumnya.
Untuk informasi lebih lanjut tentang perintah ini dan masing-masing parameternya, lihat [put-metric-alarm](https://docs.aws.amazon.com/cli/latest/reference/cloudwatch/put-metric-alarm.html)di *Referensi AWS CLI Perintah*.
# Uji beban konfigurasi penskalaan otomatis Anda
Lakukan tes beban untuk memilih konfigurasi penskalaan yang berfungsi seperti yang Anda inginkan.
Pedoman pengujian beban berikut mengasumsikan Anda menggunakan kebijakan penskalaan yang menggunakan metrik target yang telah ditentukan sebelumnya. `SageMakerVariantInvocationsPerInstance`
**Topics**
+ [Tentukan karakteristik kinerja](#endpoint-scaling-loadtest-variant)
+ [Hitung beban target](#endpoint-scaling-loadtest-calc)
## Tentukan karakteristik kinerja
Lakukan pengujian beban untuk menemukan puncak `InvocationsPerInstance` yang dapat ditangani oleh varian produksi model Anda, dan latensi permintaan, saat konkurensi meningkat.
Nilai ini bergantung pada jenis instans yang dipilih, muatan yang biasanya dikirim oleh klien model Anda, dan kinerja dependensi eksternal apa pun yang dimiliki model Anda.
**Untuk menemukan puncak requests-per-second (RPS) varian produksi model Anda dapat menangani dan latensi permintaan**
1. Siapkan titik akhir dengan model Anda menggunakan satu instance. Untuk informasi tentang cara menyiapkan titik akhir, lihat[Menyebarkan Model ke Layanan Hosting SageMaker AI](ex1-model-deployment.md#ex1-deploy-model).
1. Gunakan alat pengujian beban untuk menghasilkan peningkatan jumlah permintaan paralel, dan pantau RPS dan latensi model di out put dari alat pengujian beban.
**catatan**
Anda juga dapat memantau requests-per-minute alih-alih RPS. Dalam hal ini jangan kalikan dengan 60 dalam persamaan untuk menghitung yang `SageMakerVariantInvocationsPerInstance` ditunjukkan di bawah ini.
Ketika latensi model meningkat atau proporsi transaksi yang berhasil menurun, ini adalah RPS puncak yang dapat ditangani model Anda.
## Hitung beban target
Setelah Anda menemukan karakteristik kinerja varian, Anda dapat menentukan RPS maksimum yang harus kami izinkan untuk dikirim ke sebuah instance. Ambang batas yang digunakan untuk penskalaan harus kurang dari nilai maksimum ini. Gunakan persamaan berikut dalam kombinasi dengan pengujian beban untuk menentukan nilai yang benar untuk metrik `SageMakerVariantInvocationsPerInstance` target dalam konfigurasi penskalaan Anda.
```
SageMakerVariantInvocationsPerInstance = (MAX_RPS * SAFETY_FACTOR) * 60
```
Di `MAX_RPS` mana RPS maksimum yang Anda tentukan sebelumnya, dan `SAFETY_FACTOR` merupakan faktor keamanan yang Anda pilih untuk memastikan bahwa klien Anda tidak melebihi RPS maksimum. Kalikan dengan 60 untuk mengonversi dari RPS invocations-per-minute agar sesuai dengan CloudWatch metrik per menit yang digunakan SageMaker AI untuk menerapkan penskalaan otomatis (Anda tidak perlu melakukan ini jika Anda mengukur requests-per-minute sebagai gantinya). requests-per-second
**catatan**
SageMaker AI merekomendasikan agar Anda mulai menguji dengan `SAFETY_FACTOR` 0,5. Uji konfigurasi penskalaan Anda untuk memastikannya beroperasi seperti yang Anda harapkan dengan model Anda untuk meningkatkan dan mengurangi lalu lintas pelanggan di titik akhir Anda.
# Gunakan CloudFormation untuk membuat kebijakan penskalaan
Contoh berikut menunjukkan cara mengonfigurasi penskalaan otomatis model pada titik akhir menggunakan. CloudFormation
```
Endpoint:
Type: "AWS::SageMaker::Endpoint"
Properties:
EndpointName: yourEndpointName
EndpointConfigName: yourEndpointConfigName
ScalingTarget:
Type: "AWS::ApplicationAutoScaling::ScalableTarget"
Properties:
MaxCapacity: 10
MinCapacity: 2
ResourceId: endpoint/my-endpoint/variant/my-variant
RoleARN: arn
ScalableDimension: sagemaker:variant:DesiredInstanceCount
ServiceNamespace: sagemaker
ScalingPolicy:
Type: "AWS::ApplicationAutoScaling::ScalingPolicy"
Properties:
PolicyName: my-scaling-policy
PolicyType: TargetTrackingScaling
ScalingTargetId:
Ref: ScalingTarget
TargetTrackingScalingPolicyConfiguration:
TargetValue: 70.0
ScaleInCooldown: 600
ScaleOutCooldown: 30
PredefinedMetricSpecification:
PredefinedMetricType: SageMakerVariantInvocationsPerInstance
```
Untuk informasi selengkapnya, lihat [Membuat sumber daya Application Auto Scaling dengan AWS CloudFormation di Panduan](https://docs.aws.amazon.com/autoscaling/application/userguide/creating-resources-with-cloudformation.html) Pengguna *Application Auto Scaling*.
# Perbarui titik akhir yang menggunakan penskalaan otomatis
Saat Anda memperbarui titik akhir, Application Auto Scaling memeriksa untuk melihat apakah salah satu model pada titik akhir tersebut adalah target untuk penskalaan otomatis. Jika pembaruan akan mengubah jenis instance untuk model apa pun yang menjadi target penskalaan otomatis, pembaruan gagal.
Di Konsol Manajemen AWS, Anda melihat peringatan bahwa Anda harus membatalkan pendaftaran model dari penskalaan otomatis sebelum Anda dapat memperbaruinya. Jika Anda mencoba memperbarui titik akhir dengan memanggil [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)API, panggilan gagal. Sebelum memperbarui titik akhir, hapus kebijakan penskalaan apa pun yang dikonfigurasi untuknya dan deregister varian sebagai target yang dapat diskalakan dengan memanggil tindakan Application Auto [DeregisterScalableTarget](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_DeregisterScalableTarget.html)Scaling API. Setelah memperbarui titik akhir, Anda dapat mendaftarkan varian yang diperbarui sebagai target yang dapat diskalakan dan melampirkan kebijakan penskalaan.
Ada satu pengecualian. Jika Anda mengubah model untuk varian yang dikonfigurasi untuk penskalaan otomatis, penskalaan otomatis Amazon SageMaker AI memungkinkan pembaruan. Ini karena mengubah model biasanya tidak cukup memengaruhi kinerja untuk mengubah perilaku penskalaan. Jika Anda memperbarui model untuk varian yang dikonfigurasi untuk penskalaan otomatis, pastikan bahwa perubahan pada model tidak memengaruhi kinerja dan perilaku penskalaan secara signifikan.
Saat Anda memperbarui titik akhir SageMaker AI yang menerapkan penskalaan otomatis, selesaikan langkah-langkah berikut:
**Untuk memperbarui titik akhir yang menerapkan penskalaan otomatis**
1. Deregister endpoint sebagai target yang dapat diskalakan dengan menelepon. [DeregisterScalableTarget](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_DeregisterScalableTarget.html)
1. Karena penskalaan otomatis diblokir saat operasi pembaruan sedang berlangsung (atau jika Anda mematikan penskalaan otomatis pada langkah sebelumnya), Anda mungkin ingin mengambil tindakan pencegahan tambahan untuk meningkatkan jumlah instance untuk titik akhir Anda selama pembaruan. Untuk melakukan ini, perbarui jumlah instance untuk varian produksi yang dihosting di titik akhir dengan memanggil. [UpdateEndpointWeightsAndCapacities](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpointWeightsAndCapacities.html)
1. Panggil [ DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html)berulang kali sampai nilai `EndpointStatus` bidang responsnya`InService`.
1. Panggil [ DescribeEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpointConfig.html)untuk mendapatkan nilai konfigurasi titik akhir saat ini.
1. Buat konfigurasi titik akhir baru dengan menelepon. [ CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html) Untuk varian produksi tempat Anda ingin menyimpan jumlah atau bobot instans yang ada, gunakan nama varian yang sama dari respons dari panggilan ke [ DescribeEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpointConfig.html)langkah sebelumnya. Untuk semua nilai lainnya, gunakan nilai yang Anda dapatkan sebagai respons saat Anda menelepon [ DescribeEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpointConfig.html)di langkah sebelumnya.
1. Perbarui titik akhir dengan menelepon [ UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html). Tentukan konfigurasi titik akhir yang Anda buat di langkah sebelumnya sebagai bidang. `EndpointConfig` Jika Anda ingin mempertahankan properti varian seperti hitungan instance atau bobot, tetapkan nilai `RetainAllVariantProperties` parameter ke`True`. Ini menentukan bahwa varian produksi dengan nama yang sama akan diperbarui dengan yang terbaru `DesiredInstanceCount` dari respons dari panggilan ke`DescribeEndpoint`, terlepas dari nilai `InitialInstanceCount` bidang di yang baru`EndpointConfig`.
1. (Opsional) Aktifkan kembali penskalaan otomatis dengan menelepon [RegisterScalableTarget](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_RegisterScalableTarget.html)dan. [PutScalingPolicy](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_PutScalingPolicy.html)
**catatan**
Langkah 1 dan 7 hanya diperlukan jika Anda memperbarui titik akhir dengan perubahan berikut:
Mengubah jenis instans untuk varian produksi yang memiliki penskalaan otomatis yang dikonfigurasi
Menghapus varian produksi yang memiliki penskalaan otomatis yang dikonfigurasi.
# Hapus titik akhir yang dikonfigurasi untuk penskalaan otomatis
Jika Anda menghapus titik akhir, Application Auto Scaling akan memeriksa apakah salah satu model pada titik akhir tersebut adalah target untuk penskalaan otomatis. Jika ada dan Anda memiliki izin untuk membatalkan pendaftaran model, Application Auto Scaling membatalkan pendaftaran model tersebut sebagai target yang dapat diskalakan tanpa memberi tahu Anda. Jika Anda menggunakan kebijakan izin khusus yang tidak memberikan izin untuk [DeregisterScalableTarget](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_DeregisterScalableTarget.html)tindakan tersebut, Anda harus meminta akses ke tindakan ini sebelum menghapus titik akhir.
**catatan**
Sebagai pengguna IAM, Anda mungkin tidak memiliki izin yang cukup untuk menghapus titik akhir jika pengguna lain mengonfigurasi penskalaan otomatis untuk varian pada titik akhir tersebut.
# Volume penyimpanan instans
Saat Anda membuat titik akhir, Amazon SageMaker AI melampirkan volume penyimpanan Amazon Elastic Block Store (Amazon EBS) ke EC2 instans Amazon yang menampung titik akhir. Ukuran volume penyimpanan dapat diskalakan, dan opsi penyimpanan dibagi menjadi dua kategori: penyimpanan yang didukung SSD dan penyimpanan yang didukung HDD.
Untuk informasi selengkapnya tentang penyimpanan dan fitur Amazon EBS, lihat halaman berikut.
+ [Fitur Amazon EBS](https://aws.amazon.com/ebs/features/)
+ [Panduan Pengguna Amazon EBS](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/AmazonEBS.html)
Untuk daftar lengkap volume penyimpanan instans host, lihat [Tabel Volume Penyimpanan Instans Host](https://aws.amazon.com/releasenotes/host-instance-storage-volumes-table/)
**catatan**
Amazon SageMaker AI melampirkan volume penyimpanan Amazon Elastic Block Store (Amazon EBS) ke EC2 instans Amazon hanya saat Anda membuat atau jenis titik akhir. [Inferensi asinkron](async-inference.md) [Inferensi waktu nyata](realtime-endpoints.md) Untuk informasi selengkapnya tentang menyesuaikan volume penyimpanan Amazon EBS, lihat. [SageMaker Parameter titik akhir AI untuk inferensi model besar](large-model-inference-hosting.md)
# Validasi model dalam produksi
Dengan SageMaker AI, Anda dapat menguji beberapa model atau versi model di belakang titik akhir yang sama menggunakan varian. Varian terdiri dari instance ML dan komponen penyajian yang ditentukan dalam model SageMaker AI. Anda dapat memiliki beberapa varian di belakang titik akhir. Setiap varian dapat memiliki jenis instans yang berbeda atau model SageMaker AI yang dapat diskalakan otomatis secara independen dari yang lain. Model dalam varian dapat dilatih menggunakan kumpulan data yang berbeda, algoritme yang berbeda, kerangka kerja ML yang berbeda, atau kombinasi dari semua ini. Semua varian di balik titik akhir berbagi kode inferensi yang sama. SageMaker AI mendukung dua jenis varian, varian produksi dan varian bayangan.
Jika Anda memiliki beberapa varian produksi di belakang titik akhir, maka Anda dapat mengalokasikan sebagian permintaan inferensi Anda ke setiap varian. Setiap permintaan dialihkan ke hanya satu varian produksi. Varian produksi tempat permintaan diarahkan memberikan respons kepada penelepon. Anda dapat membandingkan bagaimana varian produksi bekerja relatif satu sama lain.
Anda juga dapat memiliki varian bayangan yang sesuai dengan varian produksi di belakang titik akhir. Sebagian dari permintaan inferensi yang masuk ke varian produksi direplikasi ke varian bayangan. Respons varian bayangan dicatat untuk perbandingan dan tidak dikembalikan ke pemanggil. Ini memungkinkan Anda menguji kinerja varian bayangan tanpa mengekspos pemanggil ke respons yang dihasilkan oleh varian bayangan.
**Topics**
+ [Menguji model dengan varian produksi](model-ab-testing.md)
+ [Menguji model dengan varian bayangan](model-shadow-deployment.md)
# Menguji model dengan varian produksi
Dalam alur kerja produksi, ilmuwan dan insinyur data sering mencoba meningkatkan kinerja menggunakan berbagai metode, seperti, pelatihan tentang data tambahan atau yang lebih baru[Penyetelan model otomatis dengan AI SageMaker](automatic-model-tuning.md), meningkatkan pemilihan fitur, menggunakan instance yang diperbarui dengan lebih baik, dan wadah penyajian. Anda dapat menggunakan varian produksi untuk membandingkan model, instans, dan kontainer Anda, dan memilih kandidat berkinerja terbaik untuk menanggapi permintaan inferensi.
Dengan titik akhir multi-varian SageMaker AI, Anda dapat mendistribusikan permintaan pemanggilan titik akhir di beberapa varian produksi dengan menyediakan distribusi lalu lintas untuk setiap varian, atau Anda dapat memanggil varian tertentu secara langsung untuk setiap permintaan. Dalam topik ini, kita melihat kedua metode untuk menguji model ML.
**Topics**
+ [Uji model dengan menentukan distribusi lalu lintas](#model-testing-traffic-distribution)
+ [Uji model dengan menggunakan varian tertentu](#model-testing-target-variant)
+ [Contoh A/B uji model](#model-ab-test-example)
## Uji model dengan menentukan distribusi lalu lintas
Untuk menguji beberapa model dengan mendistribusikan lalu lintas di antara mereka, tentukan persentase lalu lintas yang diarahkan ke setiap model dengan menentukan bobot untuk setiap varian produksi dalam konfigurasi titik akhir. Untuk informasi, lihat [CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html). Diagram berikut menunjukkan cara kerjanya secara lebih rinci.
![\[Contoh yang menunjukkan bagaimana mendistribusikan lalu lintas antar model yang menggunakan InvokeEndpoint bekerja di SageMaker AI.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/model-traffic-distribution.png)
## Uji model dengan menggunakan varian tertentu
Untuk menguji beberapa model dengan menjalankan model tertentu untuk setiap permintaan, tentukan versi spesifik model yang ingin Anda panggil dengan memberikan nilai untuk `TargetVariant` parameter saat Anda memanggil. [InvokeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_runtime_InvokeEndpoint.html) SageMaker AI memastikan bahwa permintaan diproses oleh varian produksi yang Anda tentukan. Jika Anda telah menyediakan distribusi lalu lintas dan menentukan nilai untuk `TargetVariant` parameter, perutean yang ditargetkan akan mengesampingkan distribusi lalu lintas acak. Diagram berikut menunjukkan cara kerjanya secara lebih rinci.
![\[Contoh yang menunjukkan cara menjalankan model tertentu untuk setiap permintaan yang digunakan InvokeEndpoint bekerja di SageMaker AI.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/model-target-variant.png)
## Contoh A/B uji model
Melakukan A/B pengujian antara model baru dan model lama dengan lalu lintas produksi dapat menjadi langkah terakhir yang efektif dalam proses validasi untuk model baru. Dalam A/B pengujian, Anda menguji berbagai varian model Anda dan membandingkan kinerja masing-masing varian. Jika versi model yang lebih baru memberikan kinerja yang lebih baik daripada versi yang ada sebelumnya, ganti versi lama model dengan versi baru dalam produksi.
Contoh berikut menunjukkan bagaimana melakukan pengujian A/B model. Untuk contoh buku catatan yang mengimplementasikan contoh ini, lihat [“A/B Menguji model ML dalam produksi](https://sagemaker-examples.readthedocs.io/en/latest/sagemaker_endpoints/a_b_testing/a_b_testing.html).
### Langkah 1: Buat dan terapkan model
Pertama, kami menentukan di mana model kami berada di Amazon S3. Lokasi-lokasi ini digunakan saat kami menerapkan model kami dalam langkah-langkah selanjutnya:
```
model_url = f"s3://{path_to_model_1}"
model_url2 = f"s3://{path_to_model_2}"
```
Selanjutnya, kita membuat objek model dengan data gambar dan model. Objek model ini digunakan untuk menyebarkan varian produksi pada titik akhir. Model dikembangkan dengan melatih model ML pada kumpulan data yang berbeda, algoritme atau kerangka kerja ML yang berbeda, dan hiperparameter yang berbeda:
```
from sagemaker.amazon.amazon_estimator import get_image_uri
model_name = f"DEMO-xgb-churn-pred-{datetime.now():%Y-%m-%d-%H-%M-%S}"
model_name2 = f"DEMO-xgb-churn-pred2-{datetime.now():%Y-%m-%d-%H-%M-%S}"
image_uri = get_image_uri(boto3.Session().region_name, 'xgboost', '0.90-1')
image_uri2 = get_image_uri(boto3.Session().region_name, 'xgboost', '0.90-2')
sm_session.create_model(
name=model_name,
role=role,
container_defs={
'Image': image_uri,
'ModelDataUrl': model_url
}
)
sm_session.create_model(
name=model_name2,
role=role,
container_defs={
'Image': image_uri2,
'ModelDataUrl': model_url2
}
)
```
Kami sekarang membuat dua varian produksi, masing-masing dengan model dan persyaratan sumber daya yang berbeda (jenis dan jumlah instance). Ini memungkinkan Anda untuk juga menguji model pada jenis instans yang berbeda.
Kami menetapkan initial\$1weight 1 untuk kedua varian. Ini berarti bahwa 50% dari permintaan pergi ke`Variant1`, dan 50% sisanya dari permintaan ke`Variant2`. Jumlah bobot di kedua varian adalah 2 dan setiap varian memiliki penetapan bobot 1. Ini berarti bahwa setiap varian menerima 1/2, atau 50%, dari total lalu lintas.
```
from sagemaker.session import production_variant
variant1 = production_variant(
model_name=model_name,
instance_type="ml.m5.xlarge",
initial_instance_count=1,
variant_name='Variant1',
initial_weight=1,
)
variant2 = production_variant(
model_name=model_name2,
instance_type="ml.m5.xlarge",
initial_instance_count=1,
variant_name='Variant2',
initial_weight=1,
)
```
Akhirnya kami siap untuk menerapkan varian produksi ini pada titik akhir SageMaker AI.
```
endpoint_name = f"DEMO-xgb-churn-pred-{datetime.now():%Y-%m-%d-%H-%M-%S}"
print(f"EndpointName={endpoint_name}")
sm_session.endpoint_from_production_variants(
name=endpoint_name,
production_variants=[variant1, variant2]
)
```
### Langkah 2: Panggil model yang digunakan
Sekarang kami mengirim permintaan ke titik akhir ini untuk mendapatkan kesimpulan secara real time. Kami menggunakan distribusi lalu lintas dan penargetan langsung.
Pertama, kami menggunakan distribusi lalu lintas yang kami konfigurasikan pada langkah sebelumnya. Setiap respons inferensi berisi nama varian produksi yang memproses permintaan, sehingga kita dapat melihat bahwa lalu lintas ke dua varian produksi kira-kira sama.
```
# get a subset of test data for a quick test
!tail -120 test_data/test-dataset-input-cols.csv > test_data/test_sample_tail_input_cols.csv
print(f"Sending test traffic to the endpoint {endpoint_name}. \nPlease wait...")
with open('test_data/test_sample_tail_input_cols.csv', 'r') as f:
for row in f:
print(".", end="", flush=True)
payload = row.rstrip('\n')
sm_runtime.invoke_endpoint(
EndpointName=endpoint_name,
ContentType="text/csv",
Body=payload
)
time.sleep(0.5)
print("Done!")
```
SageMaker AI memancarkan metrik seperti `Latency` dan `Invocations` untuk setiap varian di Amazon. CloudWatch Untuk daftar lengkap metrik yang dipancarkan SageMaker AI, lihat. [Metrik Amazon SageMaker AI di Amazon CloudWatch](monitoring-cloudwatch.md) Mari kueri CloudWatch untuk mendapatkan jumlah pemanggilan per varian, untuk menunjukkan bagaimana pemanggilan dibagi di seluruh varian secara default:
![\[Contoh CloudWatch jumlah pemanggilan per varian.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/model-variant-invocations.png)
Sekarang mari kita memanggil versi tertentu dari model dengan menentukan `Variant1` sebagai `TargetVariant` dalam panggilan ke. `invoke_endpoint`
```
print(f"Sending test traffic to the endpoint {endpoint_name}. \nPlease wait...")
with open('test_data/test_sample_tail_input_cols.csv', 'r') as f:
for row in f:
print(".", end="", flush=True)
payload = row.rstrip('\n')
sm_runtime.invoke_endpoint(
EndpointName=endpoint_name,
ContentType="text/csv",
Body=payload,
TargetVariant="Variant1"
)
time.sleep(0.5)
```
Untuk mengonfirmasi bahwa semua pemanggilan baru diproses oleh`Variant1`, kita dapat CloudWatch melakukan kueri untuk mendapatkan jumlah pemanggilan per varian. Kami melihat bahwa untuk pemanggilan terbaru (stempel waktu terbaru), semua permintaan diproses oleh`Variant1`, seperti yang telah kami tentukan. Tidak ada doa yang dibuat untuk. `Variant2`
![\[Contoh CloudWatch jumlah pemanggilan untuk setiap varian.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/model-invocations-target1.png)
### Langkah 3: Evaluasi kinerja model
Untuk melihat versi model mana yang berkinerja lebih baik, mari kita evaluasi akurasi, presisi, penarikan, skor F1, dan Penerima yang beroperasi charactersistic/Area di bawah kurva untuk setiap varian. Pertama, mari kita lihat metrik ini untuk`Variant1`:
![\[Contoh kurva karakteristik operasi penerima untukVariant1.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/model-curve.png)
Sekarang mari kita lihat metrik untuk`Variant2`:
![\[Contoh kurva karakteristik operasi penerima untukVariant2.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/model2-curve.png)
Untuk sebagian besar metrik yang kami tentukan, `Variant2` berkinerja lebih baik, jadi inilah yang ingin kami gunakan dalam produksi.
### Langkah 4: Tingkatkan lalu lintas ke model terbaik
Sekarang kami telah menentukan bahwa `Variant2` kinerjanya lebih baik daripada`Variant1`, kami mengalihkan lebih banyak lalu lintas ke sana. Kami dapat terus menggunakan `TargetVariant` untuk memanggil varian model tertentu, tetapi pendekatan yang lebih sederhana adalah memperbarui bobot yang ditetapkan untuk setiap varian dengan memanggil. [UpdateEndpointWeightsAndCapacities](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpointWeightsAndCapacities.html) Ini mengubah distribusi lalu lintas ke varian produksi Anda tanpa memerlukan pembaruan ke titik akhir Anda. Ingat dari bagian pengaturan bahwa kami menetapkan bobot varian untuk membagi lalu lintas 50/50. CloudWatch Metrik untuk total pemanggilan untuk setiap varian di bawah ini menunjukkan kepada kita pola pemanggilan untuk setiap varian:
![\[Contoh CloudWatch metrik untuk total pemanggilan untuk setiap varian.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/model-invocations-even-dist.png)
Sekarang kita menggeser 75% dari lalu lintas ke `Variant2` dengan menetapkan bobot baru untuk setiap varian menggunakan. `UpdateEndpointWeightsAndCapacities` SageMaker AI sekarang mengirimkan 75% dari permintaan inferensi ke `Variant2` dan sisanya 25% dari permintaan ke`Variant1`.
```
sm.update_endpoint_weights_and_capacities(
EndpointName=endpoint_name,
DesiredWeightsAndCapacities=[
{
"DesiredWeight": 25,
"VariantName": variant1["VariantName"]
},
{
"DesiredWeight": 75,
"VariantName": variant2["VariantName"]
}
]
)
```
CloudWatch Metrik untuk pemanggilan total untuk setiap varian menunjukkan kepada kita pemanggilan yang lebih tinggi daripada untuk: `Variant2` `Variant1`
![\[Contoh CloudWatch metrik untuk pemanggilan total untuk setiap varian.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/model-invocations-75-25.png)
Kami dapat terus memantau metrik kami, dan ketika kami puas dengan kinerja varian, kami dapat merutekan 100% lalu lintas ke varian itu. Kami gunakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpointWeightsAndCapacities.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpointWeightsAndCapacities.html)untuk memperbarui tugas lalu lintas untuk varian. Berat untuk `Variant1` diatur ke 0 dan berat untuk `Variant2` diatur ke 1. SageMaker AI sekarang mengirimkan 100% dari semua permintaan inferensi ke`Variant2`.
```
sm.update_endpoint_weights_and_capacities(
EndpointName=endpoint_name,
DesiredWeightsAndCapacities=[
{
"DesiredWeight": 0,
"VariantName": variant1["VariantName"]
},
{
"DesiredWeight": 1,
"VariantName": variant2["VariantName"]
}
]
)
```
CloudWatch Metrik untuk total pemanggilan untuk setiap varian menunjukkan bahwa semua permintaan inferensi sedang diproses oleh `Variant2` dan tidak ada permintaan inferensi yang diproses oleh. `Variant1`
![\[Contoh CloudWatch metrik untuk total pemanggilan untuk setiap varian.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/model-invocations-best-model.png)
Anda sekarang dapat memperbarui titik akhir dengan aman dan menghapus `Variant1` dari titik akhir Anda. Anda juga dapat terus menguji model baru dalam produksi dengan menambahkan varian baru ke titik akhir Anda dan mengikuti langkah 2 - 4.
# Menguji model dengan varian bayangan
Anda dapat menggunakan SageMaker AI Model Shadow Deployment untuk membuat varian bayangan yang berjalan lama untuk memvalidasi komponen kandidat baru dari tumpukan penyajian model Anda sebelum mempromosikannya ke produksi. Diagram berikut menunjukkan bagaimana varian bayangan bekerja secara lebih rinci.
![\[Detail varian bayangan.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/juxtaposer/shadow-variant.png)
## Menyebarkan varian bayangan
Contoh kode berikut menunjukkan bagaimana Anda dapat menerapkan varian bayangan secara terprogram. Ganti contoh *user placeholder text* dalam dengan informasi Anda sendiri.
1. Buat dua model SageMaker AI: satu untuk varian produksi Anda, dan satu untuk varian bayangan Anda.
```
import boto3
from sagemaker import get_execution_role, Session
aws_region = "aws-region"
boto_session = boto3.Session(region_name=aws_region)
sagemaker_client = boto_session.client("sagemaker")
role = get_execution_role()
bucket = Session(boto_session).default_bucket()
model_name1 = "name-of-your-first-model"
model_name2 = "name-of-your-second-model"
sagemaker_client.create_model(
ModelName = model_name1,
ExecutionRoleArn = role,
Containers=[
{
"Image": "ecr-image-uri-for-first-model",
"ModelDataUrl": "s3-location-of-trained-first-model"
}
]
)
sagemaker_client.create_model(
ModelName = model_name2,
ExecutionRoleArn = role,
Containers=[
{
"Image": "ecr-image-uri-for-second-model",
"ModelDataUrl": "s3-location-of-trained-second-model"
}
]
)
```
1. Buat konfigurasi titik akhir. Tentukan varian produksi dan bayangan Anda dalam konfigurasi.
```
endpoint_config_name = name-of-your-endpoint-config
create_endpoint_config_response = sagemaker_client.create_endpoint_config(
EndpointConfigName=endpoint_config_name,
ProductionVariants=[
{
"VariantName": name-of-your-production-variant,
"ModelName": model_name1,
"InstanceType": "ml.m5.xlarge",
"InitialInstanceCount": 1,
"InitialVariantWeight": 1,
}
],
ShadowProductionVariants=[
{
"VariantName": name-of-your-shadow-variant,
"ModelName": model_name2,
"InstanceType": "ml.m5.xlarge",
"InitialInstanceCount": 1,
"InitialVariantWeight": 1,
}
]
)
```
1. Buat titik akhir.
```
create_endpoint_response = sm.create_endpoint(
EndpointName=name-of-your-endpoint,
EndpointConfigName=endpoint_config_name,
)
```
# Penjelasan online dengan Clarify SageMaker
Panduan ini menunjukkan cara mengonfigurasi penjelasan online dengan SageMaker Clarify. Dengan titik akhir [inferensi real-time SageMaker ](https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints.html) AI, Anda dapat menganalisis penjelasan secara real time, terus menerus. Fungsi penjelasan online cocok dengan bagian **Deploy to production** dari alur kerja [Amazon AI Machine SageMaker Learning](https://docs.aws.amazon.com/sagemaker/latest/dg/how-it-works-mlconcepts.html).
## Bagaimana Klarifikasi Penjelasan Online Bekerja
Grafik berikut menggambarkan arsitektur SageMaker AI untuk menghosting titik akhir yang melayani permintaan penjelasan. Ini menggambarkan interaksi antara titik akhir, wadah model, dan SageMaker penjelasan Clarify.
![\[SageMaker Arsitektur AI menunjukkan hosting titik akhir yang melayani permintaan penjelasan sesuai permintaan.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/clarify/DeveloperGuideArchitecture.png)
Inilah cara kerja Clarify online explainability. Aplikasi mengirimkan `InvokeEndpoint` permintaan gaya REST ke SageMaker AI Runtime Service. Layanan merutekan permintaan ini ke titik akhir SageMaker AI untuk mendapatkan prediksi dan penjelasan. Kemudian, layanan menerima respons dari titik akhir. Terakhir, layanan mengirimkan respons kembali ke aplikasi.
Untuk meningkatkan ketersediaan titik akhir, SageMaker AI secara otomatis mencoba mendistribusikan instance titik akhir di beberapa Availability Zone, sesuai dengan jumlah instans dalam konfigurasi titik akhir. Pada instance titik akhir, atas permintaan penjelasan baru, penjelasan SageMaker Clarify memanggil wadah model untuk prediksi. Kemudian menghitung dan mengembalikan atribusi fitur.
Berikut adalah empat langkah untuk membuat endpoint yang menggunakan SageMaker Clarify online explainability:
1. [Periksa apakah model SageMaker AI pra-terlatih Anda kompatibel dengan penjelasan online dengan mengikuti langkah-langkah pra-pemeriksaan.](https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-online-explainability-precheck.html)
1. [Buat konfigurasi endpoint dengan konfigurasi](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html) SageMaker Clarify explainer menggunakan API. `CreateEndpointConfig`
1. [Buat titik akhir](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html) dan berikan konfigurasi titik akhir ke SageMaker AI menggunakan API. `CreateEndpoint` Layanan meluncurkan instance komputasi ML dan menerapkan model seperti yang ditentukan dalam konfigurasi.
1. [Panggil titik akhir: Setelah titik](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_runtime_InvokeEndpoint.html) akhir dalam layanan, panggil SageMaker AI Runtime API `InvokeEndpoint` untuk mengirim permintaan ke titik akhir. Titik akhir kemudian mengembalikan penjelasan dan prediksi.
# Pra-periksa wadah model
Bagian ini menunjukkan cara memeriksa terlebih dahulu input dan output wadah model untuk kompatibilitas sebelum mengonfigurasi titik akhir. SageMaker Penjelasan Clarify adalah **model agnostik**, tetapi memiliki persyaratan untuk input dan output wadah model.
**catatan**
Anda dapat meningkatkan efisiensi dengan mengonfigurasi penampung Anda untuk mendukung permintaan batch, yang mendukung dua atau lebih catatan dalam satu permintaan. Misalnya, catatan tunggal adalah satu baris data CSV, atau satu baris data JSON Lines. SageMaker Clarify akan mencoba mengirim kumpulan catatan mini ke wadah model terlebih dahulu sebelum kembali ke permintaan rekaman tunggal.
## Masukan wadah model
------
#### [ CSV ]
Wadah model mendukung input dalam CSV dengan tipe MIME:. `text/csv` Tabel berikut menunjukkan contoh input yang mendukung SageMaker Clarify.
| Masukan wadah model (representasi string) | Komentar |
| --- | --- |
| '1,2,3,4' | Rekaman tunggal yang menggunakan empat fitur numerik. |
| '1,2,3,4\$1n5,6,7,8' | Dua catatan, dipisahkan oleh jeda baris '\$1n'. |
| “Ini adalah produk yang bagus”, 5' | Rekaman tunggal yang berisi fitur teks dan fitur numerik. |
| '"Ini adalah produk yang bagus” ,5\$1n“Pengalaman belanja yang buruk”, 1 ' | Dua catatan. |
------
#### [ JSON Lines ]
SageMaker AI juga mendukung input dalam [format padat JSON Lines](https://docs.aws.amazon.com/sagemaker/latest/dg/cdf-inference.html#cm-jsonlines) dengan tipe MIME:`application/jsonlines`, seperti yang ditunjukkan pada tabel berikut.
| Masukan wadah model | Komentar |
| --- | --- |
| '\$1"data”: \$1"features”: [1,2,3,4]\$1\$1' | Rekaman tunggal; daftar fitur dapat diekstraksi dengan JMESPath ekspresi`data.features`. |
| '\$1"data”: \$1"features”: [1,2,3,4]\$1\$1\$1n\$1"data”: \$1"features”: [5,6,7,8]\$1\$1' | Dua catatan. |
| '\$1"features”: ["Ini adalah produk yang bagus” ,5]\$1' | Rekaman tunggal; daftar fitur dapat diekstraksi dengan JMESPath ekspresi`features`. |
| '\$1"features”: ["Ini adalah produk yang bagus” ,5]\$1\$1n\$1"features”: ["Pengalaman belanja yang buruk” ,1]\$1' | Dua catatan. |
------
## Output wadah model
Output wadah model Anda juga harus dalam format padat CSV, atau JSON Lines. Selain itu wadah model harus menyertakan probabilitas catatan input, yang digunakan SageMaker Clarify untuk menghitung atribusi fitur.
Contoh data berikut adalah untuk output wadah model dalam **format CSV**.
------
#### [ Probability only ]
Untuk masalah regresi dan klasifikasi biner, wadah model mengeluarkan nilai probabilitas tunggal (skor) dari label yang diprediksi. Probabilitas ini dapat diekstraksi menggunakan indeks kolom 0. Untuk masalah multi-kelas, wadah model mengeluarkan daftar probabilitas (skor). Untuk masalah multi-kelas, jika tidak ada indeks yang disediakan, semua nilai diekstraksi.
| Masukan wadah model | Output wadah model (representasi string) |
| --- | --- |
| Rekaman tunggal | '0,6' |
| Dua catatan (hasil dalam satu baris) | '0,6,0,3' |
| Dua catatan (menghasilkan dua baris) | '0,6\$1n0,3' |
| Rekaman tunggal model multi-kelas (tiga kelas) | '0.1,0.6,0.3' |
| Dua catatan model multi-kelas (tiga kelas) | '0.1,0.6,0.3\$1n0.2,0.5,0.3' |
------
#### [ Predicted label and probabilities ]
Wadah model mengeluarkan label yang diprediksi diikuti oleh probabilitasnya dalam **format CSV**. Probabilitas dapat diekstraksi menggunakan indeks. `1`
| Masukan wadah model | Output wadah model |
| --- | --- |
| Rekaman tunggal | '1,0.6' |
| Dua catatan | '1,0.6\$1n0,0.3' |
------
#### [ Predicted labels header and probabilities ]
**Wadah model multi-kelas yang dilatih oleh Autopilot dapat dikonfigurasi untuk menampilkan **representasi string** dari daftar label dan probabilitas yang diprediksi dalam format CSV.** Dalam contoh berikut, probabilitas dapat diekstraksi dengan indeks. `1` Header label dapat diekstraksi dengan indeks`1`, dan header label dapat diekstraksi menggunakan indeks. `0`
| Masukan wadah model | Output wadah model |
| --- | --- |
| Rekaman tunggal | '"[\$1 'cat\$1',\$1 'dog\$1 ',\$1 'ikan\$1']”, "[0.1,0.6,0.3]" ' |
| Dua catatan | '"[\$1 'cat\$1',\$1 'dog\$1 ',\$1 'ikan\$1']”, "[0.1,0.6,0.3]”\$1n“[\$1 'cat\$1 ',\$1 'dog\$1',\$1 'ikan\$1 ']”, "[0.2,0.5,0.3]"' |
------
Contoh data berikut adalah untuk output wadah model dalam format **JSON Lines**.
------
#### [ Probability only ]
Dalam contoh ini, wadah model mengeluarkan probabilitas yang dapat diekstraksi dengan [https://jmespath.org/](https://jmespath.org/)ekspresi `score` dalam format **JSON** Lines.
| Masukan wadah model | Output wadah model |
| --- | --- |
| Rekaman tunggal | '\$1"skor” :0.6\$1' |
| Dua catatan | '\$1"score” :0.6\$1\$1n\$1"skor” :0.3\$1' |
------
#### [ Predicted label and probabilities ]
**Dalam contoh ini, wadah model multi-kelas mengeluarkan daftar header label bersama dengan daftar probabilitas dalam format JSON Lines.** Probabilitas dapat diekstraksi dengan `JMESPath` ekspresi`probability`, dan header label dapat diekstraksi dengan ekspresi. `JMESPath` `predicted labels`
| Masukan wadah model | Output wadah model |
| --- | --- |
| Rekaman tunggal | '\$1"predicted\$1labels”: ["cat”, "dog”, "fish "], "probabilities”: [0.1,0.6,0.3]\$1' |
| Dua catatan | '\$1"predicted\$1labels”: ["cat”, "dog”, "fish "], "probabilities”: [0.1,0.6,0.3]\$1\$1n\$1"predicted\$1labels”: ["cat”, "dog”, "fish "], "probabilities”: [0.2,0.5,0.3]\$1' |
------
#### [ Predicted labels header and probabilities ]
**Dalam contoh ini, wadah model multi-kelas mengeluarkan daftar header label dan probabilitas dalam format JSON Lines.** Probabilitas dapat diekstraksi dengan `JMESPath` ekspresi`probability`, dan header label dapat diekstraksi dengan ekspresi. `JMESPath` `predicted labels`
| Masukan wadah model | Output wadah model |
| --- | --- |
| Rekaman tunggal | '\$1"predicted\$1labels”: ["cat”, "dog”, "fish "], "probabilities”: [0.1,0.6,0.3]\$1' |
| Dua catatan | '\$1"predicted\$1labels”: ["cat”, "dog”, "fish "], "probabilities”: [0.1,0.6,0.3]\$1\$1n\$1"predicted\$1labels”: ["cat”, "dog”, "fish "], "probabilities”: [0.2,0.5,0.3]\$1' |
------
## Validasi wadah model
Kami menyarankan Anda menerapkan model Anda ke titik akhir inferensi real-time SageMaker AI, dan mengirim permintaan ke titik akhir. Periksa permintaan (input kontainer model) dan respons (keluaran wadah model) secara manual untuk memastikan bahwa keduanya sesuai dengan persyaratan di bagian Input **Penampung Model dan bagian Output** **Penampung Model**. Jika wadah model Anda mendukung permintaan batch, Anda dapat memulai dengan satu permintaan rekaman, lalu mencoba dua atau lebih catatan.
Perintah berikut menunjukkan cara meminta respons menggunakan AWS CLI. AWS CLI Ini sudah diinstal sebelumnya di SageMaker Studio Classic, dan instance SageMaker Notebook. Jika Anda perlu menginstal AWS CLI, ikuti [panduan instalasi](https://aws.amazon.com/cli/) ini.
```
aws sagemaker-runtime invoke-endpoint \
--endpoint-name $ENDPOINT_NAME \
--content-type $CONTENT_TYPE \
--accept $ACCEPT_TYPE \
--body $REQUEST_DATA \
$CLI_BINARY_FORMAT \
/dev/stderr 1>/dev/null
```
Parameter didefinisikan, sebagai berikut:
+ `$ENDPOINT NAME`: Nama titik akhir.
+ `$CONTENT_TYPE`: Jenis permintaan MIME (input wadah model).
+ `$ACCEPT_TYPE`: Jenis respons MIME (keluaran wadah model).
+ `$REQUEST_DATA`: String payload yang diminta.
+ `$CLI_BINARY_FORMAT`: Format parameter antarmuka baris perintah (CLI). Untuk AWS CLI v1, parameter ini harus tetap kosong. Untuk v2, parameter ini harus diatur ke`--cli-binary-format raw-in-base64-out`.
**catatan**
AWS CLI [v2 melewati parameter biner sebagai string yang dikodekan base64 default.](https://docs.aws.amazon.com/cli/latest/userguide/cliv2-migration.html#cliv2-migration-binaryparam)
Contoh berikut menggunakan AWS CLI v1:
------
#### [ Request and response in CSV format ]
+ Permintaan terdiri dari satu catatan dan responsnya adalah nilai probabilitasnya.
```
aws sagemaker-runtime invoke-endpoint \
--endpoint-name test-endpoint-sagemaker-xgboost-model \
--content-type text/csv \
--accept text/csv \
--body '1,2,3,4' \
/dev/stderr 1>/dev/null
```
Output:
`0.6`
+ Permintaan terdiri dari dua catatan, dan responsnya mencakup probabilitasnya, dan model memisahkan probabilitas dengan koma. `$'content'`Ekspresi dalam `--body` memberitahu perintah untuk menafsirkan `\n` dalam konten sebagai jeda baris.
```
aws sagemaker-runtime invoke-endpoint \
--endpoint-name test-endpoint-sagemaker-xgboost-model \
--content-type text/csv \
--accept text/csv \
--body $'1,2,3,4\n5,6,7,8' \
/dev/stderr 1>/dev/null
```
Output:
`0.6,0.3`
+ Permintaan terdiri dari dua catatan, respons mencakup probabilitasnya, dan model memisahkan probabilitas dengan jeda baris.
```
aws sagemaker-runtime invoke-endpoint \
--endpoint-name test-endpoint-csv-1 \
--content-type text/csv \
--accept text/csv \
--body $'1,2,3,4\n5,6,7,8' \
/dev/stderr 1>/dev/null
```
Output:
`0.6`
`0.3`
+ Permintaan terdiri dari satu catatan, dan responsnya adalah nilai probabilitas (model multi-kelas, tiga kelas).
```
aws sagemaker-runtime invoke-endpoint \
--endpoint-name test-endpoint-csv-1 \
--content-type text/csv \
--accept text/csv \
--body '1,2,3,4' \
/dev/stderr 1>/dev/null
```
Output:
`0.1,0.6,0.3`
+ Permintaan terdiri dari dua catatan, dan responsnya mencakup nilai probabilitasnya (model multi-kelas, tiga kelas).
```
aws sagemaker-runtime invoke-endpoint \
--endpoint-name test-endpoint-csv-1 \
--content-type text/csv \
--accept text/csv \
--body $'1,2,3,4\n5,6,7,8' \
/dev/stderr 1>/dev/null
```
Output:
`0.1,0.6,0.3`
`0.2,0.5,0.3`
+ Permintaan terdiri dari dua catatan, dan responsnya mencakup label dan probabilitas yang diprediksi.
```
aws sagemaker-runtime invoke-endpoint \
--endpoint-name test-endpoint-csv-2 \
--content-type text/csv \
--accept text/csv \
--body $'1,2,3,4\n5,6,7,8' \
/dev/stderr 1>/dev/null
```
Output:
`1,0.6`
`0,0.3`
+ Permintaan terdiri dari dua catatan dan responsnya mencakup header label dan probabilitas.
```
aws sagemaker-runtime invoke-endpoint \
--endpoint-name test-endpoint-csv-3 \
--content-type text/csv \
--accept text/csv \
--body $'1,2,3,4\n5,6,7,8' \
/dev/stderr 1>/dev/null
```
Output:
`"['cat','dog','fish']","[0.1,0.6,0.3]"`
`"['cat','dog','fish']","[0.2,0.5,0.3]"`
------
#### [ Request and response in JSON Lines format ]
+ Permintaan terdiri dari satu catatan dan responsnya adalah nilai probabilitasnya.
```
aws sagemaker-runtime invoke-endpoint \
--endpoint-name test-endpoint-jsonlines \
--content-type application/jsonlines \
--accept application/jsonlines \
--body '{"features":["This is a good product",5]}' \
/dev/stderr 1>/dev/null
```
Output:
`{"score":0.6}`
+ Permintaan berisi dua catatan, dan responsnya mencakup label dan probabilitas yang diprediksi.
```
aws sagemaker-runtime invoke-endpoint \
--endpoint-name test-endpoint-jsonlines-2 \
--content-type application/jsonlines \
--accept application/jsonlines \
--body $'{"features":[1,2,3,4]}\n{"features":[5,6,7,8]}' \
/dev/stderr 1>/dev/null
```
Output:
`{"predicted_label":1,"probability":0.6}`
`{"predicted_label":0,"probability":0.3}`
+ Permintaan berisi dua catatan dan responsnya mencakup header label dan probabilitas.
```
aws sagemaker-runtime invoke-endpoint \
--endpoint-name test-endpoint-jsonlines-3 \
--content-type application/jsonlines \
--accept application/jsonlines \
--body $'{"data":{"features":[1,2,3,4]}}\n{"data":{"features":[5,6,7,8]}}' \
/dev/stderr 1>/dev/null
```
Output:
`{"predicted_labels":["cat","dog","fish"],"probabilities":[0.1,0.6,0.3]}`
`{"predicted_labels":["cat","dog","fish"],"probabilities":[0.2,0.5,0.3]}`
------
#### [ Request and response in different formats ]
+ Permintaan dalam format CSV dan responsnya dalam format JSON Lines:
```
aws sagemaker-runtime invoke-endpoint \
--endpoint-name test-endpoint-csv-in-jsonlines-out \
--content-type text/csv \
--accept application/jsonlines \
--body $'1,2,3,4\n5,6,7,8' \
/dev/stderr 1>/dev/null
```
Output:
`{"probability":0.6}`
`{"probability":0.3}`
+ Permintaan dalam format JSON Lines dan responsnya dalam format CSV:
```
aws sagemaker-runtime invoke-endpoint \
--endpoint-name test-endpoint-jsonlines-in-csv-out \
--content-type application/jsonlines \
--accept text/csv \
--body $'{"features":[1,2,3,4]}\n{"features":[5,6,7,8]}' \
/dev/stderr 1>/dev/null
```
Output:
`0.6`
`0.3`
------
Setelah validasi selesai, [hapus titik akhir](https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints-delete-resources.html) pengujian.
# Konfigurasikan dan buat titik akhir
Buat konfigurasi titik akhir baru agar sesuai dengan model Anda, dan gunakan konfigurasi ini untuk membuat titik akhir. Anda dapat menggunakan wadah model yang divalidasi pada [langkah pra-pemeriksaan](https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-online-explainability-precheck.html) untuk membuat titik akhir dan mengaktifkan fitur SageMaker Clarify online explainability.
Gunakan `sagemaker_client` objek untuk membuat titik akhir menggunakan [CreateEndpointConfig](https://docs.aws.amazon.com//sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API. Atur anggota `ClarifyExplainerConfig` di dalam `ExplainerConfig` parameter sebagai berikut:
```
sagemaker_client.create_endpoint_config(
EndpointConfigName='name-of-your-endpoint-config',
ExplainerConfig={
'ClarifyExplainerConfig': {
'EnableExplanations': '`true`',
'InferenceConfig': {
...
},
'ShapConfig': {
...
}
},
},
ProductionVariants=[{
'VariantName': 'AllTraffic',
'ModelName': 'name-of-your-model',
'InitialInstanceCount': 1,
'InstanceType': 'ml.m5.xlarge',
}]
...
)
sagemaker_client.create_endpoint(
EndpointName='name-of-your-endpoint',
EndpointConfigName='name-of-your-endpoint-config'
)
```
Panggilan pertama ke `sagemaker_client` objek membuat konfigurasi titik akhir baru dengan fitur penjelasan diaktifkan. Panggilan kedua menggunakan konfigurasi titik akhir untuk meluncurkan titik akhir.
**catatan**
Anda juga dapat meng-host beberapa model dalam satu wadah di belakang [titik akhir multi-model inferensi real-time SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/multi-model-endpoints.html) dan mengonfigurasi penjelasan online dengan Clarify. SageMaker
# `EnableExplanations`Ekspresi
`EnableExplanations`Parameternya adalah string ekspresi [https://jmespath.org/](https://jmespath.org/)Boolean. Ini dievaluasi untuk **setiap catatan** dalam permintaan penjelasan. Jika parameter ini dievaluasi menjadi **benar**, maka catatan akan dijelaskan. Jika parameter ini dievaluasi **salah**, maka penjelasan tidak akan dihasilkan.
SageMaker Klarifikasi deserialisasi output wadah model untuk setiap catatan ke dalam struktur data yang kompatibel dengan JSON, dan kemudian menggunakan `EnableExplanations` parameter untuk mengevaluasi data.
**Catatan**
Ada dua opsi untuk catatan tergantung pada format output wadah model.
Jika keluaran wadah model dalam format CSV, maka catatan dimuat sebagai array JSON.
Jika keluaran wadah model dalam format JSON Lines, maka catatan dimuat sebagai objek JSON.
`EnableExplanations`Parameter adalah JMESPath ekspresi yang dapat diteruskan baik selama `InvokeEndpoint` atau `CreateEndpointConfig` operasi. Jika JMESPath ekspresi yang Anda berikan tidak valid, pembuatan endpoint akan gagal. Jika ekspresi valid, tetapi hasil evaluasi ekspresi tidak terduga, maka titik akhir akan berhasil dibuat, tetapi kesalahan akan dihasilkan ketika titik akhir dipanggil. Uji `EnableExplanations` ekspresi Anda dengan menggunakan `InvokeEndpoint` API, lalu terapkan ke konfigurasi titik akhir.
Berikut ini adalah beberapa contoh `EnableExplanations` ekspresi yang valid. Dalam contoh, JMESPath ekspresi melampirkan literal menggunakan karakter backtick. Misalnya, ``true`` berarti benar.
| Ekspresi (representasi string) | Output wadah model (representasi string) | Hasil evaluasi (Boolean) | Arti |
| --- | --- | --- | --- |
| '`benar`' | (N/A) | True | Aktifkan penjelasan online tanpa syarat. |
| '`salah`' | (N/A) | False | Nonaktifkan penjelasan online tanpa syarat. |
| '[1] >`0.5`' | '1,0.6' | True | Untuk setiap catatan, wadah model mengeluarkan label dan probabilitas yang diprediksi. Menjelaskan catatan jika probabilitasnya (pada indeks 1) lebih besar dari 0,5. |
| 'probabilitas>`0,5 `' | '\$1"predicted\$1label” :1, "probabilitas” :0.6\$1' | True | Untuk setiap catatan, wadah model mengeluarkan data JSON. Jelaskan catatan jika probabilitasnya lebih besar dari 0,5. |
| '\$1 berisi (probabilitas [:-1], maks (probabilitas)) ' | '\$1"probabilities”: [0.4, 0.1, 0.4], “labels”: ["cat”, "dog”, "fish "]\$1' | False | Untuk model multi-kelas: Menjelaskan catatan jika label yang diprediksi (kelas yang memiliki nilai probabilitas maks) adalah kelas terakhir. Secara harfiah, ekspresi berarti bahwa nilai probabilitas maks tidak ada dalam daftar probabilitas tidak termasuk yang terakhir. |
# Dataset sintetis
SageMaker Clarify menggunakan algoritma Kernel SHAP. Diberikan catatan (juga disebut sampel atau instance) dan konfigurasi SHAP, penjelasan pertama-tama menghasilkan kumpulan data sintetis. SageMaker Klarifikasi kemudian kueri wadah model untuk prediksi kumpulan data, lalu hitung dan kembalikan atribusi fitur. Ukuran kumpulan data sintetis memengaruhi runtime untuk penjelasan Clarify. Kumpulan data sintetis yang lebih besar membutuhkan lebih banyak waktu untuk mendapatkan prediksi model daripada yang lebih kecil.
Ukuran dataset sintetis ditentukan oleh rumus berikut:
```
Synthetic dataset size = SHAP baseline size * n_samples
```
Ukuran dasar SHAP adalah jumlah catatan dalam data dasar SHAP. Informasi ini diambil dari`ShapBaselineConfig`.
Ukuran `n_samples` diatur oleh parameter `NumberOfSamples` dalam konfigurasi explainer dan jumlah fitur. Jika jumlah fitur adalah`n_features`, maka `n_samples` adalah sebagai berikut:
```
n_samples = MIN(NumberOfSamples, 2^n_features - 2)
```
Berikut ini menunjukkan `n_samples` jika `NumberOfSamples` tidak disediakan.
```
n_samples = MIN(2*n_features + 2^11, 2^n_features - 2)
```
Misalnya, catatan tabular dengan 10 fitur memiliki ukuran dasar SHAP 1. Jika tidak `NumberOfSamples` disediakan, dataset sintetis berisi 1022 catatan. Jika catatan memiliki 20 fitur, dataset sintetis berisi 2088 catatan.
Untuk masalah NLP, `n_features` sama dengan jumlah fitur non-teks ditambah jumlah unit teks.
**catatan**
`InvokeEndpoint`API memiliki batas waktu tunggu permintaan. Jika kumpulan data sintetis terlalu besar, penjelasan mungkin tidak dapat menyelesaikan perhitungan dalam batas ini. Jika perlu, gunakan informasi sebelumnya untuk memahami dan mengurangi ukuran dasar SHAP dan. `NumberOfSamples` Jika wadah model Anda diatur untuk menangani permintaan batch, maka Anda juga dapat menyesuaikan nilai`MaxRecordCount`.
# Memanggil titik akhir
Setelah titik akhir berjalan, gunakan SageMaker AI Runtime [InvokeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_runtime_InvokeEndpoint.html)API di layanan SageMaker AI Runtime untuk mengirim permintaan ke, atau memanggil titik akhir. Sebagai tanggapan, permintaan ditangani sebagai permintaan penjelasan oleh Clarify explainer. SageMaker
**catatan**
Untuk memanggil titik akhir, pilih salah satu opsi berikut:
Untuk petunjuk menggunakan Boto3 atau AWS CLI untuk memanggil titik akhir, lihat. [Memanggil model untuk inferensi waktu nyata](realtime-endpoints-test-endpoints.md)
[Untuk menggunakan SageMaker SDK for Python untuk menjalankan endpoint, lihat Predictor API.](https://sagemaker.readthedocs.io/en/stable/api/inference/predictors.html)
## Permintaan
`InvokeEndpoint`API memiliki parameter opsional`EnableExplanations`, yang dipetakan ke header `X-Amzn-SageMaker-Enable-Explanations` HTTP. Jika parameter ini disediakan, itu mengesampingkan `EnableExplanations` parameter. `ClarifyExplainerConfig`
**catatan**
`Accept`Parameter `ContentType` dan `InvokeEndpoint` API diperlukan. Format yang didukung termasuk tipe MIME `text/csv` dan`application/jsonlines`.
Gunakan `sagemaker_runtime_client` untuk mengirim permintaan ke titik akhir, sebagai berikut:
```
response = sagemaker_runtime_client.invoke_endpoint(
EndpointName='name-of-your-endpoint',
EnableExplanations='`true`',
ContentType='text/csv',
Accept='text/csv',
Body='1,2,3,4', # single record (of four numerical features)
)
```
Untuk titik akhir multi-model, berikan `TargetModel` parameter tambahan dalam permintaan contoh sebelumnya untuk menentukan model mana yang akan ditargetkan pada titik akhir. Titik akhir multi-model secara dinamis memuat model target sesuai kebutuhan. Untuk informasi selengkapnya tentang titik akhir multi-model, lihat. [Titik akhir multi-model](multi-model-endpoints.md) Lihat [SageMaker Clarify Online Explainability on Multi-Model Endpoint Sample Notebook](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-clarify/online_explainability/tabular_multi_model_endpoint/multi_model_xgboost_with_online_explainability.ipynb) untuk contoh cara menyiapkan dan memanggil beberapa model target dari satu titik akhir.
## Respons
Jika titik akhir dibuat dengan`ExplainerConfig`, maka skema respons baru digunakan, Skema baru ini berbeda dari, dan tidak kompatibel dengan, titik akhir yang tidak memiliki parameter yang disediakan. `ExplainerConfig`
Jenis respons MIME adalah`application/json`, dan payload respons dapat diterjemahkan dari UTF-8 byte ke objek JSON. Berikut ini menunjukkan anggota objek JSON ini adalah sebagai berikut:
+ `version`: Versi skema respons dalam format string. Misalnya, `1.0`.
+ `predictions`: Prediksi yang dibuat permintaan memiliki yang berikut:
+ `content_type`: Jenis prediksi MIME, mengacu pada respons `ContentType` wadah model.
+ `data`: String data prediksi dikirimkan sebagai muatan respons wadah model untuk permintaan tersebut.
+ `label_headers`: Header label dari `LabelHeaders` parameter. Ini disediakan baik dalam konfigurasi explainer atau output wadah model.
+ `explanations`: Penjelasan yang diberikan dalam payload permintaan. Jika tidak ada catatan yang dijelaskan, maka anggota ini mengembalikan objek kosong`{}`.
+
+ `kernel_shap`: Kunci yang mengacu pada array penjelasan Kernel SHAP untuk setiap catatan dalam permintaan. Jika catatan tidak dijelaskan, penjelasan yang sesuai adalah`null`.
`kernel_shap`Elemen memiliki anggota berikut:
+ `feature_header`: Nama header dari fitur yang disediakan oleh `FeatureHeaders` parameter dalam konfigurasi `ExplainerConfig` explainer.
+ `feature_type`: Jenis fitur yang disimpulkan oleh penjelasan atau disediakan dalam `FeatureTypes` parameter di. `ExplainerConfig` Elemen ini hanya tersedia untuk masalah penjelasan NLP.
+ `attributions`: Sebuah array objek atribusi. Fitur teks dapat memiliki beberapa objek atribusi, masing-masing untuk satu unit. Objek atribusi memiliki anggota berikut:
+ `attribution`: Daftar nilai probabilitas, diberikan untuk setiap kelas.
+ `description`: Deskripsi unit teks, hanya tersedia untuk masalah penjelasan NLP.
+ `partial_text`: Bagian teks yang dijelaskan oleh penjelas.
+ `start_idx`: Indeks berbasis nol untuk mengidentifikasi lokasi array dari awal fragmen teks sebagian.
# Contoh kode: SDK untuk Python
Bagian ini menyediakan contoh kode untuk membuat dan memanggil titik akhir yang menggunakan SageMaker Clarify online explainability. Contoh kode ini menggunakan [AWS SDK untuk Python](https://aws.amazon.com/sdk-for-python/).
## Data tabular
Contoh berikut menggunakan data tabular dan model SageMaker AI yang disebut`model_name`. Dalam contoh ini, wadah model menerima data dalam format CSV, dan setiap catatan memiliki empat fitur numerik. Dalam konfigurasi minimal ini, **hanya untuk tujuan demonstrasi**, data dasar SHAP diatur ke nol. Lihat [Garis Dasar SHAP untuk Penjelasan](clarify-feature-attribute-shap-baselines.md) untuk mempelajari cara memilih nilai yang lebih sesuai untuk`ShapBaseline`.
Konfigurasikan titik akhir, sebagai berikut:
```
endpoint_config_name = 'tabular_explainer_endpoint_config'
response = sagemaker_client.create_endpoint_config(
EndpointConfigName=endpoint_config_name,
ProductionVariants=[{
'VariantName': 'AllTraffic',
'ModelName': model_name,
'InitialInstanceCount': 1,
'InstanceType': 'ml.m5.xlarge',
}],
ExplainerConfig={
'ClarifyExplainerConfig': {
'ShapConfig': {
'ShapBaselineConfig': {
'ShapBaseline': '0,0,0,0',
},
},
},
},
)
```
Gunakan konfigurasi endpoint untuk membuat endpoint, sebagai berikut:
```
endpoint_name = 'tabular_explainer_endpoint'
response = sagemaker_client.create_endpoint(
EndpointName=endpoint_name,
EndpointConfigName=endpoint_config_name,
)
```
Gunakan `DescribeEndpoint` API untuk memeriksa kemajuan pembuatan titik akhir, sebagai berikut:
```
response = sagemaker_client.describe_endpoint(
EndpointName=endpoint_name,
)
response['EndpointStatus']
```
Setelah status endpoint adalah "InService“, panggil titik akhir dengan catatan pengujian, sebagai berikut:
```
response = sagemaker_runtime_client.invoke_endpoint(
EndpointName=endpoint_name,
ContentType='text/csv',
Accept='text/csv',
Body='1,2,3,4',
)
```
**catatan**
Dalam contoh kode sebelumnya, untuk titik akhir multi-model, berikan `TargetModel` parameter tambahan dalam permintaan untuk menentukan model mana yang akan ditargetkan pada titik akhir.
Asumsikan bahwa respons memiliki kode status 200 (tidak ada kesalahan), dan muat badan respons, sebagai berikut:
```
import codecs
import json
json.load(codecs.getreader('utf-8')(response['Body']))
```
Tindakan default untuk titik akhir adalah menjelaskan catatan. Berikut ini menunjukkan contoh output dalam objek JSON dikembalikan.
```
{
"version": "1.0",
"predictions": {
"content_type": "text/csv; charset=utf-8",
"data": "0.0006380207487381"
},
"explanations": {
"kernel_shap": [
[
{
"attributions": [
{
"attribution": [-0.00433456]
}
]
},
{
"attributions": [
{
"attribution": [-0.005369821]
}
]
},
{
"attributions": [
{
"attribution": [0.007917749]
}
]
},
{
"attributions": [
{
"attribution": [-0.00261214]
}
]
}
]
]
}
}
```
Gunakan `EnableExplanations` parameter untuk mengaktifkan penjelasan sesuai permintaan, sebagai berikut:
```
response = sagemaker_runtime_client.invoke_endpoint(
EndpointName=endpoint_name,
ContentType='text/csv',
Accept='text/csv',
Body='1,2,3,4',
EnableExplanations='[0]>`0.8`',
)
```
**catatan**
Dalam contoh kode sebelumnya, untuk titik akhir multi-model, berikan `TargetModel` parameter tambahan dalam permintaan untuk menentukan model mana yang akan ditargetkan pada titik akhir.
Dalam contoh ini, nilai prediksi kurang dari nilai ambang batas`0.8`, sehingga catatan tidak dijelaskan:
```
{
"version": "1.0",
"predictions": {
"content_type": "text/csv; charset=utf-8",
"data": "0.6380207487381995"
},
"explanations": {}
}
```
Gunakan alat visualisasi untuk membantu menafsirkan penjelasan yang dikembalikan. Gambar berikut menunjukkan bagaimana plot SHAP dapat digunakan untuk memahami bagaimana setiap fitur berkontribusi pada prediksi. Nilai dasar pada diagram, juga disebut nilai yang diharapkan, adalah prediksi rata-rata dari kumpulan data pelatihan. Fitur yang mendorong nilai yang diharapkan lebih tinggi berwarna merah, dan fitur yang mendorong nilai yang diharapkan lebih rendah berwarna biru. Lihat [tata letak gaya aditif SHAP](https://shap.readthedocs.io/en/latest/generated/shap.plots.force.html) untuk informasi tambahan.
![\[Contoh plot SHAP, yang dapat digunakan untuk memahami bagaimana setiap fitur berkontribusi pada prediksi.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/clarify/force-plot.png)
Lihat [contoh buku catatan lengkap untuk data tabular](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-clarify/online_explainability/tabular/tabular_online_explainability_with_sagemaker_clarify.ipynb).
## Data teks
Bagian ini memberikan contoh kode untuk membuat dan memanggil titik akhir penjelasan online untuk data teks. Contoh kode menggunakan SDK untuk Python.
Contoh berikut menggunakan data teks dan model SageMaker AI yang disebut`model_name`. Dalam contoh ini, wadah model menerima data dalam format CSV, dan setiap catatan adalah string tunggal.
```
endpoint_config_name = 'text_explainer_endpoint_config'
response = sagemaker_client.create_endpoint_config(
EndpointConfigName=endpoint_config_name,
ProductionVariants=[{
'VariantName': 'AllTraffic',
'ModelName': model_name,
'InitialInstanceCount': 1,
'InstanceType': 'ml.m5.xlarge',
}],
ExplainerConfig={
'ClarifyExplainerConfig': {
'InferenceConfig': {
'FeatureTypes': ['text'],
'MaxRecordCount': 100,
},
'ShapConfig': {
'ShapBaselineConfig': {
'ShapBaseline': '""',
},
'TextConfig': {
'Granularity': 'token',
'Language': 'en',
},
'NumberOfSamples': 100,
},
},
},
)
```
+ `ShapBaseline`: Token khusus yang disediakan untuk pemrosesan bahasa alami (NLP).
+ `FeatureTypes`: Mengidentifikasi fitur sebagai teks. Jika parameter ini tidak disediakan, penjelasan akan mencoba menyimpulkan jenis fitur.
+ `TextConfig`: Menentukan unit granularitas dan bahasa untuk analisis fitur teks. Dalam contoh ini, bahasanya adalah bahasa Inggris, dan granularitas `token` berarti kata dalam teks bahasa Inggris.
+ `NumberOfSamples`: Batas untuk mengatur batas atas ukuran dataset sintetis.
+ `MaxRecordCount`: Jumlah maksimum catatan dalam permintaan yang dapat ditangani oleh wadah model. Parameter ini diatur untuk menstabilkan kinerja.
Gunakan konfigurasi endpoint untuk membuat endpoint, sebagai berikut:
```
endpoint_name = 'text_explainer_endpoint'
response = sagemaker_client.create_endpoint(
EndpointName=endpoint_name,
EndpointConfigName=endpoint_config_name,
)
```
Setelah status titik akhir menjadi`InService`, panggil titik akhir. Contoh kode berikut menggunakan catatan uji sebagai berikut:
```
response = sagemaker_runtime_client.invoke_endpoint(
EndpointName=endpoint_name,
ContentType='text/csv',
Accept='text/csv',
Body='"This is a good product"',
)
```
Jika permintaan berhasil diselesaikan, badan respons akan mengembalikan objek JSON yang valid yang mirip dengan yang berikut ini:
```
{
"version": "1.0",
"predictions": {
"content_type": "text/csv",
"data": "0.9766594\n"
},
"explanations": {
"kernel_shap": [
[
{
"attributions": [
{
"attribution": [
-0.007270948666666712
],
"description": {
"partial_text": "This",
"start_idx": 0
}
},
{
"attribution": [
-0.018199033666666628
],
"description": {
"partial_text": "is",
"start_idx": 5
}
},
{
"attribution": [
0.01970993241666666
],
"description": {
"partial_text": "a",
"start_idx": 8
}
},
{
"attribution": [
0.1253469515833334
],
"description": {
"partial_text": "good",
"start_idx": 10
}
},
{
"attribution": [
0.03291143366666657
],
"description": {
"partial_text": "product",
"start_idx": 15
}
}
],
"feature_type": "text"
}
]
]
}
}
```
Gunakan alat visualisasi untuk membantu menafsirkan atribusi teks yang dikembalikan. Gambar berikut menunjukkan bagaimana utilitas visualisasi captum dapat digunakan untuk memahami bagaimana setiap kata berkontribusi pada prediksi. Semakin tinggi saturasi warna, semakin tinggi pentingnya kata tersebut. Dalam contoh ini, warna merah cerah yang sangat jenuh menunjukkan kontribusi negatif yang kuat. Warna hijau yang sangat jenuh menunjukkan kontribusi positif yang kuat. Warna putih menunjukkan bahwa kata tersebut memiliki kontribusi netral. Lihat perpustakaan [captum](https://github.com/pytorch/captum) untuk informasi tambahan tentang penguraian dan rendering atribusi.
![\[Utilitas visualisasi Captum digunakan untuk memahami bagaimana setiap kata berkontribusi pada prediksi.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/clarify/word-importance.png)
Lihat [contoh buku catatan lengkap untuk data teks](https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-clarify/online_explainability/natural_language_processing/nlp_online_explainability_with_sagemaker_clarify.ipynb).
# Panduan pemecahan masalah
Jika Anda menemukan kesalahan menggunakan SageMaker Clarify online explainability, lihat topik di bagian ini.
**`InvokeEndpoint`API gagal dengan kesalahan “: Baca ReadTimeoutError batas waktu di titik akhir...”**
Kesalahan ini berarti bahwa permintaan tidak dapat diselesaikan dalam batas waktu 60 detik yang ditetapkan oleh batas [waktu permintaan](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_runtime_InvokeEndpoint.html).
Untuk mengurangi latensi permintaan, coba yang berikut ini:
+ Sesuaikan kinerja model selama inferensi. Misalnya, SageMaker AI [Neo](https://aws.amazon.com/sagemaker/neo/) dapat mengoptimalkan model untuk inferensi.
+ Izinkan wadah model untuk menangani permintaan batch.
+ Gunakan yang lebih besar `MaxRecordCount` untuk mengurangi jumlah panggilan dari penjelasan ke wadah model. Ini akan mengurangi latensi jaringan dan overhead.
+ Gunakan jenis instance yang memiliki lebih banyak sumber daya yang dialokasikan untuk itu. Sebagai alternatif, tetapkan lebih banyak instance ke titik akhir untuk membantu menyeimbangkan beban.
+ Kurangi jumlah catatan dalam satu `InvokeEndpoint` permintaan.
+ Kurangi jumlah catatan dalam data dasar.
+ Gunakan `NumberOfSamples` nilai yang lebih kecil untuk mengurangi ukuran kumpulan data sintetis. Untuk informasi selengkapnya tentang bagaimana jumlah sampel memengaruhi kumpulan data sintetis Anda, lihat[Dataset sintetis](clarify-online-explainability-create-endpoint-synthetic.md).
# Sempurnakan model dengan komponen inferensi adaptor
Dengan Amazon SageMaker AI, Anda dapat meng-host model fondasi pra-terlatih tanpa perlu membuat model Anda sendiri dari awal. Namun, untuk menyesuaikan model pondasi tujuan umum untuk kebutuhan unik bisnis Anda, Anda harus membuat versi yang disetel dengan baik. Salah satu teknik fine-tuning yang hemat biaya adalah Adaptasi Peringkat Rendah (LoRa). Prinsip di balik LoRa adalah bahwa hanya sebagian kecil dari model fondasi besar yang perlu diperbarui untuk menyesuaikannya dengan tugas atau domain baru. Adaptor LoRa menambah inferensi dari model pondasi dasar hanya dengan beberapa lapisan adaptor tambahan.
*Jika Anda meng-host model pondasi dasar Anda dengan menggunakan komponen inferensi SageMaker AI, Anda dapat menyempurnakan model dasar itu dengan adaptor LoRa dengan membuat komponen inferensi adaptor.* Saat Anda membuat komponen inferensi adaptor, Anda menentukan yang berikut:
+ *Komponen inferensi dasar yang berisi komponen* inferensi adaptor. Komponen inferensi dasar berisi model pondasi yang ingin Anda adaptasi. Komponen inferensi adaptor menggunakan sumber daya komputasi yang Anda tetapkan ke komponen inferensi dasar.
+ Lokasi tempat Anda menyimpan adaptor LoRa di Amazon S3.
Setelah Anda membuat komponen inferensi adaptor, Anda dapat memanggilnya secara langsung. Ketika Anda melakukannya, SageMaker AI menggabungkan adaptor dengan model dasar untuk menambah respons yang dihasilkan.
**Sebelum Anda mulai**
Sebelum Anda dapat membuat komponen inferensi adaptor, Anda harus memenuhi persyaratan berikut:
+ Anda memiliki komponen inferensi dasar yang berisi model pondasi untuk beradaptasi. Anda telah menerapkan komponen inferensi ini ke titik akhir SageMaker AI.
Untuk informasi selengkapnya tentang penerapan komponen inferensi ke titik akhir, lihat. [Terapkan model untuk inferensi waktu nyata](realtime-endpoints-deploy-models.md)
+ Anda memiliki model adaptor LoRa, dan Anda telah menyimpan artefak model sebagai `tar.gz` file di Amazon S3. Anda menentukan URI S3 artefak saat Anda membuat komponen inferensi adaptor.
Contoh berikut menggunakan SDK for Python (Boto3) untuk membuat dan memanggil komponen inferensi adaptor.
**Example `create_inference_component`panggilan untuk membuat komponen inferensi adaptor**
Contoh berikut membuat komponen inferensi adaptor dan menetapkannya ke komponen inferensi dasar:
```
sm_client.create_inference_component(
InferenceComponentName = adapter_ic_name,
EndpointName = endpoint_name,
Specification={
"BaseInferenceComponentName": base_inference_component_name,
"Container": {
"ArtifactUrl": adapter_s3_uri
},
},
)
```
Bila Anda menggunakan contoh ini dalam kode Anda sendiri, ganti nilai placeholder sebagai berikut:
+ *adapter\$1ic\$1name*- Nama unik untuk komponen inferensi adaptor Anda.
+ *endpoint\$1name*— Nama titik akhir yang menampung komponen inferensi dasar.
+ *base\$1inference\$1component\$1name*— Nama komponen inferensi dasar yang berisi model pondasi untuk beradaptasi.
+ *adapter\$1s3\$1uri*— URI S3 yang menempatkan `tar.gz` file dengan artefak adaptor LoRa Anda.
Anda membuat komponen inferensi adaptor dengan kode yang mirip dengan kode untuk komponen inferensi normal. Satu perbedaan adalah bahwa, untuk `Specification` parameter, Anda menghilangkan `ComputeResourceRequirements` kuncinya. Saat Anda memanggil komponen inferensi adaptor, komponen tersebut dimuat oleh komponen inferensi dasar. Komponen inferensi adaptor menggunakan sumber daya komputasi dari komponen inferensi dasar.
Untuk informasi selengkapnya tentang membuat dan menerapkan komponen inferensi dengan SDK for Python (Boto3), lihat. [Terapkan model dengan Python SDKs](realtime-endpoints-deploy-models.md#deploy-models-python)
Setelah Anda membuat komponen inferensi adaptor, Anda memanggilnya dengan menentukan namanya dalam permintaan. `invoke_endpoint`
**Example `invoke_endpoint`panggilan untuk memanggil komponen inferensi adaptor**
Contoh berikut memanggil komponen inferensi adaptor:
```
response = sm_rt_client.invoke_endpoint(
EndpointName = endpoint_name,
InferenceComponentName = adapter_ic_name,
Body = json.dumps(
{
"inputs": prompt,
"parameters": {"max_new_tokens": 100, "temperature":0.9}
}
),
ContentType = "application/json",
)
adapter_reponse = response["Body"].read().decode("utf8")["generated_text"]
```
Bila Anda menggunakan contoh ini dalam kode Anda sendiri, ganti nilai placeholder sebagai berikut:
+ *endpoint\$1name*— Nama titik akhir yang menampung komponen inferensi dasar dan adaptor.
+ *adapter\$1ic\$1name*— Nama komponen inferensi adaptor.
+ *prompt*— Prompt untuk permintaan inferensi.
Untuk informasi selengkapnya tentang menjalankan komponen inferensi dengan SDK for Python (Boto3), lihat. [Memanggil model untuk inferensi waktu nyata](realtime-endpoints-test-endpoints.md)
# Terapkan model dengan Inferensi Tanpa SageMaker Server Amazon
Amazon SageMaker Serverless Inference adalah opsi inferensi yang dibuat khusus yang memungkinkan Anda menerapkan dan menskalakan model ML tanpa mengonfigurasi atau mengelola infrastruktur yang mendasarinya. Inferensi Tanpa Server On-Demand sangat ideal untuk beban kerja yang memiliki periode idle antara lonjakan lalu lintas dan dapat mentolerir start dingin. Titik akhir tanpa server secara otomatis meluncurkan sumber daya komputasi dan menskalakannya masuk dan keluar tergantung pada lalu lintas, sehingga tidak perlu memilih jenis instance atau mengelola kebijakan penskalaan. Ini menghilangkan beban berat yang tidak terdiferensiasi dalam memilih dan mengelola server. Inferensi Tanpa Server terintegrasi AWS Lambda untuk menawarkan ketersediaan tinggi, toleransi kesalahan bawaan, dan penskalaan otomatis. Dengan pay-per-use model, Inferensi Tanpa Server adalah opsi hemat biaya jika Anda memiliki pola lalu lintas yang jarang atau tidak dapat diprediksi. Selama saat tidak ada permintaan, Inferensi Tanpa Server menskalakan titik akhir Anda menjadi 0, membantu Anda meminimalkan biaya. [Untuk informasi selengkapnya tentang harga untuk Inferensi Tanpa Server sesuai permintaan, lihat Harga Amazon. SageMaker ](https://aws.amazon.com/sagemaker/pricing/)
Secara opsional, Anda juga dapat menggunakan Provisioned Concurrency dengan Serverless Inference. Inferensi Tanpa Server dengan konkurensi yang disediakan adalah opsi hemat biaya ketika Anda memiliki ledakan yang dapat diprediksi dalam lalu lintas Anda. Provisioned Concurrency memungkinkan Anda menerapkan model pada titik akhir tanpa server dengan kinerja yang dapat diprediksi, dan skalabilitas tinggi dengan menjaga titik akhir tetap hangat. SageMaker AI memastikan bahwa untuk jumlah Provisioned Concurrency yang Anda alokasikan, sumber daya komputasi diinisialisasi dan siap merespons dalam milidetik. Untuk Inferensi Tanpa Server dengan Konkurensi Terketentuan, Anda membayar kapasitas komputasi yang digunakan untuk memproses permintaan inferensi, ditagih oleh milidetik, dan jumlah data yang diproses. Anda juga membayar penggunaan Provisioned Concurrency, berdasarkan memori yang dikonfigurasi, durasi yang disediakan, dan jumlah konkurensi yang diaktifkan. [Untuk informasi selengkapnya tentang harga Inferensi Tanpa Server dengan Konkurensi yang Disediakan, lihat Harga Amazon. SageMaker ](https://aws.amazon.com/sagemaker/pricing/)
[Anda dapat mengintegrasikan Inferensi Tanpa Server dengan MLOps Pipelines untuk merampingkan alur kerja ML Anda, dan Anda dapat menggunakan titik akhir tanpa server untuk meng-host model yang terdaftar dengan Model Registry.](model-registry.md)
Inferensi Tanpa Server umumnya tersedia di 21 AWS Wilayah: AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (California N.), AS Barat (Oregon), Afrika (Cape Town), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Asia Pasifik (Osaka), Asia Pasifik (Singapura), Asia Pasifik (Sydney)), Kanada (Tengah), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Paris), Eropa (Stockholm), Eropa (Milan), Timur Tengah (Bahrain), Amerika Selatan (São Paulo). Untuk informasi selengkapnya tentang ketersediaan regional Amazon SageMaker AI, lihat [Daftar Layanan AWS Regional](https://aws.amazon.com/about-aws/global-infrastructure/regional-product-services/).
## Cara kerjanya
Diagram berikut menunjukkan alur kerja Inferensi Tanpa Server sesuai permintaan dan manfaat menggunakan titik akhir tanpa server.
![\[Diagram yang menunjukkan alur kerja Inferensi Tanpa Server.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/serverless-endpoints-how-it-works.png)
Saat Anda membuat titik akhir tanpa server sesuai permintaan, SageMaker AI menyediakan dan mengelola sumber daya komputasi untuk Anda. Kemudian, Anda dapat membuat permintaan inferensi ke titik akhir dan menerima prediksi model sebagai tanggapan. SageMaker AI menskalakan sumber daya komputasi naik dan turun sesuai kebutuhan untuk menangani lalu lintas permintaan Anda, dan Anda hanya membayar untuk apa yang Anda gunakan.
Untuk Provisioned Concurrency, Serverless Inference juga terintegrasi dengan Application Auto Scaling, sehingga Anda dapat mengelola Provisioned Concurrency berdasarkan metrik target atau jadwal. Untuk informasi selengkapnya, lihat [Secara otomatis menskalakan Konkurensi yang Disediakan untuk titik akhir tanpa server](serverless-endpoints-autoscale.md).
Bagian berikut memberikan rincian tambahan tentang Inferensi Tanpa Server dan cara kerjanya.
**Topics**
+ [Dukungan kontainer](#serverless-endpoints-how-it-works-containers)
+ [Ukuran memori](#serverless-endpoints-how-it-works-memory)
+ [Doa bersamaan](#serverless-endpoints-how-it-works-concurrency)
+ [Meminimalkan awal dingin](#serverless-endpoints-how-it-works-cold-starts)
+ [Pengecualian fitur](#serverless-endpoints-how-it-works-exclusions)
### Dukungan kontainer
Untuk wadah endpoint Anda, Anda dapat memilih wadah yang SageMaker disediakan AI atau membawanya sendiri. SageMaker AI menyediakan wadah untuk algoritme bawaan dan gambar Docker bawaan untuk beberapa kerangka kerja pembelajaran mesin yang paling umum, seperti Apache MXNet,,, dan Chainer. TensorFlow PyTorch Untuk daftar gambar yang tersedia, lihat SageMaker Gambar [Deep Learning Containers yang Tersedia](https://github.com/aws/deep-learning-containers/blob/master/available_images.md). Jika Anda membawa wadah Anda sendiri, Anda harus memodifikasinya agar berfungsi dengan SageMaker AI. Untuk informasi lebih lanjut tentang membawa wadah Anda sendiri, lihat[Sesuaikan wadah inferensi Anda sendiri untuk Amazon AI SageMaker](adapt-inference-container.md).
Ukuran maksimum gambar kontainer yang dapat Anda gunakan adalah 10 GB. Untuk titik akhir tanpa server, kami sarankan untuk membuat hanya satu pekerja di wadah dan hanya memuat satu salinan model. Perhatikan bahwa ini tidak seperti titik akhir waktu nyata, di mana beberapa kontainer SageMaker AI dapat membuat pekerja untuk setiap vCPU untuk memproses permintaan inferensi dan memuat model di setiap pekerja.
Jika Anda sudah memiliki wadah untuk titik akhir real-time, Anda dapat menggunakan wadah yang sama untuk titik akhir tanpa server Anda, meskipun beberapa kemampuan dikecualikan. Untuk mempelajari lebih lanjut tentang kemampuan container yang tidak didukung dalam Inferensi Tanpa Server, lihat. [Pengecualian fitur](#serverless-endpoints-how-it-works-exclusions) Jika Anda memilih untuk menggunakan wadah yang sama, SageMaker AI akan menyimpan salinan gambar kontainer Anda hingga Anda menghapus semua titik akhir yang menggunakan gambar tersebut. SageMaker AI mengenkripsi gambar yang disalin saat istirahat dengan kunci milik AI. SageMaker AWS KMS
### Ukuran memori
Endpoint tanpa server Anda memiliki ukuran RAM minimum 1024 MB (1 GB), dan ukuran RAM maksimum yang dapat Anda pilih adalah 6144 MB (6 GB). Ukuran memori yang dapat Anda pilih adalah 1024 MB, 2048 MB, 3072 MB, 4096 MB, 5120 MB, atau 6144 MB. Inferensi Tanpa Server secara otomatis menetapkan sumber daya komputasi sebanding dengan memori yang Anda pilih. Jika Anda memilih ukuran memori yang lebih besar, wadah Anda memiliki akses ke lebih banyak vCPUs. Pilih ukuran memori endpoint Anda sesuai dengan ukuran model Anda. Umumnya, ukuran memori harus setidaknya sebesar ukuran model Anda. Anda mungkin perlu melakukan benchmark untuk memilih pilihan memori yang tepat untuk model Anda berdasarkan latensi SLAs Anda. Untuk panduan langkah demi langkah untuk benchmark, lihat [Memperkenalkan Toolkit Benchmarking Inferensi SageMaker Tanpa Server Amazon](https://aws.amazon.com/blogs/machine-learning/introducing-the-amazon-sagemaker-serverless-inference-benchmarking-toolkit/). Peningkatan ukuran memori memiliki harga yang berbeda; lihat [halaman harga Amazon SageMaker AI](https://aws.amazon.com/sagemaker/pricing/) untuk informasi lebih lanjut.
Terlepas dari ukuran memori yang Anda pilih, titik akhir tanpa server Anda memiliki 5 GB penyimpanan disk sementara yang tersedia. Untuk bantuan terkait masalah izin kontainer saat bekerja dengan penyimpanan, lihat[Pemecahan Masalah](serverless-endpoints-troubleshooting.md).
### Doa bersamaan
On-Demand Serverless Inference mengelola kebijakan dan kuota penskalaan yang telah ditentukan sebelumnya untuk kapasitas titik akhir Anda. Endpoint tanpa server memiliki kuota untuk berapa banyak pemanggilan bersamaan yang dapat diproses pada saat yang bersamaan. Jika titik akhir dipanggil sebelum selesai memproses permintaan pertama, maka ia menangani permintaan kedua secara bersamaan.
Total konkurensi yang dapat Anda bagikan di antara semua titik akhir tanpa server di akun Anda bergantung pada wilayah Anda:
+ Untuk Wilayah AS Timur (Ohio), Timur AS (Virginia N.), AS Barat (Oregon), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Eropa (Frankfurt), dan Eropa (Irlandia), total konkurensi yang dapat Anda bagikan antara semua titik akhir tanpa server per Wilayah di akun Anda adalah 1000.
+ Untuk Wilayah AS Barat (California N.), Afrika (Cape Town), Asia Pasifik (Hong Kong), Asia Pasifik (Mumbai), Asia Pasifik (Osaka), Asia Pasifik (Seoul), Kanada (Tengah), Eropa (London), Eropa (Milan), Eropa (Paris), Eropa (Stockholm), Timur Tengah (Bahrain), dan Amerika Selatan (São Paulo) Wilayah, total konkurensi per Wilayah di akun Anda adalah 500.
Anda dapat mengatur konkurensi maksimum untuk satu titik akhir hingga 200, dan jumlah total titik akhir tanpa server yang dapat Anda host di Wilayah adalah 50. Konkurensi maksimum untuk titik akhir individu mencegah titik akhir tersebut mengambil semua pemanggilan yang diizinkan untuk akun Anda, dan pemanggilan titik akhir apa pun di luar maksimum dibatasi.
**catatan**
Konkurensi yang disediakan yang Anda tetapkan ke titik akhir tanpa server harus selalu kurang dari atau sama dengan konkurensi maksimum yang Anda tetapkan ke titik akhir tersebut.
Untuk mempelajari cara mengatur konkurensi maksimum untuk titik akhir Anda, lihat. [Buat konfigurasi titik akhir](serverless-endpoints-create-config.md) Untuk informasi selengkapnya tentang kuota dan batasan, lihat [titik akhir dan kuota Amazon SageMaker AI](https://docs.aws.amazon.com/general/latest/gr/sagemaker.html) di. *Referensi Umum AWS* Untuk meminta peningkatan batas layanan, hubungi [AWS Support](https://console.aws.amazon.com/support). Untuk petunjuk tentang cara meminta peningkatan batas layanan, lihat[Wilayah dan Kuota yang Didukung](regions-quotas.md).
### Meminimalkan awal dingin
Jika titik akhir Inferensi Tanpa Server sesuai permintaan Anda tidak menerima lalu lintas untuk sementara waktu dan kemudian titik akhir Anda tiba-tiba menerima permintaan baru, perlu beberapa waktu bagi titik akhir Anda untuk memutar sumber daya komputasi untuk memproses permintaan. Ini disebut *awal yang dingin*. Karena penyediaan titik akhir tanpa server menghitung sumber daya sesuai permintaan, titik akhir Anda mungkin mengalami awal yang dingin. Cold start juga dapat terjadi jika permintaan bersamaan Anda melebihi penggunaan permintaan bersamaan saat ini. Waktu mulai dingin tergantung pada ukuran model Anda, berapa lama waktu yang dibutuhkan untuk mengunduh model Anda, dan waktu start-up wadah Anda.
Untuk memantau berapa lama waktu mulai dingin Anda, Anda dapat menggunakan CloudWatch metrik Amazon `OverheadLatency` untuk memantau titik akhir tanpa server Anda. Metrik ini melacak waktu yang diperlukan untuk meluncurkan sumber daya komputasi baru untuk titik akhir Anda. Untuk mempelajari selengkapnya tentang menggunakan CloudWatch metrik dengan titik akhir tanpa server, lihat. [Alarm dan log untuk melacak metrik dari titik akhir tanpa server](serverless-endpoints-monitoring.md)
Anda dapat meminimalkan start dingin dengan menggunakan Provisioned Concurrency. SageMaker AI menjaga titik akhir tetap hangat dan siap merespons dalam milidetik, untuk jumlah Konkurensi Tertentu yang Anda alokasikan.
### Pengecualian fitur
Beberapa fitur yang saat ini tersedia untuk Inferensi Real-Time SageMaker AI tidak didukung untuk Inferensi Tanpa Server, termasuk, paket model AWS pasar GPUs, pendaftar Docker pribadi, Titik Akhir Multi-Model, konfigurasi VPC, isolasi jaringan, pengambilan data, beberapa varian produksi, Monitor Model, dan saluran pipa inferensi.
Anda tidak dapat mengonversi titik akhir real-time berbasis instans menjadi titik akhir tanpa server. Jika Anda mencoba memperbarui titik akhir real-time Anda ke tanpa server, Anda menerima pesan. `ValidationError` Anda dapat mengonversi titik akhir tanpa server menjadi real-time, tetapi setelah Anda melakukan pembaruan, Anda tidak dapat mengembalikannya ke tanpa server.
## Memulai
Anda dapat membuat, memperbarui, mendeskripsikan, dan menghapus titik akhir tanpa server menggunakan konsol SageMaker AI, SDK AWS SDKs Amazon [ SageMaker Python](https://sagemaker.readthedocs.io/en/stable/overview.html#sagemaker-serverless-inference), dan. AWS CLI Anda dapat memanggil endpoint Anda menggunakan AWS SDKs, Amazon [ SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable/overview.html#sagemaker-serverless-inference), dan file. AWS CLI Untuk endpoint tanpa server dengan Provisioned Concurrency, Anda dapat menggunakan Application Auto Scaling untuk menskalakan Provisioned Concurrency secara otomatis berdasarkan metrik target atau jadwal. Untuk informasi selengkapnya tentang cara mengatur dan menggunakan titik akhir tanpa server, baca panduannya. [Operasi titik akhir tanpa server](serverless-endpoints-create-invoke-update-delete.md) Untuk informasi selengkapnya tentang penskalaan otomatis endpoint tanpa server dengan Provisioned Concurrency, lihat. [Secara otomatis menskalakan Konkurensi yang Disediakan untuk titik akhir tanpa server](serverless-endpoints-autoscale.md)
**catatan**
Application Auto Scaling untuk Inferensi Tanpa Server dengan Konkurensi yang Disediakan saat ini tidak didukung pada. AWS CloudFormation
### Contoh notebook dan blog
[Untuk contoh notebook Jupyter yang menunjukkan alur kerja titik akhir end-to-end tanpa server, lihat contoh notebook Inferensi Tanpa Server.](https://github.com/aws/amazon-sagemaker-examples/tree/master/serverless-inference)
# Operasi titik akhir tanpa server
Tidak seperti titik akhir real-time SageMaker AI lainnya, Inferensi Tanpa Server mengelola sumber daya komputasi untuk Anda, mengurangi kompleksitas sehingga Anda dapat fokus pada model ML Anda alih-alih mengelola infrastruktur. Panduan berikut menyoroti kemampuan utama titik akhir tanpa server: cara membuat, memanggil, memperbarui, mendeskripsikan, atau menghapus titik akhir. Anda dapat menggunakan konsol SageMaker AI, [SDK Amazon SageMaker Python](https://sagemaker.readthedocs.io/en/stable/overview.html#sagemaker-serverless-inference), atau AWS CLI untuk mengelola titik akhir tanpa server Anda. AWS SDKs
**Topics**
+ [Lengkapi prasyarat](serverless-endpoints-prerequisites.md)
+ [Pembuatan titik akhir tanpa server](serverless-endpoints-create.md)
+ [Memanggil titik akhir tanpa server](serverless-endpoints-invoke.md)
+ [Memperbarui titik akhir tanpa server](serverless-endpoints-update.md)
+ [Jelaskan titik akhir tanpa server](serverless-endpoints-describe.md)
+ [Menghapus titik akhir tanpa server](serverless-endpoints-delete.md)
# Lengkapi prasyarat
Topik berikut menjelaskan prasyarat yang harus Anda selesaikan sebelum membuat titik akhir tanpa server. Prasyarat ini termasuk menyimpan artefak model Anda dengan benar, mengonfigurasi AWS IAM dengan izin yang benar, dan memilih gambar kontainer.
**Untuk menyelesaikan prasyarat**
1. **Siapkan AWS akun.** Pertama-tama Anda memerlukan AWS akun dan pengguna AWS Identity and Access Management administrator. Untuk petunjuk tentang cara mengatur AWS akun, lihat [Bagaimana cara membuat dan mengaktifkan AWS akun baru?](https://aws.amazon.com/premiumsupport/knowledge-center/create-and-activate-aws-account/) . Untuk petunjuk tentang cara mengamankan akun Anda dengan pengguna administrator IAM, lihat [Membuat pengguna admin IAM pertama dan grup pengguna](https://docs.aws.amazon.com/IAM/latest/UserGuide/getting-started_create-admin-group.html) di Panduan Pengguna *IAM*.
1. **Buat bucket Amazon S3**. Anda menggunakan ember Amazon S3 untuk menyimpan artefak model Anda. Untuk mempelajari cara membuat bucket, lihat [Membuat bucket S3 pertama Anda](https://docs.aws.amazon.com/AmazonS3/latest/userguide/creating-bucket.html) di Panduan Pengguna *Amazon S3*.
1. **Unggah artefak model Anda ke bucket S3 Anda.** Untuk petunjuk tentang cara mengunggah model ke bucket, lihat [Mengunggah objek ke bucket](https://docs.aws.amazon.com/AmazonS3/latest/userguide/uploading-an-object-bucket.html) di *Panduan Pengguna Amazon S3*.
1. **Buat peran IAM untuk Amazon SageMaker AI.** Amazon SageMaker AI membutuhkan akses ke bucket S3 yang menyimpan model Anda. Buat peran IAM dengan kebijakan yang memberikan akses baca SageMaker AI ke bucket Anda. Prosedur berikut menunjukkan cara membuat peran di konsol, tetapi Anda juga dapat menggunakan [CreateRole](https://docs.aws.amazon.com/IAM/latest/APIReference/API_CreateRole.html)API dari *Panduan Pengguna IAM*. Untuk informasi tentang memberikan izin lebih terperinci pada peran Anda berdasarkan kasus penggunaan Anda, lihat. [Cara menggunakan peran eksekusi SageMaker AI](sagemaker-roles.md#sagemaker-roles-createmodel-perms)
1. Masuklah ke [konsol IAM](https://console.aws.amazon.com/iam/).
1. Di tab navigasi, pilih **Peran**.
1. Pilih **Buat Peran**.
1. Untuk **Pilih jenis entitas tepercaya**, pilih **AWS layanan** dan kemudian pilih **SageMaker AI**.
1. Pilih **Berikutnya: Izin** dan kemudian pilih **Berikutnya: Tag**.
1. (Opsional) Tambahkan tag sebagai pasangan nilai kunci jika Anda ingin memiliki metadata untuk peran tersebut.
1. Pilih **Berikutnya: Tinjauan**.
1. Untuk **nama Peran**, masukkan nama untuk peran baru yang unik di AWS akun Anda. Anda tidak dapat mengedit nama peran setelah membuat peran.
1. (Opsional) Untuk **Deskripsi peran**, masukkan deskripsi.
1. Pilih **Buat peran**.
1. **Lampirkan izin bucket S3 ke peran SageMaker AI Anda.** Setelah membuat peran IAM, lampirkan kebijakan yang memberikan izin SageMaker AI untuk mengakses bucket S3 yang berisi artefak model Anda.
1. Di tab navigasi konsol IAM, pilih **Peran**.
1. Dari daftar peran, cari peran yang Anda buat di langkah sebelumnya berdasarkan nama.
1. Pilih peran Anda, lalu pilih **Lampirkan kebijakan**.
1. Untuk **melampirkan izin**, pilih **Buat kebijakan**.
1. Dalam tampilan **Buat kebijakan**, pilih tab **JSON**.
1. Tambahkan pernyataan kebijakan berikut ke editor JSON. Pastikan untuk mengganti `` dengan nama bucket S3 yang menyimpan artefak model Anda. Jika Anda ingin membatasi akses ke folder atau file tertentu di bucket, Anda juga dapat menentukan jalur folder Amazon S3, misalnya,. `/`
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "VisualEditor0",
"Effect": "Allow",
"Action": "s3:GetObject",
"Resource": "arn:aws:s3:::/*"
}
]
}
```
------
1. Pilih **Berikutnya: Tanda**.
1. (Opsional) Tambahkan tag dalam pasangan nilai kunci ke kebijakan.
1. Pilih **Berikutnya: Tinjauan**.
1. Untuk **Nama**, masukkan nama untuk kebijakan baru.
1. (Opsional) Tambahkan **Deskripsi** untuk kebijakan.
1. Pilih **Buat kebijakan**.
1. Setelah membuat kebijakan, kembali ke **Peran** di [konsol IAM](https://console.aws.amazon.com/iam/) dan pilih peran SageMaker AI Anda.
1. Pilih **Lampirkan kebijakan**.
1. Untuk **izin Lampirkan**, cari kebijakan yang Anda buat berdasarkan nama. Pilih dan pilih **Lampirkan kebijakan**.
1. **Pilih gambar kontainer Docker bawaan atau bawa sendiri.** Wadah yang Anda pilih menyajikan inferensi pada titik akhir Anda. SageMaker AI menyediakan wadah untuk algoritme bawaan dan gambar Docker bawaan untuk beberapa kerangka kerja pembelajaran mesin yang paling umum, seperti Apache MXNet,,, dan Chainer. TensorFlow PyTorch Untuk daftar lengkap gambar yang tersedia, lihat SageMaker Gambar [Deep Learning Containers yang Tersedia](https://github.com/aws/deep-learning-containers/blob/master/available_images.md).
Jika tidak ada kontainer SageMaker AI yang ada yang memenuhi kebutuhan Anda, Anda mungkin perlu membuat wadah Docker Anda sendiri. Untuk informasi tentang cara membuat image Docker Anda dan membuatnya kompatibel dengan SageMaker AI, lihat[Wadah dengan kode inferensi khusus](your-algorithms-inference-main.md). Untuk menggunakan container Anda dengan titik akhir tanpa server, image container harus berada di repositori Amazon ECR dalam akun yang sama yang membuat endpoint. AWS
1. **(Opsional) Daftarkan model Anda dengan Model Registry.** [SageMaker Model Registry](model-registry.md) membantu Anda membuat katalog dan mengelola versi model untuk digunakan di saluran pipa ML. Untuk informasi selengkapnya tentang mendaftarkan versi model Anda, lihat [Buat Grup Model](model-registry-model-group.md) dan[Daftarkan Versi Model](model-registry-version.md). [Untuk contoh alur kerja Registri Model dan Inferensi Tanpa Server, lihat contoh buku catatan berikut.](https://github.com/aws/amazon-sagemaker-examples/blob/main/serverless-inference/serverless-model-registry.ipynb)
1. **(Opsional) Bawa AWS KMS kunci.** Saat menyiapkan titik akhir tanpa server, Anda memiliki opsi untuk menentukan kunci KMS yang digunakan SageMaker AI untuk mengenkripsi gambar Amazon ECR Anda. Perhatikan bahwa kebijakan kunci untuk kunci KMS harus memberikan akses ke peran IAM yang Anda tentukan saat menyiapkan titik akhir Anda. Untuk mempelajari selengkapnya tentang kunci KMS, lihat [Panduan AWS Key Management Service Pengembang](https://docs.aws.amazon.com/kms/latest/developerguide/overview.html).
# Pembuatan titik akhir tanpa server
**penting**
Kebijakan IAM khusus yang memungkinkan Amazon SageMaker Studio atau Amazon SageMaker Studio Classic membuat SageMaker sumber daya Amazon juga harus memberikan izin untuk menambahkan tag ke sumber daya tersebut. Izin untuk menambahkan tag ke sumber daya diperlukan karena Studio dan Studio Classic secara otomatis menandai sumber daya apa pun yang mereka buat. Jika kebijakan IAM memungkinkan Studio dan Studio Classic membuat sumber daya tetapi tidak mengizinkan penandaan, kesalahan "AccessDenied" dapat terjadi saat mencoba membuat sumber daya. Untuk informasi selengkapnya, lihat [Berikan izin untuk menandai sumber daya AI SageMaker](security_iam_id-based-policy-examples.md#grant-tagging-permissions).
[AWS kebijakan terkelola untuk Amazon SageMaker AI](security-iam-awsmanpol.md)yang memberikan izin untuk membuat SageMaker sumber daya sudah menyertakan izin untuk menambahkan tag saat membuat sumber daya tersebut.
Untuk membuat titik akhir tanpa server, Anda dapat menggunakan konsol Amazon SageMaker AI, the APIs, atau. AWS CLI[Anda dapat membuat titik akhir tanpa server menggunakan proses serupa sebagai titik akhir real-time.](realtime-endpoints.md)
**Topics**
+ [Buat model](serverless-endpoints-create-model.md)
+ [Buat konfigurasi titik akhir](serverless-endpoints-create-config.md)
+ [Buat titik akhir](serverless-endpoints-create-endpoint.md)
# Buat model
Untuk membuat model Anda, Anda harus memberikan lokasi artefak model dan gambar kontainer Anda. Anda juga dapat menggunakan versi model dari [SageMaker Model Registry](model-registry.md). Contoh di bagian berikut menunjukkan cara membuat model menggunakan [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API, Model Registry, dan [konsol Amazon SageMaker AI](https://console.aws.amazon.com/sagemaker/home).
## Untuk membuat model (menggunakan Model Registry)
[Model Registry](model-registry.md) adalah fitur SageMaker AI yang membantu Anda membuat katalog dan mengelola versi model Anda untuk digunakan di saluran pipa ML. Untuk menggunakan Registri Model dengan Inferensi Tanpa Server, Anda harus terlebih dahulu mendaftarkan versi model dalam grup model Registry Model. Untuk mempelajari cara mendaftarkan model di Model Registry, ikuti prosedur di [Buat Grup Model](model-registry-model-group.md) dan[Daftarkan Versi Model](model-registry-version.md).
Contoh berikut mengharuskan Anda untuk memiliki ARN dari versi model terdaftar dan menggunakan [AWS SDK for Python (Boto3) untuk memanggil API](https://boto3.amazonaws.com/v1/documentation/api/latest/index.html). [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html) Untuk Inferensi Tanpa Server, Registri Model saat ini hanya didukung oleh AWS SDK for Python (Boto3). Sebagai contoh, tentukan nilai-nilai berikut:
+ Untuk`model_name`, masukkan nama untuk model.
+ Untuk`sagemaker_role`, Anda dapat menggunakan peran default yang SageMaker dibuat AI atau peran SageMaker AI IAM yang disesuaikan dari Langkah 4 bagian[Lengkapi prasyarat](serverless-endpoints-prerequisites.md).
+ Untuk`ModelPackageName`, tentukan ARN untuk versi model Anda, yang harus didaftarkan ke grup model di Model Registry.
```
#Setup
import boto3
import sagemaker
region = boto3.Session().region_name
client = boto3.client("sagemaker", region_name=region)
#Role to give SageMaker AI permission to access AWS services.
sagemaker_role = sagemaker.get_execution_role()
#Specify a name for the model
model_name = ""
#Specify a Model Registry model version
container_list = [
{
"ModelPackageName":
}
]
#Create the model
response = client.create_model(
ModelName = model_name,
ExecutionRoleArn = sagemaker_role,
container_list
)
```
## Untuk membuat model (menggunakan API)
Contoh berikut menggunakan [AWS SDK for Python (Boto3) untuk memanggil](https://boto3.amazonaws.com/v1/documentation/api/latest/index.html) API. [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html) Tentukan nilai-nilai berikut ini:
+ Untuk `sagemaker_role,` Anda dapat menggunakan peran default yang SageMaker dibuat AI atau peran SageMaker AI IAM yang disesuaikan dari Langkah 4 bagian[Lengkapi prasyarat](serverless-endpoints-prerequisites.md).
+ Untuk`model_url`, tentukan URI Amazon S3 ke model Anda.
+ Untuk`container`, ambil wadah yang ingin Anda gunakan dengan jalur Amazon ECR-nya. Contoh ini menggunakan XGBoost wadah yang SageMaker disediakan AI. Jika Anda belum memilih wadah SageMaker AI atau membawanya sendiri, lihat Langkah 6 [Lengkapi prasyarat](serverless-endpoints-prerequisites.md) bagian untuk informasi selengkapnya.
+ Untuk`model_name`, masukkan nama untuk model.
```
#Setup
import boto3
import sagemaker
region = boto3.Session().region_name
client = boto3.client("sagemaker", region_name=region)
#Role to give SageMaker AI permission to access AWS services.
sagemaker_role = sagemaker.get_execution_role()
#Get model from S3
model_url = "s3://amzn-s3-demo-bucket/models/model.tar.gz"
#Get container image (prebuilt example)
from sagemaker import image_uris
container = image_uris.retrieve("xgboost", region, "0.90-1")
#Create model
model_name = ""
response = client.create_model(
ModelName = model_name,
ExecutionRoleArn = sagemaker_role,
Containers = [{
"Image": container,
"Mode": "SingleModel",
"ModelDataUrl": model_url,
}]
)
```
## Untuk membuat model (menggunakan konsol)
1. Masuk ke [konsol Amazon SageMaker AI](https://console.aws.amazon.com/sagemaker/home).
1. Di tab navigasi, pilih **Inferensi**.
1. Selanjutnya, pilih **Model**.
1. Pilih **Buat model**.
1. Untuk **nama Model**, masukkan nama untuk model yang unik untuk akun Anda dan Wilayah AWS.
1. Untuk **peran IAM**, pilih peran IAM yang telah Anda buat (lihat[Lengkapi prasyarat](serverless-endpoints-prerequisites.md)) atau izinkan SageMaker AI membuatnya untuk Anda.
1. Dalam **definisi Container 1**, untuk **opsi input Container**, pilih **Menyediakan artefak model dan lokasi input**.
1. Untuk **Menyediakan artefak model dan opsi gambar inferensi**, pilih **Gunakan model tunggal**.
1. Untuk **Lokasi gambar kode inferensi**, masukkan jalur ECR Amazon ke wadah. Gambar harus berupa gambar pihak pertama yang SageMaker disediakan AI (mis. TensorFlow, XGBoost) atau gambar yang berada di repositori Amazon ECR dalam akun yang sama tempat Anda membuat titik akhir. Jika Anda tidak memiliki wadah, kembali ke Langkah 6 [Lengkapi prasyarat](serverless-endpoints-prerequisites.md) bagian untuk informasi lebih lanjut.
1. Untuk **Lokasi artefak model**, masukkan URI Amazon S3 ke model ML Anda. Misalnya, `s3://amzn-s3-demo-bucket/models/model.tar.gz`.
1. (Opsional) Untuk **Tag**, tambahkan pasangan nilai kunci untuk membuat metadata untuk model Anda.
1. Pilih **Buat model**.
# Buat konfigurasi titik akhir
Setelah Anda membuat model, buat konfigurasi titik akhir. Anda kemudian dapat menerapkan model Anda menggunakan spesifikasi dalam konfigurasi titik akhir Anda. Dalam konfigurasi, Anda menentukan apakah Anda menginginkan titik akhir real-time atau tanpa server. Untuk membuat konfigurasi titik akhir tanpa server, Anda dapat menggunakan [konsol Amazon SageMaker AI](https://console.aws.amazon.com/sagemaker/home), [CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API, atau. AWS CLI Pendekatan API dan konsol diuraikan di bagian berikut.
## Untuk membuat konfigurasi titik akhir (menggunakan API)
Contoh berikut menggunakan [AWS SDK for Python (Boto3) untuk memanggil](https://boto3.amazonaws.com/v1/documentation/api/latest/index.html) API. [CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html) Tentukan nilai-nilai berikut ini:
+ Untuk`EndpointConfigName`, pilih nama untuk konfigurasi titik akhir. Nama harus unik dalam akun Anda di Wilayah.
+ (Opsional) Untuk`KmsKeyId`, gunakan ID kunci, ARN kunci, nama alias, atau alias ARN untuk AWS KMS kunci yang ingin Anda gunakan. SageMaker AI menggunakan kunci ini untuk mengenkripsi gambar Amazon ECR Anda.
+ Untuk`ModelName`, gunakan nama model yang ingin Anda terapkan. Itu harus model yang sama yang Anda gunakan di [Buat model](serverless-endpoints-create-model.md) langkah.
+ Untuk `ServerlessConfig`:
+ Atur `MemorySizeInMB` ke `2048`. Untuk contoh ini, kami mengatur ukuran memori menjadi 2048 MB, tetapi Anda dapat memilih salah satu nilai berikut untuk ukuran memori Anda: 1024 MB, 2048 MB, 3072 MB, 4096 MB, 5120 MB, atau 6144 MB.
+ Atur `MaxConcurrency` ke `20`. Untuk contoh ini, kami menetapkan konkurensi maksimum menjadi 20. Jumlah maksimum pemanggilan bersamaan yang dapat Anda atur untuk titik akhir tanpa server adalah 200, dan nilai minimum yang dapat Anda pilih adalah 1.
+ (Opsional) Untuk menggunakan Provisioned Concurrency, atur `ProvisionedConcurrency` ke 10. Untuk contoh ini, kita mengatur Provisioned Concurrency ke 10. `ProvisionedConcurrency`Angka untuk titik akhir tanpa server harus lebih rendah dari atau sama dengan angka. `MaxConcurrency` Anda dapat membiarkannya kosong jika Anda ingin menggunakan titik akhir Inferensi Tanpa Server sesuai permintaan. Anda dapat menskalakan Konkurensi Ketentuan secara dinamis. Untuk informasi selengkapnya, lihat [Secara otomatis menskalakan Konkurensi yang Disediakan untuk titik akhir tanpa server](serverless-endpoints-autoscale.md).
```
response = client.create_endpoint_config(
EndpointConfigName="",
KmsKeyId="arn:aws:kms:us-east-1:123456789012:key/143ef68f-76fd-45e3-abba-ed28fc8d3d5e",
ProductionVariants=[
{
"ModelName": "",
"VariantName": "AllTraffic",
"ServerlessConfig": {
"MemorySizeInMB": 2048,
"MaxConcurrency": 20,
"ProvisionedConcurrency": 10,
}
}
]
)
```
## Untuk membuat konfigurasi titik akhir (menggunakan konsol)
1. Masuk ke [konsol Amazon SageMaker AI](https://console.aws.amazon.com/sagemaker/home).
1. Di tab navigasi, pilih **Inferensi**.
1. Selanjutnya, pilih **Konfigurasi titik akhir**.
1. Pilih **Buat konfigurasi titik akhir**.
1. Untuk **nama konfigurasi Endpoint**, masukkan nama yang unik dalam akun Anda di Wilayah.
1. Untuk **Jenis titik akhir**, pilih Tanpa **Server**.
![\[Tangkapan layar dari opsi tipe titik akhir di konsol.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/serverless-endpoints-endpoint-config.png)
1. Untuk **varian Produksi**, pilih **Tambah model**.
1. Di bawah **Tambahkan model**, pilih model yang ingin Anda gunakan dari daftar model dan kemudian pilih **Simpan**.
1. Setelah menambahkan model Anda, di bawah **Tindakan**, pilih **Edit**.
1. Untuk **ukuran Memori**, pilih ukuran memori yang Anda inginkan dalam GB.
![\[Tangkapan layar opsi ukuran memori di konsol.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/serverless-endpoints-endpoint-config-2.png)
1. Untuk **Max Concurrency**, masukkan pemanggilan bersamaan maksimum yang Anda inginkan untuk titik akhir. Nilai maksimum yang dapat Anda masukkan adalah 200 dan minimum adalah 1.
1. **(Opsional) Untuk menggunakan Provisioned Concurrency, masukkan jumlah pemanggilan bersamaan yang diinginkan di bidang pengaturan Konkurensi yang Disediakan.** Jumlah pemanggilan bersamaan yang disediakan harus kurang dari atau sama dengan jumlah pemanggilan bersamaan maksimum.
1. Pilih **Simpan**.
1. (Opsional) Untuk **Tag**, masukkan pasangan nilai kunci jika Anda ingin membuat metadata untuk konfigurasi titik akhir Anda.
1. Pilih **Buat konfigurasi titik akhir**.
# Buat titik akhir
Untuk membuat titik akhir tanpa server, Anda dapat menggunakan [konsol Amazon SageMaker AI](https://console.aws.amazon.com/sagemaker/home), [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API, atau. AWS CLI Pendekatan API dan konsol diuraikan di bagian berikut. Setelah Anda membuat titik akhir Anda, dibutuhkan beberapa menit agar titik akhir tersedia.
## Untuk membuat titik akhir (menggunakan API)
Contoh berikut menggunakan [AWS SDK for Python (Boto3) untuk memanggil](https://boto3.amazonaws.com/v1/documentation/api/latest/index.html) API. [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html) Tentukan nilai-nilai berikut ini:
+ Untuk`EndpointName`, masukkan nama untuk titik akhir yang unik dalam Wilayah di akun Anda.
+ Untuk`EndpointConfigName`, gunakan nama konfigurasi titik akhir yang Anda buat di bagian sebelumnya.
```
response = client.create_endpoint(
EndpointName="",
EndpointConfigName=""
)
```
## Untuk membuat titik akhir (menggunakan konsol)
1. Masuk ke [konsol Amazon SageMaker AI](https://console.aws.amazon.com/sagemaker/home).
1. Di tab navigasi, pilih **Inferensi**.
1. Selanjutnya, pilih **Endpoints**.
1. Pilih **Buat titik akhir**.
1. Untuk **nama Endpoint**, masukkan nama yang unik dalam Wilayah di akun Anda.
1. Untuk **melampirkan konfigurasi titik akhir**, pilih **Gunakan konfigurasi titik akhir yang ada**.
1. Untuk **konfigurasi Endpoint**, pilih nama konfigurasi titik akhir yang Anda buat di bagian sebelumnya dan kemudian **pilih Pilih konfigurasi titik akhir**.
1. (Opsional) Untuk **Tag**, masukkan pasangan nilai kunci jika Anda ingin membuat metadata untuk titik akhir Anda.
1. Pilih **Buat titik akhir**.
![\[Tangkapan layar halaman buat dan konfigurasikan titik akhir di konsol.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/serverless-endpoints-create.png)
# Memanggil titik akhir tanpa server
Untuk melakukan inferensi menggunakan titik akhir tanpa server, Anda harus mengirim permintaan HTTP ke titik akhir. Anda dapat menggunakan [InvokeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_runtime_InvokeEndpoint.html)API atau AWS CLI, yang membuat `POST` permintaan untuk memanggil titik akhir Anda. Ukuran payload permintaan dan respons maksimum untuk pemanggilan tanpa server adalah 4 MB. Untuk titik akhir tanpa server:
+ Model harus diunduh dan server harus merespons dengan sukses `/ping` dalam waktu 3 menit.
+ Batas waktu penampung untuk menanggapi permintaan inferensi `/invocations` adalah 1 menit.
## Untuk memanggil titik akhir
Contoh berikut menggunakan [AWS SDK for Python (Boto3) untuk memanggil](https://boto3.amazonaws.com/v1/documentation/api/latest/index.html) API. [InvokeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_runtime_InvokeEndpoint.html) Perhatikan bahwa tidak seperti panggilan API lainnya dalam panduan ini, untuk`InvokeEndpoint`, Anda harus menggunakan SageMaker Runtime Runtime sebagai klien. Tentukan nilai-nilai berikut ini:
+ Untuk`endpoint_name`, gunakan nama titik akhir tanpa server dalam layanan yang ingin Anda panggil.
+ Untuk`content_type`, tentukan tipe MIME data masukan Anda di badan permintaan (misalnya,`application/json`).
+ Untuk`payload`, gunakan payload permintaan Anda untuk inferensi. Payload Anda harus dalam byte atau objek seperti file.
```
runtime = boto3.client("sagemaker-runtime")
endpoint_name = ""
content_type = ""
payload =
response = runtime.invoke_endpoint(
EndpointName=endpoint_name,
ContentType=content_type,
Body=payload
)
```
# Memperbarui titik akhir tanpa server
Sebelum memperbarui titik akhir Anda, buat konfigurasi titik akhir baru atau gunakan konfigurasi titik akhir yang ada. Konfigurasi titik akhir adalah tempat Anda menentukan perubahan untuk pembaruan Anda. Kemudian, Anda dapat memperbarui titik akhir Anda dengan [konsol SageMaker AI](https://console.aws.amazon.com/sagemaker/home), [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)API, atau. AWS CLI[Proses untuk memperbarui titik akhir tanpa server sama dengan proses untuk memperbarui titik akhir real-time.](realtime-endpoints.md) Perhatikan bahwa saat memperbarui titik akhir, Anda dapat mengalami cold start saat membuat permintaan ke titik akhir karena SageMaker AI harus menginisialisasi ulang container dan model Anda.
Anda mungkin ingin memperbarui titik akhir tanpa server sesuai permintaan ke titik akhir tanpa server dengan konkurensi yang disediakan atau menyesuaikan nilai Konkurensi yang Disediakan untuk titik akhir tanpa server yang ada dengan konkurensi yang disediakan. Untuk kedua kasus tersebut, Anda harus membuat konfigurasi endpoint tanpa server baru dengan nilai yang diinginkan untuk Provisioned Concurrency, dan menerapkan `UpdateEndpoint` ke titik akhir tanpa server yang ada. Untuk informasi selengkapnya tentang membuat konfigurasi endpoint tanpa server baru dengan Provisioned Concurrency, lihat. [Buat konfigurasi titik akhir](serverless-endpoints-create-config.md)
Jika Anda ingin menghapus Provisioned Concurrency dari titik akhir tanpa server, Anda harus membuat konfigurasi titik akhir baru tanpa menentukan nilai apa pun untuk Provisioned Concurrency, dan kemudian menerapkan ke titik akhir. `UpdateEndpoint`
**catatan**
Memperbarui titik akhir inferensi real-time ke titik akhir tanpa server sesuai permintaan atau titik akhir tanpa server dengan Provisioned Concurrency saat ini tidak didukung.
## Perbarui titik akhir
Setelah membuat konfigurasi titik akhir tanpa server baru, Anda dapat menggunakan [AWS SDK untuk Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/index.html)atau [konsol SageMaker AI](https://console.aws.amazon.com/sagemaker/) untuk memperbarui titik akhir tanpa server yang ada. Contoh cara memperbarui titik akhir Anda menggunakan AWS SDK untuk Python (Boto3) dan konsol SageMaker AI diuraikan di bagian berikut.
### Untuk memperbarui titik akhir (menggunakan Boto3)
Contoh berikut menggunakan [AWS SDK untuk Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/index.html)untuk memanggil metode [update\$1endpoint](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/update_endpoint.html). Tentukan setidaknya parameter berikut saat memanggil metode:
+ Untuk`EndpointName`, gunakan nama titik akhir yang Anda perbarui.
+ Untuk`EndpointConfigName`, gunakan nama konfigurasi titik akhir yang ingin Anda gunakan untuk pembaruan.
```
response = client.update_endpoint(
EndpointName="",
EndpointConfigName="",
)
```
### Untuk memperbarui titik akhir (menggunakan konsol)
1. Masuk ke [konsol Amazon SageMaker AI](https://console.aws.amazon.com/sagemaker/).
1. Di tab navigasi, pilih **Inferensi**.
1. Selanjutnya, pilih **Endpoints**.
1. Dari daftar titik akhir, pilih titik akhir yang ingin Anda perbarui.
1. Pilih **Ubah** di bagian **pengaturan konfigurasi Endpoint**.
1. Untuk **Mengubah konfigurasi Endpoint**, pilih **Gunakan konfigurasi endpoint yang ada**.
1. Dari daftar konfigurasi titik akhir, pilih salah satu yang ingin Anda gunakan untuk pembaruan Anda.
1. Pilih **Pilih konfigurasi titik akhir**.
1. Pilih **Perbarui titik akhir**.
# Jelaskan titik akhir tanpa server
Anda mungkin ingin mengambil informasi tentang titik akhir Anda, termasuk detail seperti ARN titik akhir, status saat ini, konfigurasi penerapan, dan alasan kegagalan. Anda dapat menemukan informasi tentang titik akhir Anda menggunakan [konsol SageMaker AI](https://console.aws.amazon.com/sagemaker/home), [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html)API, atau. AWS CLI
## Untuk mendeskripsikan titik akhir (menggunakan API)
Contoh berikut menggunakan [AWS SDK for Python (Boto3) untuk memanggil](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#id309) API. [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html) Untuk`EndpointName`, gunakan nama titik akhir yang ingin Anda periksa.
```
response = client.describe_endpoint(
EndpointName="",
)
```
## Untuk mendeskripsikan titik akhir (menggunakan konsol)
1. Masuk ke [konsol Amazon SageMaker AI](https://console.aws.amazon.com/sagemaker/home).
1. Di tab navigasi, pilih **Inferensi**.
1. Selanjutnya, pilih **Endpoints**.
1. Dari daftar titik akhir, pilih titik akhir yang ingin Anda periksa.
Halaman endpoint berisi informasi tentang endpoint Anda.
# Menghapus titik akhir tanpa server
Anda dapat menghapus titik akhir tanpa server menggunakan [konsol SageMaker AI](https://console.aws.amazon.com/sagemaker/home), [DeleteEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DeleteEndpoint.html)API, atau. AWS CLI Contoh berikut menunjukkan cara menghapus titik akhir Anda melalui API dan konsol SageMaker AI.
## Untuk menghapus titik akhir (menggunakan API)
Contoh berikut menggunakan [AWS SDK for Python (Boto3) untuk memanggil](https://boto3.amazonaws.com/v1/documentation/api/latest/index.html) API. [DeleteEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DeleteEndpoint.html) Untuk`EndpointName`, gunakan nama titik akhir tanpa server yang ingin Anda hapus.
```
response = client.delete_endpoint(
EndpointName="",
)
```
## Untuk menghapus titik akhir (menggunakan konsol)
1. Masuk ke [konsol Amazon SageMaker AI](https://console.aws.amazon.com/sagemaker/home).
1. Di tab navigasi, pilih **Inferensi**.
1. Selanjutnya, pilih **Endpoints**.
1. Dari daftar titik akhir, pilih titik akhir yang ingin Anda hapus.
1. Pilih daftar drop-down **Tindakan**, lalu pilih **Hapus**.
1. Ketika diminta lagi, pilih **Hapus**.
Titik akhir Anda sekarang harus memulai proses penghapusan.
# Alarm dan log untuk melacak metrik dari titik akhir tanpa server
Untuk memantau titik akhir tanpa server, Anda dapat menggunakan alarm Amazon. CloudWatch CloudWatch adalah layanan yang mengumpulkan metrik secara real time dari AWS aplikasi dan sumber daya Anda. Alarm mengawasi metrik saat dikumpulkan dan memberi Anda kemampuan untuk menentukan ambang batas dan tindakan yang harus diambil jika ambang batas tersebut dilanggar. Misalnya, CloudWatch alarm Anda dapat mengirimi Anda pemberitahuan jika titik akhir Anda melanggar ambang kesalahan. Dengan mengatur CloudWatch alarm, Anda mendapatkan visibilitas ke kinerja dan fungsionalitas titik akhir Anda. Untuk informasi selengkapnya tentang CloudWatch alarm, lihat [Menggunakan CloudWatch alarm Amazon](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html) di * CloudWatch Panduan Pengguna Amazon*.
## Pemantauan CloudWatch dengan
Metrik di bawah ini adalah daftar lengkap metrik untuk titik akhir tanpa server. Metrik apa pun yang tidak tercantum di bawah ini tidak dipublikasikan untuk titik akhir tanpa server. Untuk informasi tentang metrik berikut, lihat [Memantau Amazon SageMaker AI dengan Amazon CloudWatch](https://docs.aws.amazon.com/sagemaker/latest/dg/monitoring-cloudwatch.html).
### Metrik titik akhir umum
CloudWatch Metrik ini sama dengan metrik yang diterbitkan untuk titik akhir waktu nyata.
`OverheadLatency`Metrik melacak semua latensi tambahan yang ditambahkan SageMaker AI yang mencakup waktu mulai dingin untuk meluncurkan sumber daya komputasi baru untuk titik akhir tanpa server Anda. Dibandingkan dengan titik akhir tanpa server sesuai permintaan, titik akhir tanpa server dengan `OverheadLatency` konkurensi penyediaan umumnya jauh lebih sedikit.
Endpoint tanpa server juga dapat menggunakan`Invocations4XXErrors`,,, `Invocations5XXErrors` `Invocations``ModelLatency`, `ModelSetupTime` dan metrik. `MemoryUtilization` Untuk mempelajari lebih lanjut tentang metrik ini, lihat[SageMaker Metrik pemanggilan titik akhir AI](monitoring-cloudwatch.md#cloudwatch-metrics-endpoint-invocation).
### Metrik titik akhir tanpa server yang umum
CloudWatch Metrik ini diterbitkan untuk titik akhir tanpa server sesuai permintaan dan titik akhir tanpa server dengan Provisioned Concurrency.
| Nama Metrik | Deskripsi | Unit/Statistik |
| --- | --- | --- |
| ServerlessConcurrentExecutionsUtilization | Jumlah eksekusi bersamaan dibagi dengan konkurensi maksimum. | Satuan: Tidak adaStatistik yang valid: Rata-rata, Maks, Min |
### Titik akhir tanpa server dengan metrik Konkurensi yang Disediakan
CloudWatch Metrik ini diterbitkan untuk titik akhir tanpa server dengan Provisioned Concurrency.
| Nama Metrik | Deskripsi | Unit/Statistik |
| --- | --- | --- |
| ServerlessProvisionedConcurrencyExecutions | Jumlah eksekusi bersamaan yang ditangani oleh titik akhir. | Unit: JumlahStatistik yang valid: Rata-rata, Maks, Min |
| ServerlessProvisionedConcurrencyUtilization | Jumlah eksekusi bersamaan dibagi dengan Provisioned Concurrency yang dialokasikan. | Satuan: Tidak adaStatistik yang valid: Rata-rata, Maks, Min |
| ServerlessProvisionedConcurrencyInvocations | Jumlah InvokeEndpoint permintaan yang ditangani oleh Provisioned Concurrency. | Unit: JumlahStatistik yang valid: Rata-rata, Maks, Min |
| ServerlessProvisionedConcurrencySpilloverInvocations | Jumlah InvokeEndpoint permintaan yang tidak ditangani oleh Provisioned Concurrency, yang ditangani oleh Inferensi Tanpa Server sesuai permintaan. | Unit: JumlahStatistik yang valid: Rata-rata, Maks, Min |
## Log
Jika Anda ingin memantau log dari titik akhir untuk proses debug atau analisis kemajuan, Anda dapat menggunakan Amazon CloudWatch Logs. Grup log yang SageMaker disediakan AI yang dapat Anda gunakan untuk titik akhir tanpa server adalah. `/aws/sagemaker/Endpoints/[EndpointName]` Untuk informasi selengkapnya tentang penggunaan CloudWatch Log di SageMaker AI, lihat[CloudWatch Log untuk Amazon SageMaker AI](logging-cloudwatch.md). Untuk mempelajari lebih lanjut tentang CloudWatch Log, lihat [Apa itu CloudWatch Log Amazon?](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/WhatIsCloudWatchLogs.html) di *Panduan Pengguna CloudWatch Log Amazon*.
# Secara otomatis menskalakan Konkurensi yang Disediakan untuk titik akhir tanpa server
Amazon SageMaker AI secara otomatis menskalakan atau keluar titik akhir tanpa server sesuai permintaan. Untuk endpoint tanpa server dengan Provisioned Concurrency, Anda dapat menggunakan Application Auto Scaling untuk meningkatkan atau menurunkan Provisioned Concurrency berdasarkan profil lalu lintas Anda, sehingga mengoptimalkan biaya.
Berikut ini adalah prasyarat untuk skala otomatis Provisioned Concurrency pada titik akhir tanpa server:
+ [Daftarkan model](#serverless-endpoints-autoscale-register)
+ [Menentukan kebijakan penskalaan](#serverless-endpoints-autoscale-define)
+ [Menerapkan kebijakan penskalaan](#serverless-endpoints-autoscale-apply)
Sebelum Anda dapat menggunakan penskalaan otomatis, Anda harus telah menerapkan model ke titik akhir tanpa server dengan Provisioned Concurrency. Model yang digunakan disebut sebagai [varian produksi](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariant.html). Lihat [Buat konfigurasi titik akhir](serverless-endpoints-create-config.md) dan [Buat titik akhir](serverless-endpoints-create-endpoint.md) untuk informasi selengkapnya tentang penerapan model ke titik akhir tanpa server dengan Provisioned Concurrency. Untuk menentukan metrik dan nilai target untuk kebijakan penskalaan, Anda harus mengonfigurasi kebijakan penskalaan. Untuk informasi selengkapnya tentang cara menentukan kebijakan penskalaan, lihat[Menentukan kebijakan penskalaan](#serverless-endpoints-autoscale-define). Setelah mendaftarkan model Anda dan menentukan kebijakan penskalaan, terapkan kebijakan penskalaan ke model terdaftar. Untuk informasi tentang cara menerapkan kebijakan penskalaan, lihat[Menerapkan kebijakan penskalaan](#serverless-endpoints-autoscale-apply).
[Untuk detail tentang prasyarat dan komponen lain yang digunakan dengan penskalaan otomatis, lihat bagian dalam dokumentasi penskalaan otomatis AI. [Prasyarat penskalaan otomatis](endpoint-auto-scaling-prerequisites.md) SageMaker ](endpoint-auto-scaling.md)
## Daftarkan model
Untuk menambahkan penskalaan otomatis ke titik akhir tanpa server dengan Provisioned Concurrency, Anda harus terlebih dahulu mendaftarkan model Anda (varian produksi) menggunakan Application Auto Scaling API. AWS CLI
### Daftarkan model (AWS CLI)
Untuk mendaftarkan model Anda, gunakan `register-scalable-target` AWS CLI perintah dengan parameter berikut:
+ `--service-namespace` – Atur nilai ini ke `sagemaker`.
+ `--resource-id`— Pengidentifikasi sumber daya untuk model (khususnya varian produksi). Untuk parameter ini, tipe sumber daya adalah `endpoint` dan pengidentifikasi unik adalah nama varian produksi. Sebagai contoh, `endpoint/MyEndpoint/variant/MyVariant`.
+ `--scalable-dimension` – Atur nilai ini ke `sagemaker:variant:DesiredProvisionedConcurrency`.
+ `--min-capacity`— Jumlah minimum Provisioned Concurrency untuk model. Setel `--min-capacity` ke setidaknya 1. Itu harus sama dengan atau kurang dari nilai yang ditentukan untuk`--max-capacity`.
+ `--max-capacity`— Jumlah maksimum Provisioned Concurrency yang harus diaktifkan melalui Application Auto Scaling. Setel `--max-capacity` ke minimal 1. Itu harus lebih besar dari atau sama dengan nilai yang ditentukan untuk`--min-capacity`.
Contoh berikut menunjukkan cara mendaftarkan model bernama `MyVariant` yang diskalakan secara dinamis untuk memiliki 1 hingga 10 nilai Konkurensi yang Disediakan:
```
aws application-autoscaling register-scalable-target \
--service-namespace sagemaker \
--scalable-dimension sagemaker:variant:DesiredProvisionedConcurrency \
--resource-id endpoint/MyEndpoint/variant/MyVariant \
--min-capacity 1 \
--max-capacity 10
```
### Daftarkan model (Application Auto Scaling API)
Untuk mendaftarkan model Anda, gunakan aksi `RegisterScalableTarget` Application Auto Scaling API dengan parameter berikut:
+ `ServiceNamespace` – Atur nilai ini ke `sagemaker`.
+ `ResourceId`— Pengidentifikasi sumber daya untuk model (khususnya varian produksi). Untuk parameter ini, tipe sumber daya adalah `endpoint` dan pengidentifikasi unik adalah nama varian produksi. Sebagai contoh, `endpoint/MyEndpoint/variant/MyVariant`.
+ `ScalableDimension` – Atur nilai ini ke `sagemaker:variant:DesiredProvisionedConcurrency`.
+ `MinCapacity`— Jumlah minimum Provisioned Concurrency untuk model. Setel `MinCapacity` ke setidaknya 1. Itu harus sama dengan atau kurang dari nilai yang ditentukan untuk`MaxCapacity`.
+ `MaxCapacity`— Jumlah maksimum Provisioned Concurrency yang harus diaktifkan melalui Application Auto Scaling. Setel `MaxCapacity` ke minimal 1. Itu harus lebih besar dari atau sama dengan nilai yang ditentukan untuk`MinCapacity`.
Contoh berikut menunjukkan cara mendaftarkan model bernama `MyVariant` yang diskalakan secara dinamis untuk memiliki 1 hingga 10 nilai Konkurensi yang Disediakan:
```
POST / HTTP/1.1
Host: autoscaling.us-east-2.amazonaws.com
Accept-Encoding: identity
X-Amz-Target: AnyScaleFrontendService.RegisterScalableTarget
X-Amz-Date: 20160506T182145Z
User-Agent: aws-cli/1.10.23 Python/2.7.11 Darwin/15.4.0 botocore/1.4.8
Content-Type: application/x-amz-json-1.1
Authorization: AUTHPARAMS
{
"ServiceNamespace": "sagemaker",
"ResourceId": "endpoint/MyEndPoint/variant/MyVariant",
"ScalableDimension": "sagemaker:variant:DesiredProvisionedConcurrency",
"MinCapacity": 1,
"MaxCapacity": 10
}
```
## Menentukan kebijakan penskalaan
Untuk menentukan metrik dan nilai target untuk kebijakan penskalaan, Anda dapat mengonfigurasi kebijakan penskalaan pelacakan target. Tentukan kebijakan penskalaan sebagai blok JSON dalam file teks. Anda kemudian dapat menggunakan file teks tersebut saat menjalankan AWS CLI atau Application Auto Scaling API. Untuk menentukan kebijakan penskalaan pelacakan target dengan cepat untuk titik akhir tanpa server, gunakan metrik yang telah ditentukan sebelumnya. `SageMakerVariantProvisionedConcurrencyUtilization`
```
{
"TargetValue": 0.5,
"PredefinedMetricSpecification":
{
"PredefinedMetricType": "SageMakerVariantProvisionedConcurrencyUtilization"
},
"ScaleOutCooldown": 1,
"ScaleInCooldown": 1
}
```
## Menerapkan kebijakan penskalaan
Setelah mendaftarkan model, Anda dapat menerapkan kebijakan penskalaan ke titik akhir tanpa server dengan Provisioned Concurrency. Lihat [Menerapkan kebijakan penskalaan pelacakan target](#serverless-endpoints-autoscale-apply-target) untuk menerapkan kebijakan penskalaan pelacakan target yang telah Anda tetapkan. Jika arus lalu lintas ke titik akhir tanpa server Anda memiliki rutinitas yang dapat diprediksi, alih-alih menerapkan kebijakan penskalaan pelacakan target, Anda mungkin ingin menjadwalkan tindakan penskalaan pada waktu tertentu. Untuk informasi selengkapnya tentang penjadwalan tindakan penskalaan, lihat. [Penskalaan terjadwal](#serverless-endpoints-autoscale-apply-scheduled)
### Menerapkan kebijakan penskalaan pelacakan target
Anda dapat menggunakan Application Auto Scaling API AWS CLI atau Application Auto Scaling untuk menerapkan kebijakan penskalaan pelacakan target ke titik akhir tanpa server Anda dengan Provisioned Concurrency. Konsol Manajemen AWS
#### Menerapkan kebijakan penskalaan pelacakan target ()AWS CLI
Untuk menerapkan kebijakan penskalaan pada model Anda, gunakan perintah `put-scaling-policy` AWS CLI; dengan parameter berikut:
+ `--policy-name` – Nama kebijakan penskalaan.
+ `--policy-type` – Atur nilai ini ke `TargetTrackingScaling`.
+ `--resource-id`— Pengidentifikasi sumber daya untuk varian. Untuk parameter ini, tipe sumber daya adalah `endpoint` dan pengidentifikasi unik adalah nama varian. Sebagai contoh, `endpoint/MyEndpoint/variant/MyVariant`.
+ `--service-namespace` – Atur nilai ini ke `sagemaker`.
+ `--scalable-dimension` – Atur nilai ini ke `sagemaker:variant:DesiredProvisionedConcurrency`.
+ `--target-tracking-scaling-policy-configuration`— Konfigurasi kebijakan penskalaan pelacakan target yang akan digunakan untuk model.
Contoh berikut menunjukkan cara menerapkan kebijakan penskalaan pelacakan target yang diberi nama `MyScalingPolicy` ke model bernama. `MyVariant` Konfigurasi kebijakan disimpan dalam file bernama`scaling-policy.json`.
```
aws application-autoscaling put-scaling-policy \
--policy-name MyScalingPolicy \
--policy-type TargetTrackingScaling \
--service-namespace sagemaker \
--scalable-dimension sagemaker:variant:DesiredProvisionedConcurrency \
--resource-id endpoint/MyEndpoint/variant/MyVariant \
--target-tracking-scaling-policy-configuration file://[file-localtion]/scaling-policy.json
```
#### Menerapkan kebijakan penskalaan pelacakan target (Application Auto Scaling API)
Untuk menerapkan kebijakan penskalaan pada model Anda, gunakan tindakan `PutScalingPolicy` Application Auto Scaling API dengan parameter berikut:
+ `PolicyName` – Nama kebijakan penskalaan.
+ `PolicyType` – Atur nilai ini ke `TargetTrackingScaling`.
+ `ResourceId`— Pengidentifikasi sumber daya untuk varian. Untuk parameter ini, tipe sumber daya adalah `endpoint` dan pengidentifikasi unik adalah nama varian. Sebagai contoh, `endpoint/MyEndpoint/variant/MyVariant`.
+ `ServiceNamespace` – Atur nilai ini ke `sagemaker`.
+ `ScalableDimension` – Atur nilai ini ke `sagemaker:variant:DesiredProvisionedConcurrency`.
+ `TargetTrackingScalingPolicyConfiguration`— Konfigurasi kebijakan penskalaan pelacakan target yang akan digunakan untuk model.
Contoh berikut menunjukkan cara menerapkan kebijakan penskalaan pelacakan target yang diberi nama `MyScalingPolicy` ke model bernama. `MyVariant` Konfigurasi kebijakan disimpan dalam file bernama`scaling-policy.json`.
```
POST / HTTP/1.1
Host: autoscaling.us-east-2.amazonaws.com
Accept-Encoding: identity
X-Amz-Target: AnyScaleFrontendService.PutScalingPolicy
X-Amz-Date: 20160506T182145Z
User-Agent: aws-cli/1.10.23 Python/2.7.11 Darwin/15.4.0 botocore/1.4.8
Content-Type: application/x-amz-json-1.1
Authorization: AUTHPARAMS
{
"PolicyName": "MyScalingPolicy",
"ServiceNamespace": "sagemaker",
"ResourceId": "endpoint/MyEndpoint/variant/MyVariant",
"ScalableDimension": "sagemaker:variant:DesiredProvisionedConcurrency",
"PolicyType": "TargetTrackingScaling",
"TargetTrackingScalingPolicyConfiguration":
{
"TargetValue": 0.5,
"PredefinedMetricSpecification":
{
"PredefinedMetricType": "SageMakerVariantProvisionedConcurrencyUtilization"
}
}
}
```
#### Menerapkan kebijakan penskalaan pelacakan target ()Konsol Manajemen AWS
Untuk menerapkan kebijakan penskalaan pelacakan target dengan: Konsol Manajemen AWS
1. Masuk ke [konsol Amazon SageMaker AI](https://console.aws.amazon.com/sagemaker/).
1. Di panel navigasi, pilih **Inferensi**.
1. Pilih **Endpoint** untuk melihat daftar semua titik akhir Anda.
1. Pilih titik akhir yang ingin Anda terapkan kebijakan penskalaan. Halaman dengan pengaturan titik akhir akan muncul, dengan model (varian produksi) yang tercantum di bawah bagian Pengaturan **runtime endpoint**.
1. Pilih varian produksi yang ingin Anda terapkan kebijakan penskalaan, dan pilih **Konfigurasi penskalaan otomatis**. Kotak dialog **penskalaan otomatis varian Konfigurasi** muncul.
![\[Tangkapan layar dari kotak dialog penskalaan otomatis varian konfigurasi di konsol.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/serverless-endpoints-variant-autoscaling.png)
1. **Masukkan nilai Konkurensi Terketentuan minimum dan maksimum di bidang konkurensi **minimum yang disediakan dan konkurensi** yang **disediakan maksimum, masing-masing, di bagian penskalaan otomatis** Variant.** Minimum Provisioned Concurrency harus kurang dari atau sama dengan maksimum Provisioned Concurrency.
1. Masukkan nilai target di bidang **Nilai target** untuk metrik target,`SageMakerVariantProvisionedConcurrencyUtilization`.
1. (Opsional) Masukkan skala dalam pendinginan dan skala nilai pendinginan (dalam detik) di **Skala dalam pendinginan** dan **Skalakan bidang pendinginan** masing-masing.
1. (Opsional) Pilih **Nonaktifkan skala** jika Anda tidak ingin penskalaan otomatis menghapus instance saat lalu lintas menurun.
1. Pilih **Simpan**.
### Penskalaan terjadwal
Jika lalu lintas ke titik akhir tanpa server Anda dengan Provisioned Concurrency mengikuti pola rutin, Anda mungkin ingin menjadwalkan tindakan penskalaan pada waktu tertentu, untuk menskalakan atau memperkecil Provisioned Concurrency. Anda dapat menggunakan Application Auto Scaling AWS CLI atau Application Auto Scaling untuk menjadwalkan tindakan penskalaan.
#### Penskalaan terjadwal ()AWS CLI
Untuk menerapkan kebijakan penskalaan pada model Anda, gunakan perintah `put-scheduled-action` AWS CLI; dengan parameter berikut:
+ `--schedule-action-name`— Nama tindakan penskalaan.
+ `--schedule`— Ekspresi cron yang menentukan waktu mulai dan akhir dari tindakan penskalaan dengan jadwal berulang.
+ `--resource-id`— Pengidentifikasi sumber daya untuk varian. Untuk parameter ini, tipe sumber daya adalah `endpoint` dan pengidentifikasi unik adalah nama varian. Sebagai contoh, `endpoint/MyEndpoint/variant/MyVariant`.
+ `--service-namespace` – Atur nilai ini ke `sagemaker`.
+ `--scalable-dimension` – Atur nilai ini ke `sagemaker:variant:DesiredProvisionedConcurrency`.
+ `--scalable-target-action`— Target tindakan penskalaan.
Contoh berikut menunjukkan cara menambahkan tindakan penskalaan bernama `MyScalingAction` ke model bernama `MyVariant` pada jadwal berulang. Pada jadwal yang ditentukan (setiap hari pukul 12:15 WIB), jika Konkurensi yang Disediakan saat ini di bawah nilai yang ditentukan untuk. `MinCapacity` Application Auto Scaling menskalakan Provisioned Concurrency ke nilai yang ditentukan oleh. `MinCapacity`
```
aws application-autoscaling put-scheduled-action \
--scheduled-action-name 'MyScalingAction' \
--schedule 'cron(15 12 * * ? *)' \
--service-namespace sagemaker \
--resource-id endpoint/MyEndpoint/variant/MyVariant \
--scalable-dimension sagemaker:variant:DesiredProvisionedConcurrency \
--scalable-target-action 'MinCapacity=10'
```
#### Penskalaan terjadwal (Application Auto Scaling API)
Untuk menerapkan kebijakan penskalaan pada model Anda, gunakan tindakan `PutScheduledAction` Application Auto Scaling API dengan parameter berikut:
+ `ScheduleActionName`— Nama tindakan penskalaan.
+ `Schedule`— Ekspresi cron yang menentukan waktu mulai dan akhir dari tindakan penskalaan dengan jadwal berulang.
+ `ResourceId`— Pengidentifikasi sumber daya untuk varian. Untuk parameter ini, tipe sumber daya adalah `endpoint` dan pengidentifikasi unik adalah nama varian. Sebagai contoh, `endpoint/MyEndpoint/variant/MyVariant`.
+ `ServiceNamespace` – Atur nilai ini ke `sagemaker`.
+ `ScalableDimension` – Atur nilai ini ke `sagemaker:variant:DesiredProvisionedConcurrency`.
+ `ScalableTargetAction`— Target tindakan penskalaan.
Contoh berikut menunjukkan cara menambahkan tindakan penskalaan bernama `MyScalingAction` ke model bernama `MyVariant` pada jadwal berulang. Pada jadwal yang ditentukan (setiap hari pukul 12:15 WIB), jika Konkurensi yang Disediakan saat ini di bawah nilai yang ditentukan untuk. `MinCapacity` Application Auto Scaling menskalakan Provisioned Concurrency ke nilai yang ditentukan oleh. `MinCapacity`
```
POST / HTTP/1.1
Host: autoscaling.us-east-2.amazonaws.com
Accept-Encoding: identity
X-Amz-Target: AnyScaleFrontendService.PutScheduledAction
X-Amz-Date: 20160506T182145Z
User-Agent: aws-cli/1.10.23 Python/2.7.11 Darwin/15.4.0 botocore/1.4.8
Content-Type: application/x-amz-json-1.1
Authorization: AUTHPARAMS
{
"ScheduledActionName": "MyScalingAction",
"Schedule": "cron(15 12 * * ? *)",
"ServiceNamespace": "sagemaker",
"ResourceId": "endpoint/MyEndpoint/variant/MyVariant",
"ScalableDimension": "sagemaker:variant:DesiredProvisionedConcurrency",
"ScalableTargetAction": "MinCapacity=10"
}
}
}
```
# Bersihkan
Setelah Anda selesai menggunakan penskalaan otomatis untuk titik akhir tanpa server Anda dengan Provisioned Concurrency, Anda harus membersihkan sumber daya yang Anda buat. Ini melibatkan penghapusan kebijakan penskalaan dan membatalkan pendaftaran model dari Application Auto Scaling. Membersihkan memastikan bahwa Anda tidak mengeluarkan biaya yang tidak perlu untuk sumber daya yang tidak lagi Anda gunakan.
## Menghapus kebijakan penskalaan
Anda dapat menghapus kebijakan penskalaan dengan Konsol Manajemen AWS, Application Auto Scaling AWS CLI API, atau Application Auto Scaling. Untuk informasi selengkapnya tentang menghapus kebijakan penskalaan dengan Konsol Manajemen AWS, lihat [Menghapus kebijakan penskalaan](endpoint-auto-scaling-delete.md) di dokumentasi penskalaan [otomatis SageMaker AI](endpoint-auto-scaling.md).
### Menghapus kebijakan penskalaan ()AWS CLI
Untuk menerapkan kebijakan penskalaan pada model Anda, gunakan perintah `delete-scaling-policy` AWS CLI; dengan parameter berikut:
+ `--policy-name` – Nama kebijakan penskalaan.
+ `--resource-id`— Pengidentifikasi sumber daya untuk varian. Untuk parameter ini, tipe sumber daya adalah `endpoint` dan pengidentifikasi unik adalah nama varian. Sebagai contoh, `endpoint/MyEndpoint/variant/MyVariant`.
+ `--service-namespace` – Atur nilai ini ke `sagemaker`.
+ `--scalable-dimension` – Atur nilai ini ke `sagemaker:variant:DesiredProvisionedConcurrency`.
Contoh berikut menghapus kebijakan penskalaan bernama `MyScalingPolicy` dari model bernama. `MyVariant`
```
aws application-autoscaling delete-scaling-policy \
--policy-name MyScalingPolicy \
--service-namespace sagemaker \
--scalable-dimension sagemaker:variant:DesiredProvisionedConcurrency \
--resource-id endpoint/MyEndpoint/variant/MyVariant
```
### Menghapus kebijakan penskalaan (Application Auto Scaling API)
Untuk menghapus kebijakan penskalaan ke model Anda, gunakan tindakan `DeleteScalingPolicy` Application Auto Scaling API dengan parameter berikut:
+ `PolicyName` – Nama kebijakan penskalaan.
+ `ResourceId`— Pengidentifikasi sumber daya untuk varian. Untuk parameter ini, tipe sumber daya adalah `endpoint` dan pengidentifikasi unik adalah nama varian. Sebagai contoh, `endpoint/MyEndpoint/variant/MyVariant`.
+ `ServiceNamespace` – Atur nilai ini ke `sagemaker`.
+ `ScalableDimension` – Atur nilai ini ke `sagemaker:variant:DesiredProvisionedConcurrency`.
Contoh berikut menggunakan Application Auto Scaling API untuk menghapus kebijakan penskalaan bernama `MyScalingPolicy` dari model bernama. `MyVariant`
```
POST / HTTP/1.1
Host: autoscaling.us-east-2.amazonaws.com
Accept-Encoding: identity
X-Amz-Target: AnyScaleFrontendService.DeleteScalingPolicy
X-Amz-Date: 20160506T182145Z
User-Agent: aws-cli/1.10.23 Python/2.7.11 Darwin/15.4.0 botocore/1.4.8
Content-Type: application/x-amz-json-1.1
Authorization: AUTHPARAMS
{
"PolicyName": "MyScalingPolicy",
"ServiceNamespace": "sagemaker",
"ResourceId": "endpoint/MyEndpoint/variant/MyVariant",
"ScalableDimension": "sagemaker:variant:DesiredProvisionedConcurrency",
}
```
## Deregister model
Anda dapat membatalkan pendaftaran model dengan, Application Auto Scaling API Konsol Manajemen AWS AWS CLI, atau Application Auto Scaling.
### Deregister model ()AWS CLI
Untuk membatalkan pendaftaran model dari Application Auto Scaling, gunakan perintah; `deregister-scalable-target` AWS CLI dengan parameter berikut:
+ `--resource-id`— Pengidentifikasi sumber daya untuk varian. Untuk parameter ini, tipe sumber daya adalah `endpoint` dan pengidentifikasi unik adalah nama varian. Sebagai contoh, `endpoint/MyEndpoint/variant/MyVariant`.
+ `--service-namespace` – Atur nilai ini ke `sagemaker`.
+ `--scalable-dimension` – Atur nilai ini ke `sagemaker:variant:DesiredProvisionedConcurrency`.
Contoh berikut membatalkan pendaftaran model bernama `MyVariant` dari Application Auto Scaling.
```
aws application-autoscaling deregister-scalable-target \
--service-namespace sagemaker \
--scalable-dimension sagemaker:variant:DesiredProvisionedConcurrency \
--resource-id endpoint/MyEndpoint/variant/MyVariant
```
### Membatalkan pendaftaran model (Application Auto Scaling API)
Untuk membatalkan pendaftaran model dari Application Auto Scaling, gunakan aksi Application Auto `DeregisterScalableTarget` Scaling API dengan parameter berikut:
+ `ResourceId`— Pengidentifikasi sumber daya untuk varian. Untuk parameter ini, tipe sumber daya adalah `endpoint` dan pengidentifikasi unik adalah nama varian. Sebagai contoh, `endpoint/MyEndpoint/variant/MyVariant`.
+ `ServiceNamespace` – Atur nilai ini ke `sagemaker`.
+ `ScalableDimension` – Atur nilai ini ke `sagemaker:variant:DesiredProvisionedConcurrency`.
Contoh berikut menggunakan Application Auto Scaling API untuk membatalkan pendaftaran model bernama dari Application Auto `MyVariant` Scaling.
```
POST / HTTP/1.1
Host: autoscaling.us-east-2.amazonaws.com
Accept-Encoding: identity
X-Amz-Target: AnyScaleFrontendService.DeregisterScalableTarget
X-Amz-Date: 20160506T182145Z
User-Agent: aws-cli/1.10.23 Python/2.7.11 Darwin/15.4.0 botocore/1.4.8
Content-Type: application/x-amz-json-1.1
Authorization: AUTHPARAMS
{
"ServiceNamespace": "sagemaker",
"ResourceId": "endpoint/MyEndpoint/variant/MyVariant",
"ScalableDimension": "sagemaker:variant:DesiredProvisionedConcurrency",
}
```
### Deregister model ()Konsol Manajemen AWS
Untuk membatalkan pendaftaran model (varian produksi) dengan: Konsol Manajemen AWS
1. Buka [konsol Amazon SageMaker AI](https://console.aws.amazon.com/sagemaker/).
1. **Di panel navigasi, pilih Inferensi.**
1. Pilih **Endpoints** untuk melihat daftar endpoint Anda.
1. Pilih endpoint tanpa server yang menghosting varian produksi. Halaman dengan pengaturan titik akhir akan muncul, dengan varian produksi tercantum di bawah bagian Pengaturan **runtime Endpoint**.
1. Pilih varian produksi yang ingin Anda deregister, dan pilih Configure **auto** scaling. Kotak dialog **penskalaan otomatis varian Konfigurasi** muncul.
1. Pilih **Deregister auto scaling**.
# Pemecahan Masalah
**penting**
Kebijakan IAM khusus yang memungkinkan Amazon SageMaker Studio atau Amazon SageMaker Studio Classic membuat SageMaker sumber daya Amazon juga harus memberikan izin untuk menambahkan tag ke sumber daya tersebut. Izin untuk menambahkan tag ke sumber daya diperlukan karena Studio dan Studio Classic secara otomatis menandai sumber daya apa pun yang mereka buat. Jika kebijakan IAM memungkinkan Studio dan Studio Classic membuat sumber daya tetapi tidak mengizinkan penandaan, kesalahan "AccessDenied" dapat terjadi saat mencoba membuat sumber daya. Untuk informasi selengkapnya, lihat [Berikan izin untuk menandai sumber daya AI SageMaker](security_iam_id-based-policy-examples.md#grant-tagging-permissions).
[AWS kebijakan terkelola untuk Amazon SageMaker AI](security-iam-awsmanpol.md)yang memberikan izin untuk membuat SageMaker sumber daya sudah menyertakan izin untuk menambahkan tag saat membuat sumber daya tersebut.
Jika Anda mengalami masalah dengan Inferensi Tanpa Server, lihat tips pemecahan masalah berikut.
## Masalah kontainer
Jika kontainer yang Anda gunakan untuk titik akhir tanpa server sama dengan yang Anda gunakan pada titik akhir berbasis instance, penampung Anda mungkin tidak memiliki izin untuk menulis file. Hal ini dapat terjadi karena alasan berikut:
+ Titik akhir tanpa server Anda gagal dibuat atau diperbarui karena kegagalan pemeriksaan kesehatan ping.
+ CloudWatch Log Amazon untuk titik akhir menunjukkan bahwa penampung gagal menulis ke beberapa file atau direktori karena kesalahan izin.
Untuk memperbaiki masalah ini, Anda dapat mencoba menambahkan izin baca, tulis, dan jalankan untuk `other` pada file atau direktori dan kemudian membangun kembali wadah. Anda dapat melakukan langkah-langkah berikut untuk menyelesaikan proses ini:
1. Di Dockerfile yang Anda gunakan untuk membangun wadah Anda, tambahkan perintah berikut: `RUN chmod o+rwX `
1. Membangun kembali wadah.
1. Unggah gambar kontainer baru ke Amazon ECR.
1. Cobalah untuk membuat atau memperbarui titik akhir tanpa server lagi.
# Inferensi asinkron
Amazon SageMaker Asynchronous Inference adalah kemampuan dalam SageMaker AI yang mengantri permintaan masuk dan memprosesnya secara asinkron. Opsi ini sangat ideal untuk permintaan dengan ukuran muatan besar (hingga 1GB), waktu pemrosesan yang lama (hingga satu jam), dan persyaratan latensi mendekati waktu nyata. Inferensi Asinkron memungkinkan Anda menghemat biaya dengan menskalakan otomatis jumlah instans ke nol saat tidak ada permintaan untuk diproses, jadi Anda hanya membayar saat titik akhir memproses permintaan.
## Cara Kerjanya
Membuat titik akhir inferensi asinkron mirip dengan membuat titik akhir inferensi waktu nyata. Anda dapat menggunakan model SageMaker AI yang ada dan hanya perlu menentukan `AsyncInferenceConfig` objek saat membuat konfigurasi titik akhir dengan `EndpointConfig` bidang di `CreateEndpointConfig` API. Diagram berikut menunjukkan arsitektur dan alur kerja Inferensi Asinkron.
![\[Diagram arsitektur Inferensi Asinkron menunjukkan bagaimana pengguna memanggil titik akhir.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/async-architecture.png)
Untuk memanggil titik akhir, Anda harus menempatkan payload permintaan di Amazon S3. Anda juga perlu memberikan pointer ke muatan ini sebagai bagian dari permintaan. `InvokeEndpointAsync` Setelah pemanggilan, SageMaker AI mengantri permintaan untuk diproses dan mengembalikan pengenal dan lokasi keluaran sebagai respons. Setelah diproses, SageMaker AI menempatkan hasilnya di lokasi Amazon S3. Anda dapat memilih untuk menerima pemberitahuan sukses atau kesalahan dengan Amazon SNS. Untuk informasi selengkapnya tentang cara mengatur notifikasi asinkron, lihat. [Periksa hasil prediksi](async-inference-check-predictions.md)
**catatan**
Kehadiran objek konfigurasi inferensi asinkron (`AsyncInferenceConfig`) dalam konfigurasi titik akhir menyiratkan bahwa titik akhir hanya dapat menerima pemanggilan asinkron.
## Bagaimana Saya Memulai?
Jika Anda adalah pengguna pertama kali Inferensi SageMaker Asinkron Amazon, kami sarankan Anda melakukan hal berikut:
+ Baca [Operasi titik akhir asinkron](async-inference-create-invoke-update-delete.md) untuk informasi tentang cara membuat, memanggil, memperbarui, dan menghapus titik akhir asinkron.
+ [Jelajahi [notebook contoh Inferensi Asinkron](https://github.com/aws/amazon-sagemaker-examples/blob/main/async-inference/Async-Inference-Walkthrough.ipynb) di aws/ repositori. amazon-sagemaker-examples](https://github.com/aws/amazon-sagemaker-examples) GitHub
Perhatikan bahwa jika titik akhir Anda menggunakan salah satu fitur yang tercantum di [Pengecualian](deployment-guardrails-exclusions.md) halaman ini, Anda tidak dapat menggunakan Inferensi Asinkron.
# Operasi titik akhir asinkron
Panduan ini menunjukkan prasyarat yang harus Anda penuhi untuk membuat titik akhir asinkron, bersama dengan cara membuat, memanggil, dan menghapus titik akhir asinkron Anda. [Anda dapat membuat, memperbarui, menghapus, dan memanggil titik akhir asinkron dengan SDK dan AWS SDKs Amazon Python. SageMaker ](https://sagemaker.readthedocs.io/en/stable/overview.html#sagemaker-asynchronous-inference)
**Topics**
+ [Lengkapi prasyarat](async-inference-create-endpoint-prerequisites.md)
+ [Cara membuat Endpoint Inferensi Asinkron](async-inference-create-endpoint.md)
+ [Memanggil Titik Akhir Asinkron](async-inference-invoke-endpoint.md)
+ [Memperbarui Titik Akhir Asinkron](async-inference-update-endpoint.md)
+ [Menghapus Endpoint Asynchronous](async-inference-delete-endpoint.md)
# Lengkapi prasyarat
Topik berikut menjelaskan prasyarat yang harus Anda selesaikan sebelum membuat titik akhir asinkron. Prasyarat ini termasuk menyimpan artefak model Anda dengan benar, mengonfigurasi AWS IAM dengan izin yang benar, dan memilih gambar kontainer.
**Untuk menyelesaikan prasyarat**
1. **Buat peran IAM untuk Amazon SageMaker AI.**
Inferensi Asinkron memerlukan akses ke URI bucket Amazon S3 Anda. Untuk memfasilitasi ini, buat peran IAM yang dapat menjalankan SageMaker AI dan memiliki izin untuk mengakses Amazon S3 dan Amazon SNS. Dengan menggunakan peran ini, SageMaker AI dapat berjalan di bawah akun Anda dan mengakses bucket Amazon S3 dan topik Amazon SNS Anda.
Anda dapat membuat peran IAM dengan menggunakan konsol IAM, AWS SDK untuk Python (Boto3), atau. AWS CLI Berikut ini adalah contoh cara membuat peran IAM dan melampirkan kebijakan yang diperlukan dengan konsol IAM.
1. Masuk ke Konsol Manajemen AWS dan buka konsol IAM di [https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/).
1. Di panel navigasi konsol IAM, pilih **Peran**, dan lalu pilih **Buat peran**.
1. Untuk **Pilih jenis entitas tepercaya**, pilih **layanan AWS **.
1. Pilih layanan yang ingin Anda perbolehkan untuk mengasumsikan peran ini. Dalam hal ini, pilih **SageMaker AI**. Kemudian, pilih **Selanjutnya: Izin**.
+ Ini secara otomatis membuat kebijakan IAM yang memberikan akses ke layanan terkait seperti Amazon S3, Amazon CloudWatch ECR, dan Log.
1. Pilih **Selanjutnya: Tanda**.
1. (Opsional) Tambahkan metadata ke dalam peran dengan melampirkan tanda sebagai pasangan nilai-kunci. Untuk informasi lebih lanjut tentang penggunaan tanda dan IAM, lihat [Penandaan sumber daya IAM](https://docs.aws.amazon.com//IAM/latest/UserGuide/id_tags.html).
1. Pilih **Berikutnya: Tinjauan**.
1. Ketik **nama Peran**.
1. Jika memungkinkan, ketikkan nama peran atau akhiran nama peran. Nama peran harus unik dalam AWS akun Anda. Grup tidak dibedakan berdasarkan huruf besar-kecil. Misalnya, Anda tidak dapat membuat peran dengan nama `PRODROLE` dan `prodrole`. Karena AWS sumber daya lain mungkin mereferensikan peran, Anda tidak dapat mengedit nama peran setelah dibuat.
1. (Opsional) Untuk **Deskripsi peran**, ketikkan deskripsi untuk peran baru tersebut.
1. Tinjau peran dan kemudian pilih **Buat peran**.
Perhatikan peran SageMaker AI ARN. Untuk menemukan peran ARN menggunakan konsol, lakukan hal berikut:
1. Pergi ke konsol IAM: [https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/)
1. Pilih **Peran**.
1. Cari peran yang baru saja Anda buat dengan mengetikkan nama peran di bidang pencarian.
1. Pilih peran.
1. Peran ARN ada di bagian atas halaman **Ringkasan**.
1. **Tambahkan Izin Amazon SageMaker AI, Amazon S3, dan Amazon SNS ke Peran IAM Anda.**
Setelah peran dibuat, berikan izin SageMaker AI, Amazon S3, dan secara opsional Amazon SNS ke peran IAM Anda.
Pilih **Peran** di konsol IAM. Cari peran yang Anda buat dengan mengetikkan nama peran di kolom **Penelusuran**.
1. Pilih peran Anda.
1. Selanjutnya, pilih **Lampirkan Kebijakan**.
1. Inferensi SageMaker Asinkron Amazon memerlukan izin untuk melakukan tindakan berikut:`"sagemaker:CreateModel"`,,, `"sagemaker:CreateEndpointConfig"` dan. `"sagemaker:CreateEndpoint"` `"sagemaker:InvokeEndpointAsync"`
Tindakan ini termasuk dalam `AmazonSageMakerFullAccess` kebijakan. Tambahkan kebijakan ini ke peran IAM Anda. Cari `AmazonSageMakerFullAccess` di bidang **Pencarian**. Pilih `AmazonSageMakerFullAccess`.
1. Pilih **Lampirkan kebijakan**.
1. Selanjutnya, pilih **Lampirkan Kebijakan** untuk menambahkan izin Amazon S3.
1. Pilih **Buat kebijakan**.
1. Pilih `JSON` tab.
1. Tambahkan pernyataan kebijakan berikut:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Action": [
"s3:GetObject",
"s3:PutObject",
"s3:AbortMultipartUpload",
"s3:ListBucket"
],
"Effect": "Allow",
"Resource": "arn:aws:s3:::bucket_name/*"
}
]
}
```
------
1. Pilih **Berikutnya: Tanda**.
1. Ketik **nama Kebijakan**.
1. Pilih **Buat kebijakan**.
1. Ulangi langkah yang sama yang Anda selesaikan untuk menambahkan izin Amazon S3 untuk menambahkan izin Amazon SNS. Untuk pernyataan kebijakan, lampirkan yang berikut ini:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Action": [
"sns:Publish"
],
"Effect": "Allow",
"Resource": "arn:aws:sns:us-east-1:111122223333:SNS_Topic"
}
]
}
```
------
1. **Unggah data inferensi Anda (misalnya, model pembelajaran mesin, data sampel) ke **Amazon** S3.**
1. **Pilih gambar inferensi Docker bawaan atau buat Inference Docker Image Anda sendiri.**
SageMaker AI menyediakan wadah untuk algoritme bawaan dan gambar Docker bawaan untuk beberapa kerangka kerja pembelajaran mesin yang paling umum, seperti Apache MXNet,,, dan Chainer. TensorFlow PyTorch Untuk daftar lengkap gambar SageMaker AI yang tersedia, lihat Gambar [Deep Learning Containers yang Tersedia](https://github.com/aws/deep-learning-containers/blob/master/available_images.md). Jika Anda memilih untuk menggunakan kontainer yang disediakan SageMaker AI, Anda dapat meningkatkan batas waktu titik akhir dan ukuran payload dari default dengan menyetel variabel lingkungan dalam wadah. Untuk mempelajari cara mengatur variabel lingkungan yang berbeda untuk setiap kerangka kerja, lihat langkah Buat Model untuk membuat titik akhir asinkron.
Jika tidak ada kontainer SageMaker AI yang ada yang memenuhi kebutuhan Anda dan Anda tidak memiliki wadah sendiri, Anda mungkin perlu membuat wadah Docker baru. Lihat [Wadah dengan kode inferensi khusus](your-algorithms-inference-main.md) untuk informasi tentang cara membuat gambar Docker Anda.
1. **Buat topik Amazon SNS (opsional)**
Buat topik Amazon Simple Notification Service (Amazon SNS) yang mengirimkan notifikasi tentang permintaan yang telah selesai diproses. Amazon SNS adalah layanan notifikasi untuk aplikasi berorientasi pesan, dengan beberapa pelanggan meminta dan menerima pemberitahuan “push” dari pesan penting waktu melalui pilihan protokol transportasi, termasuk HTTP, Amazon SQS, dan email. Anda dapat menentukan topik Amazon SNS saat membuat `EndpointConfig` objek saat Anda menentukan `AsyncInferenceConfig` menggunakan API. `EndpointConfig`
Ikuti langkah-langkah untuk membuat dan berlangganan topik Amazon SNS.
1. Menggunakan konsol Amazon SNS membuat topik. Untuk petunjuk, lihat [Membuat topik Amazon SNS](https://docs.aws.amazon.com/sns/latest/dg/CreateTopic.html) di Panduan *Pengembang* *Layanan Pemberitahuan Sederhana Amazon*.
1. Berlangganan topik tersebut. Untuk petunjuk, lihat [Berlangganan topik Amazon SNS](https://docs.aws.amazon.com/sns/latest/dg/sns-create-subscribe-endpoint-to-topic.html) di Panduan Pengembang *Layanan* *Pemberitahuan Sederhana Amazon*.
1. Saat Anda menerima email yang meminta Anda mengonfirmasi langganan Anda ke topik tersebut, konfirmasikan langganan.
1. Perhatikan topik Amazon Resource Name (ARN). Topik Amazon SNS yang Anda buat adalah sumber daya lain di AWS akun Anda, dan memiliki ARN yang unik. ARN dalam format berikut:
```
arn:aws:sns:aws-region:account-id:topic-name
```
Untuk informasi selengkapnya tentang Amazon SNS, lihat Panduan Pengembang [Amazon SNS](https://docs.aws.amazon.com/sns/latest/dg/welcome.html).
# Cara membuat Endpoint Inferensi Asinkron
Buat titik akhir asinkron dengan cara yang sama seperti Anda membuat titik akhir menggunakan layanan hosting AI: SageMaker
+ Buat model di SageMaker AI dengan`CreateModel`.
+ Buat konfigurasi titik akhir dengan`CreateEndpointConfig`.
+ Buat titik akhir HTTPS dengan`CreateEndpoint`.
Untuk membuat titik akhir, pertama-tama Anda membuat model dengan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html), di mana Anda menunjuk ke artefak model dan jalur registri Docker (Gambar). Anda kemudian membuat konfigurasi menggunakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)tempat Anda menentukan satu atau beberapa model yang dibuat menggunakan `CreateModel` API untuk diterapkan dan sumber daya yang ingin disediakan oleh SageMaker AI. Buat titik akhir Anda dengan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)menggunakan konfigurasi titik akhir yang ditentukan dalam permintaan. Anda dapat memperbarui titik akhir asinkron dengan API. [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html) Kirim dan terima permintaan inferensi dari model yang dihosting di titik akhir dengan. `InvokeEndpointAsync` Anda dapat menghapus titik akhir Anda dengan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DeleteEndpoint.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DeleteEndpoint.html)API.
Untuk daftar lengkap Gambar yang tersedia, lihat SageMaker Gambar [Deep Learning Containers yang Tersedia](https://github.com/aws/deep-learning-containers/blob/master/available_images.md). Lihat [Wadah dengan kode inferensi khusus](your-algorithms-inference-main.md) untuk informasi tentang cara membuat gambar Docker Anda.
**Topics**
+ [Buat Model](async-inference-create-endpoint-create-model.md)
+ [Buat Konfigurasi Endpoint](async-inference-create-endpoint-create-endpoint-config.md)
+ [Buat Endpoint](async-inference-create-endpoint-create-endpoint.md)
# Buat Model
Contoh berikut menunjukkan cara membuat model menggunakan AWS SDK untuk Python (Boto3). Beberapa baris pertama mendefinisikan:
+ `sagemaker_client`: Objek klien SageMaker AI tingkat rendah yang memudahkan untuk mengirim dan menerima permintaan ke AWS layanan.
+ `sagemaker_role`: Variabel string dengan peran SageMaker AI IAM Amazon Resource Name (ARN).
+ `aws_region`: Variabel string dengan nama AWS wilayah Anda.
```
import boto3
# Specify your AWS Region
aws_region=''
# Create a low-level SageMaker service client.
sagemaker_client = boto3.client('sagemaker', region_name=aws_region)
# Role to give SageMaker permission to access AWS services.
sagemaker_role= "arn:aws:iam:::role/*"
```
Selanjutnya, tentukan lokasi model pra-terlatih yang disimpan di Amazon S3. Dalam contoh ini, kami menggunakan XGBoost model pra-terlatih bernama`demo-xgboost-model.tar.gz`. URI Amazon S3 lengkap disimpan dalam variabel string: `model_url`
```
#Create a variable w/ the model S3 URI
s3_bucket = '' # Provide the name of your S3 bucket
bucket_prefix='saved_models'
model_s3_key = f"{bucket_prefix}/demo-xgboost-model.tar.gz"
#Specify S3 bucket w/ model
model_url = f"s3://{s3_bucket}/{model_s3_key}"
```
Tentukan wadah utama. Untuk wadah utama, Anda menentukan image Docker yang berisi kode inferensi, artefak (dari pelatihan sebelumnya), dan peta lingkungan khusus yang digunakan kode inferensi saat Anda menerapkan model untuk prediksi.
Dalam contoh ini, kami menentukan gambar kontainer algoritma XGBoost bawaan:
```
from sagemaker import image_uris
# Specify an AWS container image.
container = image_uris.retrieve(region=aws_region, framework='xgboost', version='0.90-1')
```
Buat model di Amazon SageMaker AI dengan`CreateModel`. Tentukan hal berikut:
+ `ModelName`: Nama untuk model Anda (dalam contoh ini disimpan sebagai variabel string yang disebut`model_name`).
+ `ExecutionRoleArn`: Nama Sumber Daya Amazon (ARN) dari peran IAM yang dapat diasumsikan Amazon SageMaker AI untuk mengakses artefak model dan gambar Docker untuk penerapan pada instance komputasi HTML atau untuk pekerjaan transformasi batch.
+ `PrimaryContainer`: Lokasi gambar Docker utama yang berisi kode inferensi, artefak terkait, dan peta lingkungan khusus yang digunakan kode inferensi saat model diterapkan untuk prediksi.
```
model_name = ''
#Create model
create_model_response = sagemaker_client.create_model(
ModelName = model_name,
ExecutionRoleArn = sagemaker_role,
PrimaryContainer = {
'Image': container,
'ModelDataUrl': model_url,
})
```
Lihat [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)deskripsi di Panduan Referensi SageMaker API untuk daftar lengkap parameter API.
Jika Anda menggunakan wadah yang disediakan SageMaker AI, Anda dapat meningkatkan batas waktu server model dan ukuran payload dari nilai default ke maksimum yang didukung kerangka kerja dengan menyetel variabel lingkungan di langkah ini. Anda mungkin tidak dapat memanfaatkan batas waktu maksimum dan ukuran payload yang didukung Asynchronous Inference jika Anda tidak secara eksplisit mengatur variabel-variabel ini. Contoh berikut menunjukkan bagaimana Anda dapat mengatur variabel lingkungan untuk wadah PyTorch Inferensi berdasarkan TorchServe.
```
model_name = ''
#Create model
create_model_response = sagemaker_client.create_model(
ModelName = model_name,
ExecutionRoleArn = sagemaker_role,
PrimaryContainer = {
'Image': container,
'ModelDataUrl': model_url,
'Environment': {
'TS_MAX_REQUEST_SIZE': '100000000',
'TS_MAX_RESPONSE_SIZE': '100000000',
'TS_DEFAULT_RESPONSE_TIMEOUT': '1000'
},
})
```
Setelah Anda selesai membuat endpoint Anda, Anda harus menguji apakah Anda telah mengatur variabel lingkungan dengan benar dengan mencetaknya dari `inference.py` skrip Anda. Tabel berikut mencantumkan variabel lingkungan untuk beberapa kerangka kerja yang dapat Anda atur untuk mengubah nilai default.
| Kerangka Kerja | Variabel-variabel lingkungan |
| --- | --- |
| PyTorch 1.8 (berdasarkan TorchServe) | 'TS\$1MAX\$1REQUEST\$1SIZE': '100000000' 'TS\$1MAX\$1RESPONSE\$1SIZE': '100000000' 'TS\$1DEFAULT\$1RESPONSE\$1TIMEOUT': '1000' |
| PyTorch 1.4 (berdasarkan MMS) | 'MMS\$1MAX\$1REQUEST\$1SIZE': '1000000000' 'MMS\$1MAX\$1RESPONSE\$1SIZE': '1000000000' 'MMS\$1DEFAULT\$1RESPONSE\$1TIMEOUT': '900' |
| HuggingFace Kontainer Inferensi (berdasarkan MMS) | 'MMS\$1MAX\$1REQUEST\$1SIZE': '2000000000' 'MMS\$1MAX\$1RESPONSE\$1SIZE': '2000000000' 'MMS\$1DEFAULT\$1RESPONSE\$1TIMEOUT': '900' |
# Buat Konfigurasi Endpoint
Setelah Anda memiliki model, buat konfigurasi titik akhir dengan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html). Layanan hosting Amazon SageMaker AI menggunakan konfigurasi ini untuk menyebarkan model. Dalam konfigurasi, Anda mengidentifikasi satu atau beberapa model, yang dibuat menggunakan dengan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html), untuk menyebarkan sumber daya yang Anda inginkan untuk disediakan Amazon SageMaker AI. Tentukan `AsyncInferenceConfig` objek dan berikan lokasi keluaran Amazon S3 untuk. `OutputConfig` Anda dapat secara opsional menentukan topik [Amazon](https://docs.aws.amazon.com/sns/latest/dg/welcome.html) SNS untuk mengirim pemberitahuan tentang hasil prediksi. Untuk informasi selengkapnya tentang topik Amazon SNS, lihat [Mengonfigurasi Amazon SNS](https://docs.aws.amazon.com/sns/latest/dg/sns-configuring.html).
Contoh berikut menunjukkan cara membuat konfigurasi endpoint menggunakan AWS SDK untuk Python (Boto3):
```
import datetime
from time import gmtime, strftime
# Create an endpoint config name. Here we create one based on the date
# so it we can search endpoints based on creation time.
endpoint_config_name = f"XGBoostEndpointConfig-{strftime('%Y-%m-%d-%H-%M-%S', gmtime())}"
# The name of the model that you want to host. This is the name that you specified when creating the model.
model_name=''
create_endpoint_config_response = sagemaker_client.create_endpoint_config(
EndpointConfigName=endpoint_config_name, # You will specify this name in a CreateEndpoint request.
# List of ProductionVariant objects, one for each model that you want to host at this endpoint.
ProductionVariants=[
{
"VariantName": "variant1", # The name of the production variant.
"ModelName": model_name,
"InstanceType": "ml.m5.xlarge", # Specify the compute instance type.
"InitialInstanceCount": 1 # Number of instances to launch initially.
}
],
AsyncInferenceConfig={
"OutputConfig": {
# Location to upload response outputs when no location is provided in the request.
"S3OutputPath": f"s3://{s3_bucket}/{bucket_prefix}/output"
# (Optional) specify Amazon SNS topics
"NotificationConfig": {
"SuccessTopic": "arn:aws:sns:aws-region:account-id:topic-name",
"ErrorTopic": "arn:aws:sns:aws-region:account-id:topic-name",
}
},
"ClientConfig": {
# (Optional) Specify the max number of inflight invocations per instance
# If no value is provided, Amazon SageMaker will choose an optimal value for you
"MaxConcurrentInvocationsPerInstance": 4
}
}
)
print(f"Created EndpointConfig: {create_endpoint_config_response['EndpointConfigArn']}")
```
Dalam contoh yang disebutkan di atas, Anda menentukan kunci berikut `OutputConfig` untuk `AsyncInferenceConfig` bidang:
+ `S3OutputPath`: Lokasi untuk mengunggah output respons ketika tidak ada lokasi yang disediakan dalam permintaan.
+ `NotificationConfig`: (Opsional) Topik SNS yang memposting pemberitahuan kepada Anda saat permintaan inferensi berhasil (`SuccessTopic`) atau jika gagal (`ErrorTopic`).
Anda juga dapat menentukan argumen opsional berikut untuk `ClientConfig` di `AsyncInferenceConfig` bidang:
+ `MaxConcurrentInvocationsPerInstance`: (Opsional) Jumlah maksimum permintaan bersamaan yang dikirim oleh klien SageMaker AI ke wadah model.
# Buat Endpoint
Setelah Anda memiliki konfigurasi model dan titik akhir, gunakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API untuk membuat titik akhir Anda. Nama titik akhir harus unik dalam AWS Wilayah di AWS akun Anda.
Berikut ini membuat endpoint menggunakan konfigurasi endpoint yang ditentukan dalam permintaan. Amazon SageMaker AI menggunakan titik akhir untuk menyediakan sumber daya dan menerapkan model.
```
# The name of the endpoint.The name must be unique within an AWS Region in your AWS account.
endpoint_name = ''
# The name of the endpoint configuration associated with this endpoint.
endpoint_config_name=''
create_endpoint_response = sagemaker_client.create_endpoint(
EndpointName=endpoint_name,
EndpointConfigName=endpoint_config_name)
```
Saat Anda memanggil `CreateEndpoint` API, Inferensi SageMaker Asinkron Amazon mengirimkan pemberitahuan pengujian untuk memeriksa apakah Anda telah mengonfigurasi topik Amazon SNS. Inferensi SageMaker Asinkron Amazon juga mengirimkan pemberitahuan pengujian setelah panggilan ke dan. `UpdateEndpoint` `UpdateEndpointWeightsAndCapacities` Ini memungkinkan SageMaker AI memeriksa apakah Anda memiliki izin yang diperlukan. Pemberitahuan dapat diabaikan begitu saja. Pemberitahuan pengujian memiliki formulir berikut:
```
{
"eventVersion":"1.0",
"eventSource":"aws:sagemaker",
"eventName":"TestNotification"
}
```
# Memanggil Titik Akhir Asinkron
Dapatkan kesimpulan dari model yang dihosting di titik akhir asinkron Anda dengan. `InvokeEndpointAsync`
**catatan**
Jika Anda belum melakukannya, unggah data inferensi Anda (misalnya, model pembelajaran mesin, data sampel) ke Amazon S3.
Tentukan bidang berikut dalam permintaan Anda:
+ Untuk`InputLocation`, tentukan lokasi data inferensi Anda.
+ Untuk`EndpointName`, tentukan nama titik akhir Anda.
+ (Opsional) Untuk`InvocationTimeoutSeconds`, Anda dapat mengatur batas waktu maksimal untuk permintaan. Anda dapat mengatur nilai ini hingga maksimum 3600 detik (satu jam) berdasarkan per permintaan. Jika Anda tidak menentukan bidang ini dalam permintaan Anda, secara default permintaan akan habis pada 15 menit.
```
# Create a low-level client representing Amazon SageMaker Runtime
sagemaker_runtime = boto3.client("sagemaker-runtime", region_name=)
# Specify the location of the input. Here, a single SVM sample
input_location = "s3://bucket-name/test_point_0.libsvm"
# The name of the endpoint. The name must be unique within an AWS Region in your AWS account.
endpoint_name=''
# After you deploy a model into production using SageMaker AI hosting
# services, your client applications use this API to get inferences
# from the model hosted at the specified endpoint.
response = sagemaker_runtime.invoke_endpoint_async(
EndpointName=endpoint_name,
InputLocation=input_location,
InvocationTimeoutSeconds=3600)
```
Anda menerima respons sebagai string JSON dengan ID permintaan Anda dan nama bucket Amazon S3 yang akan memiliki respons terhadap panggilan API setelah diproses.
# Memperbarui Titik Akhir Asinkron
Perbarui titik akhir asinkron dengan API. [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html) Saat Anda memperbarui titik akhir, SageMaker AI terlebih dahulu menyediakan dan beralih ke konfigurasi titik akhir baru yang Anda tentukan sebelum menghapus sumber daya yang disediakan di konfigurasi titik akhir sebelumnya. Jangan menghapus `EndpointConfig` dengan titik akhir yang aktif atau saat `CreateEndpoint` operasi `UpdateEndpoint` atau sedang dilakukan pada titik akhir.
```
# The name of the endpoint. The name must be unique within an AWS Region in your AWS account.
endpoint_name=''
# The name of the endpoint configuration associated with this endpoint.
endpoint_config_name=''
sagemaker_client.update_endpoint(
EndpointConfigName=endpoint_config_name,
EndpointName=endpoint_name
)
```
Saat Amazon SageMaker AI menerima permintaan, ia menetapkan status titik akhir ke **Pembaruan**. Setelah memperbarui titik akhir asinkron, ia menetapkan status ke. **InService** Untuk memeriksa status titik akhir, gunakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html)API. Untuk daftar lengkap parameter yang dapat Anda tentukan saat memperbarui titik akhir, lihat [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)API.
# Menghapus Endpoint Asynchronous
Hapus titik akhir asinkron dengan cara yang mirip dengan cara Anda menghapus titik akhir yang dihosting SageMaker AI dengan API. [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DeleteEndpoint.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DeleteEndpoint.html) Tentukan nama titik akhir asinkron yang ingin Anda hapus. Saat Anda menghapus titik akhir, SageMaker AI membebaskan semua sumber daya yang digunakan saat titik akhir dibuat. Menghapus model tidak menghapus artefak model, kode inferensi, atau peran IAM yang Anda tentukan saat membuat model.
Hapus model SageMaker AI Anda dengan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DeleteModel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DeleteModel.html)API atau dengan konsol SageMaker AI.
------
#### [ Boto3 ]
```
import boto3
# Create a low-level SageMaker service client.
sagemaker_client = boto3.client('sagemaker', region_name=)
sagemaker_client.delete_endpoint(EndpointName='')
```
------
#### [ SageMaker AI console ]
1. Arahkan ke konsol SageMaker AI di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. Perluas daftar **dropdown Inferensi**.
1. Pilih **Endpoint**.
1. Cari titik akhir di bilah **pencarian titik akhir** Pencarian.
1. Pilih titik akhir Anda.
1. Pilih **Hapus**.
------
Selain menghapus titik akhir asinkron, Anda mungkin ingin membersihkan sumber daya lain yang digunakan untuk membuat titik akhir, seperti repositori Amazon ECR (jika Anda membuat gambar inferensi kustom), model AI, dan konfigurasi titik akhir asinkron itu SageMaker sendiri.
# Alarm dan log untuk melacak metrik dari titik akhir asinkron
Anda dapat memantau SageMaker AI menggunakan Amazon CloudWatch, yang mengumpulkan data mentah dan memprosesnya menjadi metrik yang dapat dibaca, mendekati waktu nyata. Dengan Amazon CloudWatch, Anda dapat mengakses informasi historis dan mendapatkan perspektif yang lebih baik tentang kinerja aplikasi atau layanan web Anda. Untuk informasi selengkapnya tentang Amazon CloudWatch, lihat [Apa itu Amazon CloudWatch?](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/WhatIsCloudWatch.html)
## Pemantauan CloudWatch dengan
Metrik di bawah ini adalah daftar lengkap metrik untuk titik akhir asinkron dan berada di namespace. `AWS/SageMaker` Metrik apa pun yang tidak tercantum di bawah ini tidak dipublikasikan jika titik akhir diaktifkan untuk inferensi asinkron. Metrik tersebut mencakup (tetapi tidak terbatas pada):
+ OverheadLatency
+ Invokasi
+ InvocationsPerInstance
### Metrik Titik Akhir Umum
Metrik ini sama dengan metrik yang diterbitkan untuk titik akhir waktu nyata hari ini. Untuk informasi selengkapnya tentang metrik lain di Amazon CloudWatch, lihat [Memantau SageMaker AI dengan Amazon CloudWatch](https://docs.aws.amazon.com/sagemaker/latest/dg/monitoring-cloudwatch.html).
| Nama Metrik | Deskripsi | Unit/Statistik |
| --- | --- | --- |
| `Invocation4XXErrors` | Jumlah permintaan di mana model mengembalikan kode respons HTTP 4xx. Untuk setiap respons 4xx, 1 dikirim; jika tidak, 0 dikirim. | Satuan: Tidak adaStatistik yang valid: Rata-rata, Jumlah |
| `Invocation5XXErrors` | Jumlah InvokeEndpoint permintaan di mana model mengembalikan kode respons HTTP 5xx. Untuk setiap respons 5xx, 1 dikirim; jika tidak, 0 dikirim. | Satuan: Tidak adaStatistik yang valid: Rata-rata, Jumlah |
| `ModelLatency` | Interval waktu yang dibutuhkan oleh model untuk merespons seperti yang dilihat dari SageMaker AI. Interval ini mencakup waktu komunikasi lokal yang diambil untuk mengirim permintaan dan untuk mengambil respons dari wadah model dan waktu yang dibutuhkan untuk menyelesaikan inferensi dalam wadah. | Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
### Metrik Titik Akhir Inferensi Asinkron
Metrik ini diterbitkan untuk titik akhir yang diaktifkan untuk inferensi asinkron. Metrik berikut diterbitkan dengan `EndpointName` dimensi:
| Nama Metrik | Deskripsi | Unit/Statistik |
| --- | --- | --- |
| `ApproximateBacklogSize` | Jumlah item dalam antrian untuk titik akhir yang saat ini sedang diproses atau belum diproses. | Unit: Jumlah Statistik yang valid: Rata-rata, Maks, Min |
| `ApproximateBacklogSizePerInstance` | Jumlah item dalam antrian dibagi dengan jumlah instance di belakang titik akhir. Metrik ini terutama digunakan untuk menyiapkan penskalaan otomatis aplikasi untuk titik akhir berkemampuan asinkron. | Unit: JumlahStatistik yang valid: Rata-rata, Maks, Min |
| `ApproximateAgeOfOldestRequest` | Usia permintaan tertua dalam antrian. | Unit: detikStatistik yang valid: Rata-rata, Maks, Min |
| `HasBacklogWithoutCapacity` | Nilai metrik ini adalah `1` ketika ada permintaan dalam antrian tetapi nol contoh di belakang titik akhir. Nilainya ada `0` di waktu lainnya. Anda dapat menggunakan metrik ini untuk menskalakan otomatis titik akhir Anda dari nol instance setelah menerima permintaan baru dalam antrian. | Unit: JumlahStatistik yang valid: Rata-rata |
Metrik berikut diterbitkan dengan `VariantName` dimensi `EndpointName` dan:
| Nama Metrik | Deskripsi | Unit/Statistik |
| --- | --- | --- |
| `RequestDownloadFailures` | Ketika kegagalan inferensi terjadi karena masalah saat mengunduh permintaan dari Amazon S3. | Unit: JumlahStatistik yang valid: Jumlah |
| `ResponseUploadFailures` | Ketika kegagalan inferensi terjadi karena masalah saat mengunggah respons ke Amazon S3. | Unit: JumlahStatistik yang valid: Jumlah |
| `NotificationFailures` | Saat terjadi masalah, publikasi notifikasi. | Unit: JumlahStatistik yang valid: Jumlah |
| `RequestDownloadLatency` | Total waktu untuk mengunduh payload permintaan. | Unit: MikrodetikStatistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
| `ResponseUploadLatency` | Total waktu untuk mengunggah payload respons. | Unit: Mikrodetik Statistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
| `ExpiredRequests` | Jumlah permintaan dalam antrian yang gagal karena mencapai permintaan TTL yang ditentukan. | Unit: JumlahStatistik yang valid: Jumlah |
| `InvocationFailures` | Jika doa gagal karena alasan apa pun. | Unit: JumlahStatistik yang valid: Jumlah |
| `InvocationsProcesssed` | Jumlah pemanggilan asinkron yang diproses oleh titik akhir. | Unit: JumlahStatistik yang valid: Jumlah |
| `TimeInBacklog` | Total waktu permintaan antri sebelum diproses. Ini tidak termasuk waktu pemrosesan aktual (yaitu waktu pengunduhan, waktu unggah, latensi model). | Unit: MilidetikStatistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
| `TotalProcessingTime` | Waktu permintaan inferensi diterima oleh SageMaker AI hingga saat permintaan selesai diproses. Ini termasuk waktu dalam backlog dan waktu untuk mengunggah dan mengirim pemberitahuan respons, jika ada. | Unit: MilidetikStatistik yang valid: Rata-rata, Jumlah, Min, Maks, Jumlah Sampel |
Inferensi SageMaker Asinkron Amazon juga mencakup metrik tingkat host. Untuk informasi tentang metrik tingkat host, lihat [Pekerjaan SageMaker AI dan](https://docs.aws.amazon.com/sagemaker/latest/dg/monitoring-cloudwatch.html#cloudwatch-metrics-jobs) Metrik Titik Akhir.
## Log
Selain [log wadah Model](https://docs.aws.amazon.com/sagemaker/latest/dg/logging-cloudwatch.html) yang dipublikasikan ke Amazon CloudWatch di akun Anda, Anda juga mendapatkan log platform baru untuk melacak dan men-debug permintaan inferensi.
Log baru diterbitkan di bawah Endpoint Log Group:
```
/aws/sagemaker/Endpoints/[EndpointName]
```
Nama log stream terdiri dari:
```
[production-variant-name]/[instance-id]/data-log.
```
Baris log berisi ID inferensi permintaan sehingga kesalahan dapat dengan mudah dipetakan ke permintaan tertentu.
# Periksa hasil prediksi
Ada beberapa cara Anda dapat memeriksa hasil prediksi dari titik akhir asinkron Anda. Beberapa opsi adalah:
1. Topik Amazon SNS.
1. Periksa output di bucket Amazon S3 Anda.
## Topik Amazon SNS
Amazon SNS adalah layanan notifikasi untuk aplikasi berorientasi pesan, dengan beberapa pelanggan meminta dan menerima pemberitahuan “push” dari pesan penting waktu melalui pilihan protokol transportasi, termasuk HTTP, Amazon SQS, dan email. Amazon SageMaker Asynchronous Inference memposting pemberitahuan saat Anda membuat titik akhir dengan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)dan menentukan topik Amazon SNS.
**catatan**
Untuk menerima notifikasi Amazon SNS, peran IAM Anda harus memiliki izin. `sns:Publish` Lihat informasi tentang persyaratan yang harus Anda penuhi untuk menggunakan Inferensi Asinkron. [Lengkapi prasyarat](async-inference-create-endpoint-prerequisites.md)
Untuk menggunakan Amazon SNS untuk memeriksa hasil prediksi dari titik akhir asinkron Anda, Anda harus terlebih dahulu membuat topik, berlangganan topik, mengonfirmasi langganan Anda ke topik, dan mencatat Nama Sumber Daya Amazon (ARN) dari topik tersebut. Untuk informasi terperinci tentang cara membuat, berlangganan, dan menemukan Amazon ARN dari topik Amazon SNS, lihat [Mengonfigurasi](https://docs.aws.amazon.com/sns/latest/dg/sns-configuring.html) Amazon SNS.
Berikan ARN topik Amazon SNS di `AsyncInferenceConfig` bidang saat Anda membuat konfigurasi titik akhir. `CreateEndpointConfig` Anda dapat menentukan Amazon SNS `ErrorTopic` dan file. `SuccessTopic`
```
import boto3
sagemaker_client = boto3.client('sagemaker', region_name=)
sagemaker_client.create_endpoint_config(
EndpointConfigName=, # You specify this name in a CreateEndpoint request.
# List of ProductionVariant objects, one for each model that you want to host at this endpoint.
ProductionVariants=[
{
"VariantName": "variant1", # The name of the production variant.
"ModelName": "model_name",
"InstanceType": "ml.m5.xlarge", # Specify the compute instance type.
"InitialInstanceCount": 1 # Number of instances to launch initially.
}
],
AsyncInferenceConfig={
"OutputConfig": {
# Location to upload response outputs when no location is provided in the request.
"S3OutputPath": "s3:///"
"NotificationConfig": {
"SuccessTopic": "arn:aws:sns:aws-region:account-id:topic-name",
"ErrorTopic": "arn:aws:sns:aws-region:account-id:topic-name",
}
}
}
)
```
Setelah membuat titik akhir dan memanggilnya, Anda menerima pemberitahuan dari topik Amazon SNS Anda. Misalnya, jika Anda berlangganan untuk menerima pemberitahuan email dari topik Anda, Anda menerima pemberitahuan email setiap kali Anda memanggil titik akhir Anda. Contoh berikut menunjukkan konten JSON dari notifikasi email pemanggilan yang berhasil.
```
{
"awsRegion":"us-east-1",
"eventTime":"2022-01-25T22:46:00.608Z",
"receivedTime":"2022-01-25T22:46:00.455Z",
"invocationStatus":"Completed",
"requestParameters":{
"contentType":"text/csv",
"endpointName":"",
"inputLocation":"s3:////input-data.csv"
},
"responseParameters":{
"contentType":"text/csv; charset=utf-8",
"outputLocation":"s3:////prediction.out"
},
"inferenceId":"11111111-2222-3333-4444-555555555555",
"eventVersion":"1.0",
"eventSource":"aws:sagemaker",
"eventName":"InferenceResult"
}
```
## Periksa Bucket S3 Anda
Ketika Anda memanggil endpoint dengan`InvokeEndpointAsync`, ia mengembalikan objek respon. Anda dapat menggunakan objek respons untuk mendapatkan URI Amazon S3 tempat output Anda disimpan. Dengan lokasi keluaran, Anda dapat menggunakan kelas sesi SageMaker Python SDK SageMaker AI untuk memeriksa output secara terprogram.
Berikut ini menyimpan kamus keluaran `InvokeEndpointAsync` sebagai variabel bernama respon. Dengan variabel respons, Anda kemudian mendapatkan URI keluaran Amazon S3 dan menyimpannya sebagai variabel string yang disebut. `output_location`
```
import uuid
import boto3
sagemaker_runtime = boto3.client("sagemaker-runtime", region_name=)
# Specify the S3 URI of the input. Here, a single SVM sample
input_location = "s3://bucket-name/test_point_0.libsvm"
response = sagemaker_runtime.invoke_endpoint_async(
EndpointName='',
InputLocation=input_location,
InferenceId=str(uuid.uuid4()),
ContentType="text/libsvm" #Specify the content type of your data
)
output_location = response['OutputLocation']
print(f"OutputLocation: {output_location}")
```
Untuk informasi tentang jenis konten yang didukung, lihat[Format data umum untuk inferensi](cdf-inference.md).
Dengan lokasi keluaran Amazon S3, Anda kemudian dapat menggunakan [Kelas Sesi SageMaker AI SDK SageMaker Python](https://sagemaker.readthedocs.io/en/stable/api/utility/session.html?highlight=session) untuk membaca di file Amazon S3. Contoh kode berikut menunjukkan cara membuat function (`get_ouput`) yang berulang kali mencoba membaca file dari lokasi keluaran Amazon S3:
```
import sagemaker
import urllib, time
from botocore.exceptions import ClientError
sagemaker_session = sagemaker.session.Session()
def get_output(output_location):
output_url = urllib.parse.urlparse(output_location)
bucket = output_url.netloc
key = output_url.path[1:]
while True:
try:
return sagemaker_session.read_s3_file(
bucket=output_url.netloc,
key_prefix=output_url.path[1:])
except ClientError as e:
if e.response['Error']['Code'] == 'NoSuchKey':
print("waiting for output...")
time.sleep(2)
continue
raise
output = get_output(output_location)
print(f"Output: {output}")
```
# Skala otomatis titik akhir asinkron
Amazon SageMaker AI mendukung penskalaan otomatis (penskalaan otomatis) titik akhir asinkron Anda. Penskalaan otomatis secara dinamis menyesuaikan jumlah instance yang disediakan untuk model sebagai respons terhadap perubahan beban kerja Anda. Tidak seperti model host lainnya yang didukung Amazon SageMaker AI, dengan Asynchronous Inference, Anda juga dapat menurunkan instans titik akhir asinkron menjadi nol. Permintaan yang diterima ketika tidak ada instance akan diantrian untuk diproses setelah titik akhir meningkat.
Untuk menskalakan otomatis titik akhir asinkron Anda, Anda harus minimal:
+ Daftarkan model yang digunakan (varian produksi).
+ Tentukan kebijakan penskalaan.
+ Terapkan kebijakan penskalaan otomatis.
Sebelum Anda dapat menggunakan penskalaan otomatis, Anda harus sudah menerapkan model ke titik akhir AI. SageMaker Model yang digunakan disebut sebagai [varian produksi](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariant.html). Lihat [Menerapkan Model ke Layanan SageMaker Hosting](https://docs.aws.amazon.com/sagemaker/latest/dg/ex1-model-deployment.html#ex1-deploy-model) untuk informasi selengkapnya tentang penerapan model ke titik akhir. Untuk menentukan metrik dan nilai target untuk kebijakan penskalaan, Anda mengonfigurasi kebijakan penskalaan. Untuk informasi tentang cara menentukan kebijakan penskalaan, lihat [Menentukan kebijakan penskalaan.](https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling-add-code-define.html) Setelah mendaftarkan model Anda dan menentukan kebijakan penskalaan, terapkan kebijakan penskalaan ke model terdaftar. Untuk informasi tentang cara menerapkan kebijakan penskalaan, lihat [Menerapkan kebijakan penskalaan.](https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling-add-code-apply.html)
Untuk informasi selengkapnya tentang cara menentukan kebijakan penskalaan tambahan opsional yang meningkatkan titik akhir Anda setelah menerima permintaan setelah titik akhir Anda diturunkan menjadi nol, lihat. [Opsional: Tentukan kebijakan penskalaan yang meningkatkan skala dari nol untuk permintaan baru](#async-inference-autoscale-scale-up) Jika Anda tidak menentukan kebijakan opsional ini, titik akhir Anda hanya memulai penskalaan dari nol setelah jumlah permintaan backlog melebihi nilai pelacakan target.
Untuk detail tentang prasyarat dan komponen lain yang digunakan dengan penskalaan otomatis, lihat bagian [Prasyarat](https://docs.aws.amazon.com/sagemaker/latest/dg/endpoint-auto-scaling-prerequisites.html) dalam dokumentasi penskalaan otomatis AI. SageMaker
**catatan**
Jika Anda melampirkan beberapa kebijakan penskalaan ke grup penskalaan otomatis yang sama, Anda mungkin mengalami konflik penskalaan. Ketika konflik terjadi, Amazon EC2 Auto Scaling memilih kebijakan yang menyediakan kapasitas terbesar untuk skala keluar dan skala. Untuk informasi selengkapnya tentang perilaku ini, lihat [Beberapa kebijakan penskalaan dinamis dalam dokumentasi EC2 Auto Scaling](https://docs.aws.amazon.com/autoscaling/ec2/userguide/as-scale-based-on-demand.html#multiple-scaling-policy-resolution) *Amazon*.
## Menentukan kebijakan penskalaan
Untuk menentukan metrik dan nilai target untuk kebijakan penskalaan, Anda mengonfigurasi kebijakan penskalaan pelacakan target. Tentukan kebijakan penskalaan sebagai blok JSON dalam file teks. Anda menggunakan file teks tersebut saat menjalankan AWS CLI atau Application Auto Scaling API. Untuk informasi selengkapnya tentang sintaks konfigurasi kebijakan, lihat [https://docs.aws.amazon.com/autoscaling/application/APIReference/API_TargetTrackingScalingPolicyConfiguration.html](https://docs.aws.amazon.com/autoscaling/application/APIReference/API_TargetTrackingScalingPolicyConfiguration.html)di Referensi API Application Auto Scaling.
Untuk titik akhir asinkron, SageMaker AI sangat menyarankan Anda membuat konfigurasi kebijakan untuk penskalaan pelacakan target untuk varian. Dalam contoh konfigurasi ini, kami menggunakan metrik khusus`CustomizedMetricSpecification`, yang disebut`ApproximateBacklogSizePerInstance`.
```
TargetTrackingScalingPolicyConfiguration={
'TargetValue': 5.0, # The target value for the metric. Here the metric is: ApproximateBacklogSizePerInstance
'CustomizedMetricSpecification': {
'MetricName': 'ApproximateBacklogSizePerInstance',
'Namespace': 'AWS/SageMaker',
'Dimensions': [
{'Name': 'EndpointName', 'Value': }
],
'Statistic': 'Average',
}
}
```
## Tentukan kebijakan penskalaan yang menskalakan ke nol
Berikut ini menunjukkan kepada Anda cara mendefinisikan dan mendaftarkan varian endpoint Anda dengan penskalaan otomatis aplikasi menggunakan. AWS SDK untuk Python (Boto3) Setelah mendefinisikan objek klien tingkat rendah yang mewakili aplikasi autoscaling dengan Boto3, kami menggunakan metode untuk mendaftarkan varian produksi. [https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/application-autoscaling.html#ApplicationAutoScaling.Client.register_scalable_target](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/application-autoscaling.html#ApplicationAutoScaling.Client.register_scalable_target) Kami menyetel `MinCapacity` ke 0 karena Inferensi Asinkron memungkinkan Anda untuk melakukan autoscale ke 0 ketika tidak ada permintaan untuk diproses.
```
# Common class representing application autoscaling for SageMaker
client = boto3.client('application-autoscaling')
# This is the format in which application autoscaling references the endpoint
resource_id='endpoint/' + + '/variant/' + <'variant1'>
# Define and register your endpoint variant
response = client.register_scalable_target(
ServiceNamespace='sagemaker',
ResourceId=resource_id,
ScalableDimension='sagemaker:variant:DesiredInstanceCount', # The number of EC2 instances for your Amazon SageMaker model endpoint variant.
MinCapacity=0,
MaxCapacity=5
)
```
Untuk penjelasan rinci tentang Application Autoscaling API, lihat dokumentasi [Application Scaling](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/application-autoscaling.html#ApplicationAutoScaling.Client.register_scalable_target) Boto3.
## Opsional: Tentukan kebijakan penskalaan yang meningkatkan skala dari nol untuk permintaan baru
Anda mungkin memiliki kasus penggunaan di mana Anda memiliki permintaan atau periode sporadis dengan jumlah permintaan yang rendah. Jika titik akhir Anda telah diperkecil menjadi nol instans selama periode ini, maka titik akhir Anda tidak akan ditingkatkan lagi hingga jumlah permintaan dalam antrian melebihi target yang ditentukan dalam kebijakan penskalaan Anda. Hal ini dapat mengakibatkan waktu tunggu yang lama untuk permintaan dalam antrian. Bagian berikut menunjukkan cara membuat kebijakan penskalaan tambahan yang menskalakan titik akhir Anda dari nol instans setelah menerima permintaan baru dalam antrian. Titik akhir Anda akan dapat merespons permintaan baru dengan lebih cepat daripada menunggu ukuran antrian melebihi target.
Untuk membuat kebijakan penskalaan untuk titik akhir Anda yang meningkatkan skala dari nol instans, lakukan hal berikut:
1. Buat kebijakan penskalaan yang mendefinisikan perilaku yang diinginkan, yaitu untuk meningkatkan titik akhir Anda saat nol instance tetapi memiliki permintaan dalam antrian. Berikut ini menunjukkan cara menentukan kebijakan penskalaan yang disebut `HasBacklogWithoutCapacity-ScalingPolicy` menggunakan. AWS SDK untuk Python (Boto3) Ketika antrian lebih besar dari nol dan jumlah instans saat ini untuk titik akhir Anda juga nol, kebijakan akan menskalakan titik akhir Anda. Dalam semua kasus lain, kebijakan tidak memengaruhi penskalaan untuk titik akhir Anda.
```
response = client.put_scaling_policy(
PolicyName="HasBacklogWithoutCapacity-ScalingPolicy",
ServiceNamespace="sagemaker", # The namespace of the service that provides the resource.
ResourceId=resource_id, # Endpoint name
ScalableDimension="sagemaker:variant:DesiredInstanceCount", # SageMaker supports only Instance Count
PolicyType="StepScaling", # 'StepScaling' or 'TargetTrackingScaling'
StepScalingPolicyConfiguration={
"AdjustmentType": "ChangeInCapacity", # Specifies whether the ScalingAdjustment value in the StepAdjustment property is an absolute number or a percentage of the current capacity.
"MetricAggregationType": "Average", # The aggregation type for the CloudWatch metrics.
"Cooldown": 300, # The amount of time, in seconds, to wait for a previous scaling activity to take effect.
"StepAdjustments": # A set of adjustments that enable you to scale based on the size of the alarm breach.
[
{
"MetricIntervalLowerBound": 0,
"ScalingAdjustment": 1
}
]
},
)
```
1. Buat CloudWatch alarm dengan metrik khusus`HasBacklogWithoutCapacity`. Saat dipicu, alarm memulai kebijakan penskalaan yang ditentukan sebelumnya. Untuk informasi lebih lanjut tentang `HasBacklogWithoutCapacity` metrik, lihat[Metrik Titik Akhir Inferensi Asinkron](async-inference-monitor.md#async-inference-monitor-cloudwatch-async).
```
response = cw_client.put_metric_alarm(
AlarmName=step_scaling_policy_alarm_name,
MetricName='HasBacklogWithoutCapacity',
Namespace='AWS/SageMaker',
Statistic='Average',
EvaluationPeriods= 2,
DatapointsToAlarm= 2,
Threshold= 1,
ComparisonOperator='GreaterThanOrEqualToThreshold',
TreatMissingData='missing',
Dimensions=[
{ 'Name':'EndpointName', 'Value':endpoint_name },
],
Period= 60,
AlarmActions=[step_scaling_policy_arn]
)
```
Anda sekarang harus memiliki kebijakan penskalaan dan CloudWatch alarm yang meningkatkan titik akhir Anda dari nol instance setiap kali antrian Anda memiliki permintaan yang tertunda.
# Pemecahan Masalah
Berikut ini FAQs dapat membantu Anda memecahkan masalah dengan titik akhir Inferensi SageMaker Asinkron Amazon Anda.
## T: Saya mengaktifkan penskalaan otomatis. Bagaimana saya bisa menemukan jumlah instance di belakang titik akhir pada titik tertentu?
Anda dapat menggunakan metode berikut untuk menemukan jumlah instance di belakang titik akhir Anda:
+ Anda dapat menggunakan SageMaker AI [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html)API untuk menjelaskan jumlah instance di belakang titik akhir pada titik waktu tertentu.
+ Anda bisa mendapatkan jumlah instans dengan melihat CloudWatch metrik Amazon Anda. Lihat [metrik untuk instans titik akhir Anda](https://docs.aws.amazon.com/sagemaker/latest/dg/monitoring-cloudwatch.html#cloudwatch-metrics-jobs), seperti `CPUUtilization` atau `MemoryUtilization` dan periksa statistik jumlah sampel untuk periode 1 menit. Hitungannya harus sama dengan jumlah instance aktif. Tangkapan layar berikut menunjukkan grafik `CPUUtilization` metrik di CloudWatch konsol, di mana **Statistik** diatur ke`Sample count`, **Periode** diatur ke`1 minute`, dan jumlah yang dihasilkan adalah 5.
![\[CloudWatch konsol yang menampilkan grafik jumlah instance aktif untuk titik akhir.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/cloudwatch-sample-count.png)
## T: Apa variabel lingkungan umum yang dapat disetel untuk wadah SageMaker AI?
Tabel berikut menguraikan variabel lingkungan umum yang dapat disetel untuk wadah SageMaker AI menurut jenis kerangka kerja.
**TensorFlow**
| Variabel lingkungan | Deskripsi |
| --- | --- |
| `SAGEMAKER_TFS_INSTANCE_COUNT` | Untuk model TensorFlow berbasis, `tensorflow_model_server` biner adalah bagian operasional yang bertanggung jawab untuk memuat model dalam memori, menjalankan input terhadap grafik model, dan menurunkan output. Biasanya, satu contoh biner ini diluncurkan untuk melayani model di titik akhir. Biner ini secara internal multi-threaded dan memunculkan beberapa utas untuk menanggapi permintaan inferensi. Dalam kasus tertentu, jika Anda mengamati bahwa CPU digunakan dengan baik (lebih dari 30% digunakan) tetapi memori kurang dimanfaatkan (kurang dari 10% penggunaan), meningkatkan parameter ini dapat membantu. Meningkatkan jumlah yang `tensorflow_model_servers` tersedia untuk melayani biasanya meningkatkan throughput dari titik akhir. |
| `SAGEMAKER_TFS_FRACTIONAL_GPU_MEM_MARGIN` | Parameter ini mengatur fraksi memori GPU yang tersedia untuk menginisialisasi CUDA/cuDNN dan pustaka GPU lainnya. `0.2`berarti 20% dari memori GPU yang tersedia dicadangkan untuk menginisialisasi CUDA/cuDNN dan pustaka GPU lainnya, dan 80% dari memori GPU yang tersedia dialokasikan secara merata di seluruh proses TF. Memori GPU sudah dialokasikan sebelumnya kecuali `allow_growth` opsi diaktifkan. |
| `SAGEMAKER_TFS_INTER_OP_PARALLELISM` | Ini mengikat kembali ke `inter_op_parallelism_threads` variabel. Variabel ini menentukan jumlah utas yang digunakan oleh operasi non-pemblokiran independen. `0`berarti bahwa sistem memilih nomor yang sesuai. |
| `SAGEMAKER_TFS_INTRA_OP_PARALLELISM` | Ini mengikat kembali ke `intra_op_parallelism_threads` variabel. Ini menentukan jumlah utas yang dapat digunakan untuk operasi tertentu seperti perkalian matriks dan pengurangan untuk percepatan. Nilai `0` berarti bahwa sistem memilih nomor yang sesuai. |
| `SAGEMAKER_GUNICORN_WORKERS` | Ini mengatur jumlah proses pekerja yang diminta Gunicorn untuk menelurkan untuk menangani permintaan. Nilai ini digunakan dalam kombinasi dengan parameter lain untuk mendapatkan satu set yang memaksimalkan throughput inferensi. Selain itu, `SAGEMAKER_GUNICORN_WORKER_CLASS` mengatur jenis pekerja yang melahirkan, biasanya atau. `async` `gevent` |
| `SAGEMAKER_GUNICORN_WORKER_CLASS` | Ini mengatur jumlah proses pekerja yang diminta Gunicorn untuk menelurkan untuk menangani permintaan. Nilai ini digunakan dalam kombinasi dengan parameter lain untuk mendapatkan satu set yang memaksimalkan throughput inferensi. Selain itu, `SAGEMAKER_GUNICORN_WORKER_CLASS` mengatur jenis pekerja yang melahirkan, biasanya atau. `async` `gevent` |
| `OMP_NUM_THREADS` | Python secara internal menggunakan OpenMP untuk mengimplementasikan multithreading dalam proses. Biasanya, thread yang setara dengan jumlah core CPU muncul. Tetapi ketika diimplementasikan di atas Simultaneous Multi Threading (SMT), seperti Intel HypeThreading, proses tertentu mungkin kelebihan langganan inti tertentu dengan menelurkan utas dua kali lebih banyak daripada jumlah inti CPU yang sebenarnya. Dalam kasus tertentu, biner Python mungkin berakhir dengan pemijahan hingga empat kali lebih banyak utas daripada inti prosesor yang tersedia. Oleh karena itu, pengaturan ideal untuk parameter ini, jika Anda memiliki kelebihan langganan core yang tersedia menggunakan thread pekerja, adalah`1`, atau setengah jumlah core CPU pada CPU dengan SMT dihidupkan. |
| `TF_DISABLE_MKL` `TF_DISABLE_POOL_ALLOCATOR` | Dalam beberapa kasus, mematikan MKL dapat mempercepat inferensi jika `TF_DISABLE_MKL` dan `TF_DISABLE_POOL_ALLOCATOR` disetel ke. `1` |
**PyTorch**
| Variabel lingkungan | Deskripsi |
| --- | --- |
| `SAGEMAKER_TS_MAX_BATCH_DELAY` | Ini adalah waktu tunda batch maksimum yang TorchServe menunggu untuk diterima. |
| `SAGEMAKER_TS_BATCH_SIZE` | Jika TorchServe tidak menerima jumlah permintaan yang ditentukan `batch_size` sebelum timer habis, itu akan mengirimkan permintaan yang diterima ke handler model. |
| `SAGEMAKER_TS_MIN_WORKERS` | Jumlah minimum pekerja yang TorchServe diizinkan untuk menurunkan skala. |
| `SAGEMAKER_TS_MAX_WORKERS` | Jumlah maksimum pekerja yang TorchServe diizinkan untuk ditingkatkan. |
| `SAGEMAKER_TS_RESPONSE_TIMEOUT` | Waktu tunda, setelah itu waktu inferensi habis tanpa adanya respons. |
| `SAGEMAKER_TS_MAX_REQUEST_SIZE` | Ukuran muatan maksimum untuk TorchServe. |
| `SAGEMAKER_TS_MAX_RESPONSE_SIZE` | Ukuran respons maksimum untuk TorchServe. |
**Server Multi Model (MMS)**
| Variabel lingkungan | Deskripsi |
| --- | --- |
| `job_queue_size` | Parameter ini berguna untuk disetel ketika Anda memiliki skenario di mana jenis payload permintaan inferensi besar, dan karena ukuran payload yang lebih besar, Anda mungkin memiliki konsumsi memori heap yang lebih tinggi dari JVM di mana antrian ini sedang dipertahankan. Idealnya Anda mungkin ingin menjaga persyaratan memori heap JVM lebih rendah dan memungkinkan pekerja Python membagikan lebih banyak memori untuk penyajian model yang sebenarnya. JVM hanya untuk menerima permintaan HTTP, mengantri, dan mengirimkannya ke pekerja berbasis Python untuk inferensi. Jika Anda meningkatkan`job_queue_size`, Anda mungkin akhirnya meningkatkan konsumsi memori heap JVM dan akhirnya mengambil memori dari host yang bisa digunakan oleh pekerja Python. Karena itu, berhati-hatilah saat menyetel parameter ini juga. |
| `default_workers_per_model` | Parameter ini untuk penyajian model backend dan mungkin berharga untuk disetel karena ini adalah komponen penting dari keseluruhan penyajian model, berdasarkan proses Python menelurkan utas untuk setiap Model. Jika komponen ini lebih lambat (atau tidak disetel dengan benar), penyetelan front-end mungkin tidak efektif. |
## T: Bagaimana cara memastikan wadah saya mendukung Inferensi Asinkron?
Anda dapat menggunakan wadah yang sama untuk Inferensi Asinkron yang Anda lakukan untuk Inferensi Waktu Nyata atau Transformasi Batch. Anda harus mengonfirmasi bahwa batas waktu tunggu dan ukuran muatan pada kontainer Anda diatur untuk menangani muatan yang lebih besar dan batas waktu yang lebih lama.
## T: Apa batas khusus untuk Inferensi Asinkron, dan dapatkah mereka disesuaikan?
Lihat batas berikut untuk Inferensi Asinkron:
+ Batas ukuran muatan: 1 GB
+ Batas waktu tunggu: Permintaan dapat memakan waktu hingga 60 menit.
+ Pesan antrian TimeToLive (TTL): 6 jam
+ Jumlah pesan yang dapat dimasukkan ke dalam Amazon SQS: Tidak terbatas. Namun, ada kuota 120.000 untuk jumlah pesan dalam penerbangan untuk antrian standar, dan 20.000 untuk antrian FIFO.
## T: Metrik apa yang terbaik untuk didefinisikan untuk penskalaan otomatis pada Inferensi Asinkron? Bisakah saya memiliki beberapa kebijakan penskalaan?
Secara umum, dengan Asynchronous Inference, Anda dapat menskalakan berdasarkan pemanggilan atau instance. Untuk metrik pemanggilan, ada baiknya untuk melihat metrik Anda`ApproximateBacklogSize`, yang merupakan metrik yang menentukan jumlah item dalam antrian Anda yang belum diproses. Anda dapat menggunakan metrik ini atau `InvocationsPerInstance` metrik Anda untuk memahami TPS apa yang mungkin membuat Anda terhambat. Pada tingkat instans, periksa jenis instans Anda dan pemanfaatan CPU/GPU-nya untuk menentukan kapan harus menskalakan. Jika instance tunggal di atas kapasitas 60-70%, ini sering merupakan pertanda baik bahwa Anda menjenuhkan perangkat keras Anda.
Kami tidak menyarankan memiliki beberapa kebijakan penskalaan, karena ini dapat bertentangan dan menyebabkan kebingungan di tingkat perangkat keras, menyebabkan penundaan saat penskalaan keluar.
## T: Mengapa titik akhir asinkron saya mengakhiri instance sebagai `Unhealthy` dan permintaan pembaruan dari penskalaan otomatis gagal?
Periksa apakah kontainer Anda dapat menangani permintaan ping dan memanggil secara bersamaan. SageMaker Permintaan pemanggilan AI memakan waktu sekitar 3 menit, dan dalam durasi ini, biasanya beberapa permintaan ping akhirnya gagal karena batas waktu yang menyebabkan SageMaker AI mendeteksi wadah Anda sebagai. `Unhealthy`
## T: Dapatkah `MaxConcurrentInvocationsPerInstance` bekerja untuk wadah model BYOC saya dengan pengaturan? ningx/gunicorn/flask
Ya. `MaxConcurrentInvocationsPerInstance`adalah fitur titik akhir asinkron. Ini tidak tergantung pada implementasi wadah khusus. `MaxConcurrentInvocationsPerInstance`mengontrol tingkat di mana permintaan pemanggilan dikirim ke wadah pelanggan. Jika nilai ini ditetapkan sebagai`1`, maka hanya 1 permintaan yang dikirim ke wadah sekaligus, tidak peduli berapa banyak pekerja yang ada di wadah pelanggan.
## T: Bagaimana cara men-debug kesalahan server model (500) pada titik akhir asinkron saya?
Kesalahan berarti bahwa wadah pelanggan mengembalikan kesalahan. SageMaker AI tidak mengontrol perilaku kontainer pelanggan. SageMaker AI hanya mengembalikan respons dari `ModelContainer` dan tidak mencoba lagi. Jika mau, Anda dapat mengonfigurasi pemanggilan untuk mencoba lagi pada kegagalan. Kami menyarankan Anda mengaktifkan pencatatan kontainer dan memeriksa log penampung Anda untuk menemukan akar penyebab kesalahan 500 dari model Anda. Periksa `MemoryUtilization` metrik yang sesuai `CPUUtilization` dan pada titik kegagalan juga. Anda juga dapat mengonfigurasi [S3 FailurePath](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AsyncInferenceOutputConfig.html#sagemaker-Type-AsyncInferenceOutputConfig-S3FailurePath) ke respons model di Amazon SNS sebagai bagian dari Pemberitahuan Kesalahan Async untuk menyelidiki kegagalan.
## T: Bagaimana saya bisa tahu jika `MaxConcurrentInvocationsPerInstance=1` berlaku? Apakah ada metrik yang bisa saya periksa?
Anda dapat memeriksa metrik`InvocationsProcesssed`, yang seharusnya sejajar dengan jumlah pemanggilan yang Anda harapkan akan diproses dalam satu menit berdasarkan konkurensi tunggal.
## T: Bagaimana saya bisa melacak keberhasilan dan kegagalan permintaan doa saya? Apa praktik terbaik?
Praktik terbaik adalah mengaktifkan Amazon SNS, yang merupakan layanan notifikasi untuk aplikasi berorientasi pesan, dengan beberapa pelanggan yang meminta dan menerima pemberitahuan “push” pesan kritis waktu dari pilihan protokol transportasi, termasuk HTTP, Amazon SQS, dan email. Inferensi asinkron memposting pemberitahuan saat Anda membuat titik akhir dengan `CreateEndpointConfig` dan menentukan topik Amazon SNS.
Untuk menggunakan Amazon SNS untuk memeriksa hasil prediksi dari titik akhir asinkron Anda, Anda harus terlebih dahulu membuat topik, berlangganan topik, mengonfirmasi langganan Anda ke topik, dan mencatat Nama Sumber Daya Amazon (ARN) dari topik tersebut. Untuk informasi terperinci tentang cara membuat, berlangganan, dan menemukan Amazon ARN dari topik Amazon SNS, lihat [Mengonfigurasi Amazon SNS di Panduan *Pengembang* Amazon SNS](https://docs.aws.amazon.com/sns/latest/dg/sns-configuring.html). [Untuk informasi selengkapnya tentang cara menggunakan Amazon SNS dengan Inferensi Asinkron, lihat Periksa hasil prediksi.](https://docs.aws.amazon.com/sagemaker/latest/dg/async-inference-check-predictions.html)
## T: Dapatkah saya menentukan kebijakan penskalaan yang meningkatkan skala dari nol instans setelah menerima permintaan baru?
Ya. Inferensi Asinkron menyediakan mekanisme untuk menurunkan skala ke nol instance ketika tidak ada permintaan. Jika titik akhir Anda telah diperkecil menjadi nol instans selama periode ini, maka titik akhir Anda tidak akan ditingkatkan lagi hingga jumlah permintaan dalam antrian melebihi target yang ditentukan dalam kebijakan penskalaan Anda. Hal ini dapat mengakibatkan waktu tunggu yang lama untuk permintaan dalam antrian. Dalam kasus seperti itu, jika Anda ingin meningkatkan dari nol instance untuk permintaan baru yang kurang dari target antrian yang ditentukan, Anda dapat menggunakan kebijakan penskalaan tambahan yang disebut. `HasBacklogWithoutCapacity` Untuk informasi selengkapnya tentang cara mendefinisikan kebijakan penskalaan ini, lihat Menskalakan [otomatis titik akhir](https://docs.aws.amazon.com/sagemaker/latest/dg/async-inference-autoscale.html#async-inference-autoscale-scale-up) asinkron.
## T: Saya mendapatkan kesalahan bahwa jenis instance tidak didukung untuk Inferensi Asinkron. Apa saja tipe instance yang didukung Asynchronous Inference?
[Untuk daftar lengkap instance yang didukung oleh Inferensi Asinkron per wilayah, lihat harga. SageMaker ](https://aws.amazon.com/sagemaker/pricing/) Periksa apakah instans yang diperlukan tersedia di wilayah Anda sebelum melanjutkan.
# Transformasi Batch untuk inferensi dengan Amazon AI SageMaker
Gunakan transformasi batch saat Anda perlu:
+ Melakukan pemrosesan awal set data untuk menghilangkan derau atau bias dari set data Anda yang dapat mengganggu pelatihan atau inferensi.
+ Mendapatkan inferensi dari set data berukuran besar.
+ Menjalankan inferensi saat Anda tidak membutuhkan titik akhir persisten.
+ Mengaitkan catatan input dengan inferensi untuk membantu interpretasi hasil.
Untuk memfilter data input sebelum melakukan inferensi atau untuk mengaitkan catatan input dengan kesimpulan tentang catatan tersebut, lihat. [Mengaitkan Hasil Prediksi dengan Catatan Input](batch-transform-data-processing.md) Misalnya, Anda dapat memfilter data input untuk menyediakan konteks untuk membuat dan menafsirkan laporan tentang data keluaran.
**Topics**
+ [Gunakan transformasi batch untuk mendapatkan kesimpulan dari kumpulan data besar](#batch-transform-large-datasets)
+ [Mempercepat pekerjaan transformasi batch](#batch-transform-reduce-time)
+ [Gunakan transformasi batch untuk menguji varian produksi](#batch-transform-test-variants)
+ [Buku catatan sampel transformasi Batch](#batch-transform-notebooks)
+ [Mengaitkan Hasil Prediksi dengan Catatan Input](batch-transform-data-processing.md)
+ [Penyimpanan dalam Transformasi Batch](batch-transform-storage.md)
+ [Pemecahan masalah](batch-transform-errors.md)
## Gunakan transformasi batch untuk mendapatkan kesimpulan dari kumpulan data besar
Transformasi Batch secara otomatis mengelola pemrosesan kumpulan data besar dalam batas parameter yang ditentukan. Misalnya, memiliki file dataset,`input1.csv`, disimpan dalam bucket S3. Isi file input mungkin terlihat seperti contoh berikut.
```
Record1-Attribute1, Record1-Attribute2, Record1-Attribute3, ..., Record1-AttributeM
Record2-Attribute1, Record2-Attribute2, Record2-Attribute3, ..., Record2-AttributeM
Record3-Attribute1, Record3-Attribute2, Record3-Attribute3, ..., Record3-AttributeM
...
RecordN-Attribute1, RecordN-Attribute2, RecordN-Attribute3, ..., RecordN-AttributeM
```
Saat pekerjaan transformasi batch dimulai, SageMaker AI memulai instance komputasi dan mendistribusikan inferensi atau beban kerja pra-pemrosesan di antara mereka. Batch Transform mempartisi objek Amazon S3 dalam input dengan kunci dan memetakan objek Amazon S3 ke instance. Ketika Anda memiliki beberapa file, satu contoh mungkin memproses`input1.csv`, dan contoh lain mungkin memproses file bernama`input2.csv`. Jika Anda memiliki satu file input tetapi menginisialisasi beberapa instance komputasi, hanya satu instance yang memproses file input. Sisa contoh menganggur.
Anda juga dapat membagi file input menjadi mini-batch. Misalnya, Anda dapat membuat mini-batch dari `input1.csv` dengan menyertakan hanya dua catatan.
```
Record3-Attribute1, Record3-Attribute2, Record3-Attribute3, ..., Record3-AttributeM
Record4-Attribute1, Record4-Attribute2, Record4-Attribute3, ..., Record4-AttributeM
```
**catatan**
SageMaker AI memproses setiap file input secara terpisah. Itu tidak menggabungkan mini-batch dari file input yang berbeda untuk memenuhi batas. [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-MaxPayloadInMB ](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-MaxPayloadInMB )
Untuk membagi file input menjadi mini-batch saat Anda membuat pekerjaan transformasi batch, tetapkan nilai [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformInput.html#SageMaker-Type-TransformInput-SplitType ](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformInput.html#SageMaker-Type-TransformInput-SplitType )parameter ke. `Line` SageMaker AI menggunakan seluruh file input dalam satu permintaan ketika:
+ `SplitType`diatur ke`None`.
+ File input tidak dapat dibagi menjadi mini-batch.
. Perhatikan bahwa Batch Transform tidak mendukung input berformat CSV yang berisi karakter baris baru yang disematkan. Anda dapat mengontrol ukuran mini-batch dengan menggunakan parameter `[BatchStrategy](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#sagemaker-CreateTransformJob-request-BatchStrategy)` dan`[MaxPayloadInMB](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#sagemaker-CreateTransformJob-request-MaxPayloadInMB)`. `MaxPayloadInMB`tidak boleh lebih besar dari 100 MB. Jika Anda menentukan `[MaxConcurrentTransforms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#sagemaker-CreateTransformJob-request-MaxConcurrentTransforms)` parameter opsional, maka nilai juga `(MaxConcurrentTransforms * MaxPayloadInMB)` harus tidak melebihi 100 MB.
Jika pekerjaan transformasi batch berhasil memproses semua catatan dalam file input, itu akan membuat file output. File output memiliki nama dan ekstensi `.out` file yang sama. Untuk beberapa file input, seperti `input1.csv` dan`input2.csv`, file output diberi nama `input1.csv.out` dan`input2.csv.out`. Pekerjaan transformasi batch menyimpan file output di lokasi yang ditentukan di Amazon S3, seperti. `s3://amzn-s3-demo-bucket/output/`
Prediksi dalam file output terdaftar dalam urutan yang sama dengan catatan yang sesuai dalam file input. File output`input1.csv.out`, berdasarkan file input yang ditunjukkan sebelumnya, akan terlihat seperti berikut ini.
```
Inference1-Attribute1, Inference1-Attribute2, Inference1-Attribute3, ..., Inference1-AttributeM
Inference2-Attribute1, Inference2-Attribute2, Inference2-Attribute3, ..., Inference2-AttributeM
Inference3-Attribute1, Inference3-Attribute2, Inference3-Attribute3, ..., Inference3-AttributeM
...
InferenceN-Attribute1, InferenceN-Attribute2, InferenceN-Attribute3, ..., InferenceN-AttributeM
```
Jika Anda mengatur [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformInput.html#SageMaker-Type-TransformInput-SplitType ](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformInput.html#SageMaker-Type-TransformInput-SplitType )ke`Line`, Anda dapat mengatur [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformOutput.html#SageMaker-Type-TransformOutput-AssembleWith ](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformOutput.html#SageMaker-Type-TransformOutput-AssembleWith )parameter `Line` untuk menggabungkan catatan output dengan pembatas baris. Ini tidak mengubah jumlah file output. Jumlah file output sama dengan jumlah file input, dan menggunakan `AssembleWith` tidak menggabungkan file. Jika Anda tidak menentukan `AssembleWith` parameter, catatan keluaran digabungkan dalam format biner secara default.
Ketika data input sangat besar dan ditransmisikan menggunakan HTTP chunked encoding, untuk mengalirkan data ke algoritma, diatur ke. [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-MaxPayloadInMB](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-MaxPayloadInMB)`0` Algoritma bawaan Amazon SageMaker AI tidak mendukung fitur ini.
Untuk informasi tentang penggunaan API untuk membuat pekerjaan transformasi batch, lihat [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html)API. Untuk informasi selengkapnya tentang hubungan antara objek input dan output transformasi batch, lihat [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_OutputDataConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_OutputDataConfig.html). Untuk contoh cara menggunakan transformasi batch, lihat[(Opsional) Buat Prediksi dengan Batch Transform](ex1-model-deployment.md#ex1-batch-transform).
## Mempercepat pekerjaan transformasi batch
Jika Anda menggunakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html)API, Anda dapat mengurangi waktu yang diperlukan untuk menyelesaikan pekerjaan transformasi batch dengan menggunakan nilai optimal untuk parameter. Ini termasuk parameter seperti [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-MaxPayloadInMB](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-MaxPayloadInMB), [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-MaxConcurrentTransforms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-MaxConcurrentTransforms), atau [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-BatchStrategy](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-BatchStrategy). Nilai ideal untuk `MaxConcurrentTransforms` sama dengan jumlah pekerja komputasi dalam pekerjaan transformasi batch.
Jika Anda menggunakan konsol SageMaker AI, tentukan nilai parameter optimal ini di bagian **Konfigurasi tambahan** pada halaman **konfigurasi pekerjaan transformasi Batch**. SageMaker AI secara otomatis menemukan pengaturan parameter optimal untuk algoritme bawaan. Untuk algoritme kustom, berikan nilai-nilai ini melalui titik akhir parameter [eksekusi](https://docs.aws.amazon.com/sagemaker/latest/dg/your-algorithms-batch-code.html#your-algorithms-batch-code-how-containe-serves-requests).
## Gunakan transformasi batch untuk menguji varian produksi
Untuk menguji model atau pengaturan hyperparameter yang berbeda, buat pekerjaan transformasi terpisah untuk setiap varian model baru dan gunakan kumpulan data validasi. Untuk setiap tugas transformasi, tentukan nama model dan lokasi unik di Amazon S3 untuk file keluaran. Untuk menganalisis hasil, gunakan[Log dan Metrik Pipa Inferensi](inference-pipeline-logs-metrics.md).
## Buku catatan sampel transformasi Batch
Untuk contoh notebook yang menggunakan batch transform, lihat Batch Transform [with PCA dan DBSCAN](https://sagemaker-examples.readthedocs.io/en/latest/sagemaker_batch_transform/introduction_to_batch_transform/batch_transform_pca_dbscan_movie_clusters.html) Movie Clusters. Notebook ini menggunakan transformasi batch dengan model analisis komponen utama (PCA) untuk mengurangi data dalam matriks tinjauan item pengguna. Ini kemudian menunjukkan penerapan pengelompokan spasial berbasis kepadatan aplikasi dengan algoritma noise (DBSCAN) untuk mengelompokkan film.
Untuk petunjuk cara membuat dan mengakses instance notebook Jupyter yang dapat Anda gunakan untuk menjalankan contoh di SageMaker AI, lihat. [Instans SageMaker notebook Amazon](nbi.md) Setelah membuat dan membuka instance notebook, pilih tab **SageMakerContoh** untuk melihat daftar semua contoh SageMaker AI. **Notebook contoh pemodelan topik yang menggunakan algoritma NTM terletak di bagian Fungsionalitas lanjutan.** Untuk membuka buku catatan, pilih tab **Use**, lalu pilih **Buat salinan**.
# Mengaitkan Hasil Prediksi dengan Catatan Input
Saat membuat prediksi pada kumpulan data besar, Anda dapat mengecualikan atribut yang tidak diperlukan untuk prediksi. Setelah prediksi dibuat, Anda dapat mengaitkan beberapa atribut yang dikecualikan dengan prediksi tersebut atau dengan data masukan lainnya dalam laporan Anda. Dengan menggunakan transformasi batch untuk melakukan langkah-langkah pemrosesan data ini, Anda sering dapat menghilangkan preprocessing atau postprocessing tambahan. Anda dapat menggunakan file input dalam format JSON dan CSV saja.
**Topics**
+ [Alur Kerja untuk Mengaitkan Inferensi dengan Catatan Input](#batch-transform-data-processing-workflow)
+ [Menggunakan Pemrosesan Data dalam Pekerjaan Transformasi Batch](#batch-transform-data-processing-steps)
+ [JSONPath Operator yang Didukung](#data-processing-operators)
+ [Contoh Transformasi Batch](#batch-transform-data-processing-examples)
## Alur Kerja untuk Mengaitkan Inferensi dengan Catatan Input
Diagram berikut menunjukkan alur kerja untuk mengaitkan kesimpulan dengan catatan masukan.
![\[Alur kerja untuk mengaitkan kesimpulan dengan catatan masukan.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/batch-transform-data-processing.png)
Untuk mengaitkan kesimpulan dengan data input, ada tiga langkah utama:
1. Filter data input yang tidak diperlukan untuk inferensi sebelum meneruskan data input ke pekerjaan transformasi batch. Gunakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-Type-DataProcessing-InputFilter ](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-Type-DataProcessing-InputFilter )parameter untuk menentukan atribut mana yang akan digunakan sebagai input untuk model.
1. Kaitkan data input dengan hasil inferensi. Gunakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-Type-DataProcessing-JoinSource ](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-Type-DataProcessing-JoinSource )parameter untuk menggabungkan data input dengan inferensi.
1. Filter data gabungan untuk mempertahankan input yang diperlukan untuk menyediakan konteks untuk menafsirkan prediksi dalam laporan. Gunakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-Type-DataProcessing-OutputFilter ](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-Type-DataProcessing-OutputFilter )untuk menyimpan bagian tertentu dari dataset bergabung dalam file output.
## Menggunakan Pemrosesan Data dalam Pekerjaan Transformasi Batch
Saat membuat pekerjaan transformasi batch dengan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html)memproses data:
1. Tentukan bagian input yang akan diteruskan ke model dengan `InputFilter` parameter dalam struktur `DataProcessing` data.
1. Bergabunglah dengan data input mentah dengan data yang diubah dengan `JoinSource` parameter.
1. Tentukan bagian mana dari input yang digabungkan dan data yang diubah dari pekerjaan transformasi batch yang akan disertakan dalam file output dengan `OutputFilter` parameter.
1. Pilih file berformat JSON- atau CSV untuk masukan:
+ Untuk file input berformat JSON- atau JSON Line, SageMaker AI menambahkan `SageMakerOutput` atribut ke file input atau membuat file keluaran JSON baru dengan atribut and. `SageMakerInput` `SageMakerOutput` Untuk informasi selengkapnya, lihat [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DataProcessing.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DataProcessing.html).
+ Untuk file input berformat CSV, data input yang digabungkan diikuti oleh data yang diubah dan outputnya adalah file CSV.
Jika Anda menggunakan algoritma dengan `DataProcessing` struktur, itu harus mendukung format yang Anda pilih untuk file input *dan* output. Misalnya, dengan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformOutput.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformOutput.html)bidang `CreateTransformJob` API, Anda harus mengatur [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformOutput.html#SageMaker-Type-TransformOutput-Accept](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformOutput.html#SageMaker-Type-TransformOutput-Accept)parameter [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_Channel.html#SageMaker-Type-Channel-ContentType](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_Channel.html#SageMaker-Type-Channel-ContentType)dan parameter ke salah satu nilai berikut:`text/csv`,`application/json`, atau`application/jsonlines`. Sintaks untuk menentukan kolom dalam file CSV dan menentukan atribut dalam file JSON berbeda. Menggunakan sintaks yang salah menyebabkan kesalahan. Untuk informasi selengkapnya, lihat [Contoh Transformasi Batch](#batch-transform-data-processing-examples). Untuk informasi selengkapnya tentang format file input dan output untuk algoritme bawaan, lihat[Algoritma bawaan dan model yang telah dilatih sebelumnya di Amazon SageMaker](algos.md).
Pembatas catatan untuk input dan output juga harus konsisten dengan input file yang Anda pilih. [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformInput.html#SageMaker-Type-TransformInput-SplitType](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformInput.html#SageMaker-Type-TransformInput-SplitType)Parameter menunjukkan cara membagi catatan dalam dataset input. [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformOutput.html#SageMaker-Type-TransformOutput-AssembleWith ](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformOutput.html#SageMaker-Type-TransformOutput-AssembleWith )Parameter menunjukkan cara memasang kembali catatan untuk output. Jika Anda mengatur format input dan output ke`text/csv`, Anda juga harus mengatur `AssembleWith` parameter `SplitType` dan ke`line`. Jika Anda mengatur format input dan output ke`application/jsonlines`, Anda dapat mengatur keduanya `SplitType` dan `AssembleWith` ke`line`.
Untuk file CSV, Anda tidak dapat menggunakan karakter baris baru yang disematkan. Untuk file JSON, nama atribut `SageMakerOutput` dicadangkan untuk output. File input JSON tidak dapat memiliki atribut dengan nama ini. Jika ya, data dalam file input mungkin akan ditimpa.
## JSONPath Operator yang Didukung
Untuk memfilter dan menggabungkan data input dan inferensi, gunakan JSONPath subexpression. SageMaker AI hanya mendukung sebagian dari JSONPath operator yang ditentukan. Tabel berikut mencantumkan JSONPath operator yang didukung. Untuk data CSV, setiap baris diambil sebagai array JSON, jadi hanya berbasis indeks yang JSONPaths dapat diterapkan, misalnya,. `$[0]` `$[1:]` Data CSV juga harus mengikuti format [RFC](https://tools.ietf.org/html/rfc4180).
| JSONPath Operator | Deskripsi | Contoh |
| --- | --- | --- |
| \$1 | Elemen root untuk query. Operator ini diperlukan di awal semua ekspresi jalur. | \$1 |
| . | Elemen anak bernotasi titik. | `$.id` |
| \$1 | Wildcard. Gunakan sebagai pengganti nama atribut atau nilai numerik. | `$.id.*` |
| ['' (,'')] | Sebuah elemen bertanda kurung atau beberapa elemen anak. | `$['id','SageMakerOutput']` |
| [ (,)] | Indeks atau array indeks. Nilai indeks negatif juga didukung. `-1`Indeks mengacu pada elemen terakhir dalam array. | `$[1]` , `$[1,3,5]` |
| [:] | Operator irisan array. Metode array slice () mengekstrak bagian dari array dan mengembalikan array baru. Jika Anda menghilangkan**, SageMaker AI menggunakan elemen pertama dari array. Jika Anda menghilangkan**, SageMaker AI menggunakan elemen terakhir dari array. | `$[2:5]`, `$[:5]`, `$[2:]` |
Saat menggunakan notasi tanda kurung untuk menentukan beberapa elemen anak dari bidang tertentu, penyarangan tambahan anak dalam tanda kurung tidak didukung. Misalnya, `$.field1.['child1','child2']` didukung sementara `$.field1.['child1','child2.grandchild']` tidak.
Untuk informasi selengkapnya tentang JSONPath operator, lihat [JsonPath](https://github.com/json-path/JsonPath)di GitHub.
## Contoh Transformasi Batch
Contoh berikut menunjukkan beberapa cara umum untuk menggabungkan data input dengan hasil prediksi.
**Topics**
+ [Contoh: Output Only Inferences](#batch-transform-data-processing-example-default)
+ [Contoh: Inferensi Output Bergabung dengan Data Input](#batch-transform-data-processing-example-all)
+ [Contoh: Inferensi Output Bergabung dengan Data Input dan Kecualikan Kolom ID dari Input (CSV)](#batch-transform-data-processing-example-select-csv)
+ [Contoh: Inferensi Keluaran Bergabung dengan Kolom ID dan Kecualikan Kolom ID dari Input (CSV)](#batch-transform-data-processing-example-select-json)
### Contoh: Output Only Inferences
Secara default, [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-DataProcessing](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-CreateTransformJob-request-DataProcessing)parameter tidak menggabungkan hasil inferensi dengan input. Ini hanya menghasilkan hasil inferensi.
Jika Anda ingin secara eksplisit menentukan untuk tidak menggabungkan hasil dengan input, gunakan Amazon [ SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable) dan tentukan pengaturan berikut dalam panggilan transformator.
```
sm_transformer = sagemaker.transformer.Transformer(…)
sm_transformer.transform(…, input_filter="$", join_source= "None", output_filter="$")
```
Untuk menghasilkan inferensi menggunakan AWS SDK untuk Python, tambahkan kode berikut ke permintaan Anda. CreateTransformJob Kode berikut meniru perilaku default.
```
{
"DataProcessing": {
"InputFilter": "$",
"JoinSource": "None",
"OutputFilter": "$"
}
}
```
### Contoh: Inferensi Output Bergabung dengan Data Input
Jika Anda menggunakan [Amazon SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable) untuk menggabungkan data input dengan inferensi dalam file output, tentukan `accept` parameter `assemble_with` dan saat menginisialisasi objek transformator. Saat Anda menggunakan panggilan transformasi, tentukan `Input` `join_source` parameternya, dan tentukan `content_type` parameter `split_type` dan juga. `split_type`Parameter harus memiliki nilai yang sama dengan`assemble_with`, dan `content_type` parameter harus memiliki nilai yang sama dengan`accept`. Untuk informasi selengkapnya tentang parameter dan nilai yang diterima, lihat halaman [Transformer](https://sagemaker.readthedocs.io/en/stable/api/inference/transformer.html#sagemaker.transformer.Transformer) di *Amazon SageMaker AI Python* SDK.
```
sm_transformer = sagemaker.transformer.Transformer(…, assemble_with="Line", accept="text/csv")
sm_transformer.transform(…, join_source="Input", split_type="Line", content_type="text/csv")
```
Jika Anda menggunakan AWS SDK untuk Python (Boto 3), gabungkan semua data input dengan inferensi dengan menambahkan kode berikut ke permintaan Anda. [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html) Nilai untuk `Accept` dan `ContentType` harus cocok, dan nilai untuk `AssembleWith` dan juga `SplitType` harus cocok.
```
{
"DataProcessing": {
"JoinSource": "Input"
},
"TransformOutput": {
"Accept": "text/csv",
"AssembleWith": "Line"
},
"TransformInput": {
"ContentType": "text/csv",
"SplitType": "Line"
}
}
```
Untuk file input JSON atau JSON Lines, hasilnya ada di `SageMakerOutput` kunci dalam file JSON input. Misalnya, jika input adalah file JSON yang berisi pasangan kunci-nilai`{"key":1}`, hasil transformasi data mungkin. `{"label":1}`
SageMaker AI menyimpan keduanya dalam file input di `SageMakerInput` kunci.
```
{
"key":1,
"SageMakerOutput":{"label":1}
}
```
**catatan**
Hasil gabungan untuk JSON harus berupa objek pasangan kunci-nilai. Jika input bukan objek pasangan nilai kunci, SageMaker AI membuat file JSON baru. Dalam file JSON baru, data input disimpan dalam `SageMakerInput` kunci dan hasilnya disimpan sebagai `SageMakerOutput` nilai.
Untuk file CSV, misalnya, jika catatannya`[1,2,3]`, dan hasil labelnya`[1]`, maka file keluaran akan berisi`[1,2,3,1]`.
### Contoh: Inferensi Output Bergabung dengan Data Input dan Kecualikan Kolom ID dari Input (CSV)
Jika Anda menggunakan [Amazon SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable) untuk menggabungkan data input Anda dengan output inferensi sambil mengecualikan kolom ID dari input transformator, tentukan parameter yang sama dari contoh sebelumnya serta JSONPath subexpression untuk panggilan transformator dalam Anda. `input_filter` Misalnya, jika data masukan Anda menyertakan lima kolom dan yang pertama adalah kolom ID, gunakan permintaan transformasi berikut untuk memilih semua kolom kecuali kolom ID sebagai fitur. Transformator masih mengeluarkan semua kolom input yang bergabung dengan inferensi. Untuk informasi selengkapnya tentang parameter dan nilai yang diterima, lihat halaman [Transformer](https://sagemaker.readthedocs.io/en/stable/api/inference/transformer.html#sagemaker.transformer.Transformer) di *Amazon SageMaker AI Python* SDK.
```
sm_transformer = sagemaker.transformer.Transformer(…, assemble_with="Line", accept="text/csv")
sm_transformer.transform(…, split_type="Line", content_type="text/csv", input_filter="$[1:]", join_source="Input")
```
Jika Anda menggunakan AWS SDK untuk Python (Boto 3), tambahkan kode berikut ke permintaan Anda. `[ CreateTransformJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html)`
```
{
"DataProcessing": {
"InputFilter": "$[1:]",
"JoinSource": "Input"
},
"TransformOutput": {
"Accept": "text/csv",
"AssembleWith": "Line"
},
"TransformInput": {
"ContentType": "text/csv",
"SplitType": "Line"
}
}
```
Untuk menentukan kolom di SageMaker AI, gunakan indeks elemen array. Kolom pertama adalah indeks 0, kolom kedua adalah indeks 1, dan kolom keenam adalah indeks 5.
Untuk mengecualikan kolom pertama dari input, atur `[InputFilter](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#SageMaker-Type-DataProcessing-InputFilter )` ke`"$[1:]"`. Titik dua (`:`) memberitahu SageMaker AI untuk memasukkan semua elemen antara dua nilai, inklusif. Misalnya, `$[1:4]` menentukan kolom kedua hingga kelima.
Jika Anda menghilangkan angka setelah titik dua, misalnya`[5:]`, subset mencakup semua kolom dari kolom ke-6 melalui kolom terakhir. Jika Anda menghilangkan angka sebelum titik dua, misalnya`[:5]`, subset mencakup semua kolom dari kolom pertama (indeks 0) hingga kolom keenam.
### Contoh: Inferensi Keluaran Bergabung dengan Kolom ID dan Kecualikan Kolom ID dari Input (CSV)
Jika Anda menggunakan [Amazon SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable), Anda dapat menentukan output untuk menggabungkan hanya kolom input tertentu (seperti kolom ID) dengan inferensi dengan menentukan dalam panggilan transformator. `output_filter` `output_filter`Menggunakan JSONPath subexpression untuk menentukan kolom mana yang akan dikembalikan sebagai output setelah menggabungkan data input dengan hasil inferensi. Permintaan berikut menunjukkan bagaimana Anda dapat membuat prediksi sambil mengecualikan kolom ID dan kemudian menggabungkan kolom ID dengan kesimpulan. Perhatikan bahwa dalam contoh berikut, kolom terakhir (`-1`) dari output berisi kesimpulan. Jika Anda menggunakan file JSON, SageMaker AI menyimpan hasil inferensi di atribut. `SageMakerOutput` Untuk informasi selengkapnya tentang parameter dan nilai yang diterima, lihat halaman [Transformer](https://sagemaker.readthedocs.io/en/stable/api/inference/transformer.html#sagemaker.transformer.Transformer) di *Amazon SageMaker AI Python* SDK.
```
sm_transformer = sagemaker.transformer.Transformer(…, assemble_with="Line", accept="text/csv")
sm_transformer.transform(…, split_type="Line", content_type="text/csv", input_filter="$[1:]", join_source="Input", output_filter="$[0,-1]")
```
Jika Anda menggunakan AWS SDK untuk Python (Boto 3), gabungkan hanya kolom ID dengan kesimpulan dengan menambahkan kode berikut ke permintaan Anda. [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html)
```
{
"DataProcessing": {
"InputFilter": "$[1:]",
"JoinSource": "Input",
"OutputFilter": "$[0,-1]"
},
"TransformOutput": {
"Accept": "text/csv",
"AssembleWith": "Line"
},
"TransformInput": {
"ContentType": "text/csv",
"SplitType": "Line"
}
}
```
**Awas**
Jika Anda menggunakan file input berformat JSON, file tersebut tidak dapat berisi nama atribut. `SageMakerOutput` Nama atribut ini dicadangkan untuk kesimpulan dalam file output. Jika file input berformat JSON Anda berisi atribut dengan nama ini, nilai dalam file input mungkin ditimpa dengan inferensi.
# Penyimpanan dalam Transformasi Batch
Saat Anda menjalankan pekerjaan transformasi batch, Amazon SageMaker AI melampirkan volume penyimpanan Amazon Elastic Block Store ke instans Amazon EC2 yang memproses pekerjaan Anda. Volume menyimpan model Anda, dan ukuran volume penyimpanan ditetapkan pada 30 GB. Anda memiliki opsi untuk mengenkripsi model Anda saat istirahat dalam volume penyimpanan.
**catatan**
Jika Anda memiliki model besar, Anda mungkin menemukan`InternalServerError`.
Untuk informasi selengkapnya tentang penyimpanan dan fitur Amazon EBS, lihat halaman berikut:
+ [Amazon EBS](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/AmazonEBS.html) di Panduan Pengguna Amazon EC2
+ [Volume Amazon EBS](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ebs-volumes.html) di Panduan Pengguna Amazon EC2
**catatan**
Instans G4dn hadir dengan penyimpanan SSD lokal mereka sendiri. [Untuk mempelajari lebih lanjut tentang instans G4dn, lihat halaman Instans Amazon EC2 G4.](https://aws.amazon.com/ec2/instance-types/g4/)
# Pemecahan masalah
Jika Anda mengalami kesalahan di Amazon SageMaker AI Batch Transform, lihat tips pemecahan masalah berikut.
## Kesalahan batas waktu maks
Jika Anda mendapatkan kesalahan batas waktu maksimal saat menjalankan pekerjaan transformasi batch, coba yang berikut ini:
+ Mulailah dengan catatan tunggal`[BatchStrategy](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#sagemaker-CreateTransformJob-request-BatchStrategy)`, ukuran batch default (6 MB) atau lebih kecil yang Anda tentukan dalam `[MaxPayloadInMB](https://docs.aws.amazon.com//sagemaker/latest/APIReference/API_CreateTransformJob.html#sagemaker-CreateTransformJob-request-MaxPayloadInMB)` parameter, dan kumpulan data sampel kecil. Setel parameter batas waktu maksimum `[InvocationsTimeoutInSeconds](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelClientConfig.html#sagemaker-Type-ModelClientConfig-InvocationsTimeoutInSeconds)` (yang memiliki maksimum 1 jam) hingga Anda menerima respons pemanggilan yang berhasil.
+ Setelah Anda menerima respons pemanggilan yang berhasil, tingkatkan `MaxPayloadInMB` (yang memiliki maksimum 100 MB) dan `InvocationsTimeoutInSeconds` parameter bersama-sama untuk menemukan ukuran batch maksimum yang dapat mendukung batas waktu model yang Anda inginkan. Anda dapat menggunakan rekaman tunggal atau multi-rekaman `BatchStrategy` dalam langkah ini.
**catatan**
Melebihi `MaxPayloadInMB` batas menyebabkan kesalahan. Ini mungkin terjadi dengan kumpulan data besar jika tidak dapat dibagi, `SplitType` parameter disetel ke tidak ada, atau catatan individu dalam kumpulan data melebihi batas.
+ (Opsional) Setel `[MaxConcurrentTransforms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateTransformJob.html#sagemaker-CreateTransformJob-request-MaxConcurrentTransforms)` parameter, yang menentukan jumlah maksimum permintaan paralel yang dapat dikirim ke setiap instance dalam pekerjaan transformasi batch. Namun, nilai tidak `MaxConcurrentTransforms * MaxPayloadInMB` boleh melebihi 100 MB.
## Output tidak lengkap
SageMaker AI menggunakan [API Unggahan Multipart](https://docs.aws.amazon.com/AmazonS3/latest/dev/uploadobjusingmpu.html) Amazon S3 untuk mengunggah hasil dari pekerjaan transformasi batch ke Amazon S3. Jika terjadi kesalahan, hasil yang diunggah akan dihapus dari Amazon S3. Dalam beberapa kasus, seperti ketika terjadi pemadaman jaringan, unggahan multibagian yang tidak lengkap mungkin tetap ada di Amazon S3. Unggahan yang tidak lengkap mungkin juga terjadi jika Anda memiliki beberapa file input tetapi beberapa file tidak dapat diproses oleh SageMaker AI Batch Transform. File input yang tidak dapat diproses tidak akan memiliki file output yang sesuai di Amazon S3.
Untuk menghindari biaya penyimpanan, sebaiknya tambahkan [kebijakan bucket S3 ke aturan siklus hidup bucket](https://docs.aws.amazon.com/AmazonS3/latest/dev/mpuoverview.html#mpu-abort-incomplete-mpu-lifecycle-config) S3. Kebijakan ini menghapus unggahan multibagian yang tidak lengkap yang mungkin disimpan di bucket S3. Untuk informasi lebih lanjut, lihat [Manajemen Siklus Aktif Objek](https://docs.aws.amazon.com/AmazonS3/latest/dev/object-lifecycle-mgmt.html).
## Job menunjukkan sebagai `failed`
Jika pekerjaan transformasi batch gagal memproses file input karena masalah dengan kumpulan data, SageMaker AI menandai pekerjaan tersebut sebagai`failed`. Jika file input berisi catatan buruk, tugas transformasi tidak membuat file output untuk file input itu karena hal itu mencegahnya mempertahankan urutan yang sama dalam data yang diubah seperti pada file input. Ketika kumpulan data Anda memiliki beberapa file input, pekerjaan transformasi terus memproses file input meskipun gagal memprosesnya. File yang diproses masih menghasilkan hasil yang dapat digunakan.
Jika Anda menggunakan algoritme Anda sendiri, Anda dapat menggunakan teks placeholder, seperti`ERROR`, ketika algoritme menemukan catatan buruk dalam file input. Misalnya, jika catatan terakhir dalam kumpulan data buruk, algoritme menempatkan teks placeholder untuk catatan itu di file output.
# Paralelisme model dan inferensi model besar
Amazon SageMaker AI mencakup wadah pembelajaran mendalam khusus (DLCs), perpustakaan, dan perkakas untuk paralelisme model dan inferensi model besar (LMI). Di bagian berikut, Anda dapat menemukan sumber daya untuk memulai dengan LMI di SageMaker AI.
**Topics**
+ [Dokumentasi wadah inferensi model besar (LMI)](large-model-inference-container-docs.md)
+ [SageMaker Parameter titik akhir AI untuk inferensi model besar](large-model-inference-hosting.md)
+ [Menyebarkan model yang tidak terkompresi](large-model-inference-uncompressed.md)
+ [Menyebarkan model besar untuk inferensi dengan TorchServe](large-model-inference-tutorials-torchserve.md)
# Dokumentasi wadah inferensi model besar (LMI)
[Dokumentasi kontainer Large Model Inference (LMI) disediakan di situs dokumentasi](https://docs.djl.ai/master/docs/serving/serving/docs/lmi/index.html) Deep Java Library.
Dokumentasi ini ditulis untuk pengembang, ilmuwan data, dan insinyur pembelajaran mesin yang perlu menerapkan dan mengoptimalkan model bahasa besar (LLMs) di Amazon SageMaker AI. Ini membantu Anda menggunakan wadah LMI, yang merupakan wadah Docker khusus untuk inferensi LLM, yang disediakan oleh. AWS Ini memberikan gambaran umum, panduan penerapan, panduan pengguna untuk pustaka inferensi yang didukung, dan tutorial lanjutan.
Dengan menggunakan dokumentasi kontainer LMI, Anda dapat:
+ Memahami komponen dan arsitektur wadah LMI
+ Pelajari cara memilih jenis instans dan backend yang sesuai untuk kasus penggunaan
+ Konfigurasikan dan terapkan LLMs pada SageMaker AI menggunakan kontainer LMI
+ Optimalkan kinerja dengan menggunakan fitur seperti kuantisasi, paralelisme tensor, dan batch kontinu
+ Benchmark dan sesuaikan titik akhir SageMaker AI Anda untuk throughput dan latensi yang optimal
# SageMaker Parameter titik akhir AI untuk inferensi model besar
Anda dapat menyesuaikan parameter berikut untuk memfasilitasi inferensi model besar latensi rendah (LMI) dengan AI: SageMaker
+ **Ukuran volume Amazon EBS maksimum pada instance (`VolumeSizeInGB`)** — Jika ukuran model lebih besar dari 30 GB dan Anda menggunakan instance tanpa disk lokal, Anda harus meningkatkan parameter ini menjadi sedikit lebih besar dari ukuran model Anda.
+ **Kuota batas waktu pemeriksaan Kesehatan (`ContainerStartupHealthCheckTimeoutInSeconds`)** — Jika wadah Anda diatur dengan benar dan CloudWatch log menunjukkan batas waktu pemeriksaan kesehatan, Anda harus menambah kuota ini sehingga wadah memiliki cukup waktu untuk menanggapi pemeriksaan kesehatan.
+ **Kuota batas waktu unduhan model (`ModelDataDownloadTimeoutInSeconds`)** — Jika ukuran model Anda lebih besar dari 40 GB, maka Anda harus menambah kuota ini untuk memberikan waktu yang cukup untuk mengunduh model dari Amazon S3 ke instans.
Cuplikan kode berikut menunjukkan cara mengkonfigurasi parameter yang disebutkan di atas secara terprogram. Ganti contoh *italicized placeholder text* dalam dengan informasi Anda sendiri.
```
import boto3
aws_region = "aws-region"
sagemaker_client = boto3.client('sagemaker', region_name=aws_region)
# The name of the endpoint. The name must be unique within an AWS Region in your AWS account.
endpoint_name = "endpoint-name"
# Create an endpoint config name.
endpoint_config_name = "endpoint-config-name"
# The name of the model that you want to host.
model_name = "the-name-of-your-model"
instance_type = "instance-type"
sagemaker_client.create_endpoint_config(
EndpointConfigName = endpoint_config_name
ProductionVariants=[
{
"VariantName": "variant1", # The name of the production variant.
"ModelName": model_name,
"InstanceType": instance_type, # Specify the compute instance type.
"InitialInstanceCount": 1, # Number of instances to launch initially.
"VolumeSizeInGB": 256, # Specify the size of the Amazon EBS volume.
"ModelDataDownloadTimeoutInSeconds": 1800, # Specify the model download timeout in seconds.
"ContainerStartupHealthCheckTimeoutInSeconds": 1800, # Specify the health checkup timeout in seconds
},
],
)
sagemaker_client.create_endpoint(EndpointName=endpoint_name, EndpointConfigName=endpoint_config_name)
```
Untuk informasi selengkapnya tentang kunci`ProductionVariants`, lihat [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariant.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariant.html).
Untuk contoh yang menunjukkan cara mencapai inferensi latensi rendah dengan model besar, lihat [Contoh Inferensi AI Generatif di Amazon SageMaker AI di](https://github.com/aws-samples/sagemaker-genai-hosting-examples/tree/main) repositori aws-samples. GitHub
# Menyebarkan model yang tidak terkompresi
Saat menerapkan model ML, salah satu opsi adalah mengarsipkan dan mengompres artefak model ke dalam format. `tar.gz` Meskipun metode ini bekerja dengan baik untuk model kecil, mengompresi artefak model besar dengan ratusan miliar parameter dan kemudian mendekompresi pada titik akhir dapat memakan waktu yang signifikan. Untuk inferensi model yang besar, kami menyarankan Anda menerapkan model ML yang tidak terkompresi. Panduan ini menunjukkan bagaimana Anda dapat menerapkan model ML yang tidak terkompresi.
Untuk menerapkan model ML yang tidak terkompresi, unggah semua artefak model ke Amazon S3 dan atur di bawah awalan Amazon S3 yang umum. Awalan Amazon S3 adalah serangkaian karakter di awal nama kunci objek Amazon S3, dipisahkan dari sisa nama dengan pembatas. Untuk informasi selengkapnya tentang awalan Amazon S3, lihat [Mengatur objek](https://docs.aws.amazon.com/AmazonS3/latest/userguide/using-prefixes.html) menggunakan awalan.
Untuk menerapkan dengan SageMaker AI, Anda harus menggunakan garis miring (/) sebagai pembatas. Anda harus memastikan bahwa hanya artefak yang terkait dengan model ML Anda yang diatur dengan awalan. Untuk model ML dengan artefak tunggal yang tidak terkompresi, awalan akan identik dengan nama kunci. Anda dapat memeriksa objek mana yang terkait dengan awalan Anda dengan: AWS CLI
```
aws s3 ls --recursive s3://bucket/prefix
```
Setelah mengunggah artefak model ke Amazon S3 dan mengaturnya di bawah awalan umum, Anda dapat menentukan lokasinya sebagai bagian dari bidang saat Anda [ModelDataSource](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDataSource.html)memanggil permintaan. [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html) SageMaker AI akan secara otomatis mengunduh artefak model yang tidak terkompresi untuk `/opt/ml/model` inferensi. Untuk informasi selengkapnya tentang aturan yang digunakan SageMaker AI saat mengunduh artefak, lihat [ModelDataSourceS3](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_S3ModelDataSource.html).
Cuplikan kode berikut menunjukkan bagaimana Anda dapat menjalankan `CreateModel` API saat menerapkan model yang tidak terkompresi. Ganti *italicized user text* dengan informasi Anda sendiri.
```
model_name = "model-name"
sagemaker_role = "arn:aws:iam::123456789012:role/SageMakerExecutionRole"
container = "123456789012.dkr.ecr.us-west-2.amazonaws.com/inference-image:latest"
create_model_response = sagemaker_client.create_model(
ModelName = model_name,
ExecutionRoleArn = sagemaker_role,
PrimaryContainer = {
"Image": container,
"ModelDataSource": {
"S3DataSource": {
"S3Uri": "s3://amzn-s3-demo-bucket/prefix/to/model/data/",
"S3DataType": "S3Prefix",
"CompressionType": "None",
},
},
},
)
```
Contoh yang disebutkan di atas mengasumsikan bahwa artefak model Anda diatur di bawah awalan umum. Jika artefak model Anda adalah objek Amazon S3 tunggal yang tidak terkompresi, maka ubah `"S3Uri"` untuk menunjuk ke objek Amazon S3, dan ubah ke. `"S3DataType"` `"S3Object"`
**catatan**
Saat ini Anda tidak dapat menggunakan `ModelDataSource` dengan AWS Marketplace, transformasi batch SageMaker AI, titik akhir Inferensi SageMaker Tanpa Server, dan titik akhir multi-model. SageMaker
# Menyebarkan model besar untuk inferensi dengan TorchServe
Tutorial ini menunjukkan cara menerapkan model besar dan menyajikan inferensi di Amazon SageMaker AI dengan on. TorchServe GPUs Contoh ini menerapkan model [OPT-30b](https://huggingface.co/facebook/opt-30b) ke sebuah instance. `ml.g5` Anda dapat memodifikasi ini untuk bekerja dengan model dan jenis instance lainnya. Ganti contoh `italicized placeholder text` dalam dengan informasi Anda sendiri.
TorchServe adalah platform terbuka yang kuat untuk inferensi model terdistribusi besar. Dengan mendukung perpustakaan populer seperti PyTorch, Pi asli, dan HuggingFace Accelerate PPy DeepSpeed, ia menawarkan penangan seragam APIs yang tetap konsisten di seluruh model besar terdistribusi dan skenario inferensi model non-terdistribusi. Untuk informasi lebih lanjut, [TorchServelihat dokumentasi inferensi model besar](https://pytorch.org/serve/large_model_inference.html#).
## Wadah pembelajaran mendalam dengan TorchServe
Untuk menerapkan model besar dengan TorchServe SageMaker AI, Anda dapat menggunakan salah satu wadah pembelajaran mendalam SageMaker AI (DLCs). Secara default, TorchServe diinstal di semua AWS PyTorch DLCs. Selama pemuatan model, TorchServe dapat menginstal perpustakaan khusus yang disesuaikan untuk model besar seperti PiPPy, Deepspeed, dan Accelerate.
Tabel berikut mencantumkan semua [SageMaker AI DLCs dengan TorchServe](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#sagemaker-framework-containers-sm-support-only).
| Kateogri DLC | Kerangka Kerja | Hardware | Contoh URL |
| --- | --- | --- | --- |
| [SageMaker Wadah Kerangka AI](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#sagemaker-framework-containers-sm-support-only) | PyTorch 2.0.0\$1 | CPU, GPU | 763104351884.dkr. ecr.us-east-1.amazonaws.com /pytorch-inferensi:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker |
| [SageMaker Wadah Graviton Kerangka AI](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#sagemaker-framework-graviton-containers-sm-support-only) | PyTorch 2.0.0\$1 | CPU | 763104351884.dkr. ecr.us-east-1.amazonaws.com /:2.0.1-cpu-py310-ubuntu20.04-sagemaker pytorch-inference-graviton |
| [Wadah Inferensi StabilityAI](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#stabilityai-inference-containers) | PyTorch 2.0.0\$1 | GPU | 763104351884.dkr. ecr.us-east-1.amazonaws.com /:2.0.1-sgm0.1.0-gpu-py310-cu118-ubuntu20.04-sagemaker stabilityai-pytorch-inference |
| [Wadah Neuron](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#neuron-containers) | PyTorch 1.13.1 | Neuronx | 763104351884.dkr. ecr.us-west-2.amazonaws.com /:1.13.1-neuron-py310-sdk2.12.0-ubuntu20.04 pytorch-inference-neuron |
## Memulai
Sebelum menerapkan model Anda, selesaikan prasyarat. Anda juga dapat mengonfigurasi parameter model Anda dan menyesuaikan kode handler.
### Prasyarat
Untuk memulai, pastikan Anda memiliki prasyarat berikut:
1. Pastikan Anda memiliki akses ke AWS akun. [Siapkan lingkungan Anda](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-configure.html) sehingga AWS CLI dapat mengakses akun Anda melalui pengguna AWS IAM atau peran IAM. Kami merekomendasikan menggunakan peran IAM. Untuk tujuan pengujian di akun pribadi Anda, Anda dapat melampirkan kebijakan izin terkelola berikut ke peran IAM:
+ [Amazon EC2 ContainerRegistryFullAccess](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/AmazonEC2ContainerRegistryFullAccess)
+ [Amazon EC2 FullAccess](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/AmazonEC2FullAccess)
+ [AWSServiceRoleForAmazonEKSNodegroup](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/AWSServiceRoleForAmazonEKSNodegroup)
+ [AmazonSageMakerFullAccess](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/AmazonSageMakerFullAccess)
+ [AmazonS3 FullAccess](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/AmazonS3FullAccess)
*Untuk informasi selengkapnya tentang melampirkan kebijakan IAM ke peran, lihat [Menambahkan dan menghapus izin identitas IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_manage-attach-detach.html) di Panduan Pengguna IAM.AWS *
1. Konfigurasikan dependensi Anda secara lokal, seperti yang ditunjukkan pada contoh berikut.
1. Instal versi 2 dari AWS CLI:
```
# Install the latest AWS CLI v2 if it is not installed
!curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip" !unzip awscliv2.zip
#Follow the instructions to install v2 on the terminal
!cat aws/README.md
```
1. Instal SageMaker AI dan klien Boto3:
```
# If already installed, update your client
#%pip install sagemaker pip --upgrade --quiet
!pip install -U sagemaker
!pip install -U boto
!pip install -U botocore
!pip install -U boto3
```
### Konfigurasikan pengaturan dan parameter model
TorchServe digunakan [https://pytorch.org/docs/stable/elastic/run.html](https://pytorch.org/docs/stable/elastic/run.html)untuk mengatur lingkungan terdistribusi untuk pemrosesan paralel model. TorchServe memiliki kemampuan untuk mendukung banyak pekerja untuk model besar. Secara default, TorchServe menggunakan algoritma round-robin untuk menetapkan GPUs ke pekerja pada host. Dalam kasus inferensi model besar, jumlah yang GPUs ditugaskan untuk setiap pekerja dihitung secara otomatis berdasarkan jumlah yang GPUs ditentukan dalam `model_config.yaml` file. Variabel lingkungan`CUDA_VISIBLE_DEVICES`, yang menentukan perangkat GPU IDs yang terlihat pada waktu tertentu, diatur berdasarkan nomor ini.
Misalnya, misalkan ada 8 GPUs pada node dan satu pekerja membutuhkan 4 GPUs pada node (`nproc_per_node=4`). Dalam hal ini, TorchServe berikan empat GPUs untuk pekerja pertama (`CUDA_VISIBLE_DEVICES="0,1,2,3"`) dan empat GPUs untuk pekerja kedua (`CUDA_VISIBLE_DEVICES="4,5,6,7”`).
Selain perilaku default ini, TorchServe memberikan fleksibilitas bagi pengguna GPUs untuk menentukan pekerja. Misalnya, jika Anda mengatur variabel `deviceIds: [2,3,4,5]` dalam [file YAMAL konfigurasi model](https://github.com/pytorch/serve/blob/5ee02e4f050c9b349025d87405b246e970ee710b/model-archiver/README.md?plain=1#L164), dan mengatur`nproc_per_node=2`, kemudian TorchServe menetapkan `CUDA_VISIBLE_DEVICES=”2,3”` ke pekerja pertama dan pekerja `CUDA_VISIBLE_DEVICES="4,5”` kedua.
[Dalam `model_config.yaml` contoh berikut, kami mengonfigurasi parameter front-end dan back-end untuk model OPT-30b.](https://huggingface.co/facebook/opt-30b) Parameter front-end yang dikonfigurasi adalah`parallelType`,`deviceType`, `deviceIds ` dan. `torchrun` [Untuk informasi lebih rinci tentang parameter front-end yang dapat Anda konfigurasi, lihat dokumentasi. PyTorch GitHub ](https://github.com/pytorch/serve/blob/2bf505bae3046b0f7d0900727ec36e611bb5dca3/docs/configuration.md?plain=1#L267) Konfigurasi back-end didasarkan pada peta YAMM yang memungkinkan kustomisasi gaya bebas. Untuk parameter back-end, kita mendefinisikan DeepSpeed konfigurasi dan parameter tambahan yang digunakan oleh kode handler kustom.
```
# TorchServe front-end parameters
minWorkers: 1
maxWorkers: 1
maxBatchDelay: 100
responseTimeout: 1200
parallelType: "tp"
deviceType: "gpu"
# example of user specified GPU deviceIds
deviceIds: [0,1,2,3] # sets CUDA_VISIBLE_DEVICES
torchrun:
nproc-per-node: 4
# TorchServe back-end parameters
deepspeed:
config: ds-config.json
checkpoint: checkpoints.json
handler: # parameters for custom handler code
model_name: "facebook/opt-30b"
model_path: "model/models--facebook--opt-30b/snapshots/ceea0a90ac0f6fae7c2c34bcb40477438c152546"
max_length: 50
max_new_tokens: 10
manual_seed: 40
```
### Sesuaikan penangan
TorchServe menawarkan [penangan dasar](https://github.com/pytorch/serve/tree/master/ts/torch_handler/distributed) dan [utilitas penangan](https://github.com/pytorch/serve/tree/master/ts/handler_utils) untuk inferensi model besar yang dibangun dengan perpustakaan populer. [Contoh berikut menunjukkan bagaimana kelas handler kustom [TransformersSeqClassifierHandler](https://github.com/pytorch/serve/blob/ab69b69a59d6ca6074df7e6d4014f07eb48dedba/examples/large_models/deepspeed/custom_handler.py#L16C7-L16C39)meluas [BaseDeepSpeedHandler](https://github.com/pytorch/serve/blob/ab69b69a59d6ca6074df7e6d4014f07eb48dedba/ts/torch_handler/distributed/base_deepspeed_handler.py#L8)dan menggunakan utilitas handler.](https://github.com/pytorch/serve/blob/master/ts/handler_utils/distributed/deepspeed.py) Untuk contoh kode lengkap, lihat [`custom_handler.py`kode pada PyTorch GitHub dokumentasi](https://github.com/pytorch/serve/blob/master/examples/large_models/deepspeed/custom_handler.py).
```
class TransformersSeqClassifierHandler(BaseDeepSpeedHandler, ABC):
"""
Transformers handler class for sequence, token classification and question answering.
"""
def __init__(self):
super(TransformersSeqClassifierHandler, self).__init__()
self.max_length = None
self.max_new_tokens = None
self.tokenizer = None
self.initialized = False
def initialize(self, ctx: Context):
"""In this initialize function, the HF large model is loaded and
partitioned using DeepSpeed.
Args:
ctx (context): It is a JSON Object containing information
pertaining to the model artifacts parameters.
"""
super().initialize(ctx)
model_dir = ctx.system_properties.get("model_dir")
self.max_length = int(ctx.model_yaml_config["handler"]["max_length"])
self.max_new_tokens = int(ctx.model_yaml_config["handler"]["max_new_tokens"])
model_name = ctx.model_yaml_config["handler"]["model_name"]
model_path = ctx.model_yaml_config["handler"]["model_path"]
seed = int(ctx.model_yaml_config["handler"]["manual_seed"])
torch.manual_seed(seed)
logger.info("Model %s loading tokenizer", ctx.model_name)
self.tokenizer = AutoTokenizer.from_pretrained(model_name)
self.tokenizer.pad_token = self.tokenizer.eos_token
config = AutoConfig.from_pretrained(model_name)
with torch.device("meta"):
self.model = AutoModelForCausalLM.from_config(
config, torch_dtype=torch.float16
)
self.model = self.model.eval()
ds_engine = get_ds_engine(self.model, ctx)
self.model = ds_engine.module
logger.info("Model %s loaded successfully", ctx.model_name)
self.initialized = True
def preprocess(self, requests):
"""
Basic text preprocessing, based on the user's choice of application mode.
Args:
requests (list): A list of dictionaries with a "data" or "body" field, each
containing the input text to be processed.
Returns:
tuple: A tuple with two tensors: the batch of input ids and the batch of
attention masks.
"""
def inference(self, input_batch):
"""
Predicts the class (or classes) of the received text using the serialized transformers
checkpoint.
Args:
input_batch (tuple): A tuple with two tensors: the batch of input ids and the batch
of attention masks, as returned by the preprocess function.
Returns:
list: A list of strings with the predicted values for each input text in the batch.
"""
def postprocess(self, inference_output):
"""Post Process Function converts the predicted response into Torchserve readable format.
Args:
inference_output (list): It contains the predicted response of the input text.
Returns:
(list): Returns a list of the Predictions and Explanations.
"""
```
## Siapkan artefak model Anda
Sebelum menerapkan model Anda pada SageMaker AI, Anda harus mengemas artefak model Anda. Untuk model besar, kami menyarankan Anda menggunakan PyTorch [torch-model-archiver](https://github.com/pytorch/serve/blob/master/model-archiver/README.md)alat dengan argumen`--archive-format no-archive`, yang melewatkan artefak model kompresi. Contoh berikut menyimpan semua artefak model ke folder baru bernama`opt/`.
```
torch-model-archiver --model-name opt --version 1.0 --handler custom_handler.py --extra-files ds-config.json -r requirements.txt --config-file opt/model-config.yaml --archive-format no-archive
```
[Setelah `opt/` folder dibuat, unduh model OPT-30b ke folder menggunakan alat Download\$1model. PyTorch ](https://github.com/pytorch/serve/blob/master/examples/large_models/utils/Download_model.py)
```
cd opt
python path_to/Download_model.py --model_path model --model_name facebook/opt-30b --revision main
```
Terakhir, unggah artefak model ke ember Amazon S3.
```
aws s3 cp opt {your_s3_bucket}/opt --recursive
```
Anda sekarang harus memiliki artefak model yang disimpan di Amazon S3 yang siap digunakan ke titik akhir AI. SageMaker
## Terapkan model menggunakan SageMaker Python SDK
Setelah menyiapkan artefak model Anda, Anda dapat menerapkan model Anda ke titik akhir SageMaker AI Hosting. Bagian ini menjelaskan cara menerapkan satu model besar ke titik akhir dan membuat prediksi respons streaming. Untuk informasi selengkapnya tentang respons streaming dari titik akhir, lihat [Memanggil titik akhir waktu nyata](https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints-test-endpoints.html).
Untuk menerapkan model Anda, selesaikan langkah-langkah berikut:
1. Buat sesi SageMaker AI, seperti yang ditunjukkan pada contoh berikut.
```
import boto3
import sagemaker
from sagemaker import Model, image_uris, serializers, deserializers
boto3_session=boto3.session.Session(region_name="us-west-2")
smr = boto3.client('sagemaker-runtime-demo')
sm = boto3.client('sagemaker')
role = sagemaker.get_execution_role() # execution role for the endpoint
sess= sagemaker.session.Session(boto3_session, sagemaker_client=sm, sagemaker_runtime_client=smr) # SageMaker AI session for interacting with different AWS APIs
region = sess._region_name # region name of the current SageMaker Studio Classic environment
account = sess.account_id() # account_id of the current SageMaker Studio Classic environment
# Configuration:
bucket_name = sess.default_bucket()
prefix = "torchserve"
output_path = f"s3://{bucket_name}/{prefix}"
print(f'account={account}, region={region}, role={role}, output_path={output_path}')
```
1. Buat model yang tidak terkompresi di SageMaker AI, seperti yang ditunjukkan pada contoh berikut.
```
from datetime import datetime
instance_type = "ml.g5.24xlarge"
endpoint_name = sagemaker.utils.name_from_base("ts-opt-30b")
s3_uri = {your_s3_bucket}/opt
model = Model(
name="torchserve-opt-30b" + datetime.now().strftime("%Y-%m-%d-%H-%M-%S"),
# Enable SageMaker uncompressed model artifacts
model_data={
"S3DataSource": {
"S3Uri": s3_uri,
"S3DataType": "S3Prefix",
"CompressionType": "None",
}
},
image_uri=container,
role=role,
sagemaker_session=sess,
env={"TS_INSTALL_PY_DEP_PER_MODEL": "true"},
)
print(model)
```
1. Menerapkan model ke instans Amazon EC2, seperti yang ditunjukkan pada contoh berikut.
```
model.deploy(
initial_instance_count=1,
instance_type=instance_type,
endpoint_name=endpoint_name,
volume_size=512, # increase the size to store large model
model_data_download_timeout=3600, # increase the timeout to download large model
container_startup_health_check_timeout=600, # increase the timeout to load large model
)
```
1. Inisialisasi kelas untuk memproses respons streaming, seperti yang ditunjukkan pada contoh berikut.
```
import io
class Parser:
"""
A helper class for parsing the byte stream input.
The output of the model will be in the following format:
```
b'{"outputs": [" a"]}\n'
b'{"outputs": [" challenging"]}\n'
b'{"outputs": [" problem"]}\n'
...
```
While usually each PayloadPart event from the event stream will contain a byte array
with a full json, this is not guaranteed and some of the json objects may be split across
PayloadPart events. For example:
```
{'PayloadPart': {'Bytes': b'{"outputs": '}}
{'PayloadPart': {'Bytes': b'[" problem"]}\n'}}
```
This class accounts for this by concatenating bytes written via the 'write' function
and then exposing a method which will return lines (ending with a '\n' character) within
the buffer via the 'scan_lines' function. It maintains the position of the last read
position to ensure that previous bytes are not exposed again.
"""
def __init__(self):
self.buff = io.BytesIO()
self.read_pos = 0
def write(self, content):
self.buff.seek(0, io.SEEK_END)
self.buff.write(content)
data = self.buff.getvalue()
def scan_lines(self):
self.buff.seek(self.read_pos)
for line in self.buff.readlines():
if line[-1] != b'\n':
self.read_pos += len(line)
yield line[:-1]
def reset(self):
self.read_pos = 0
```
1. Uji prediksi respons streaming, seperti yang ditunjukkan pada contoh berikut.
```
import json
body = "Today the weather is really nice and I am planning on".encode('utf-8')
resp = smr.invoke_endpoint_with_response_stream(EndpointName=endpoint_name, Body=body, ContentType="application/json")
event_stream = resp['Body']
parser = Parser()
for event in event_stream:
parser.write(event['PayloadPart']['Bytes'])
for line in parser.scan_lines():
print(line.decode("utf-8"), end=' ')
```
Anda sekarang telah menerapkan model Anda ke titik akhir SageMaker AI dan harus dapat memanggilnya untuk tanggapan. Untuk informasi selengkapnya tentang titik akhir real-time SageMaker AI, lihat[Titik akhir model tunggal](realtime-single-model.md).
# Pagar pembatas penyebaran untuk memperbarui model dalam produksi
Pagar pembatas penerapan adalah serangkaian opsi penerapan model di Inferensi SageMaker AI Amazon untuk memperbarui model pembelajaran mesin Anda dalam produksi. Dengan menggunakan opsi penerapan yang dikelola sepenuhnya, Anda dapat mengontrol sakelar dari model saat ini dalam produksi ke yang baru. Mode perpindahan lalu lintas dalam penerapan biru/hijau, seperti kenari dan linier, memberi Anda kontrol terperinci atas proses perpindahan lalu lintas dari model Anda saat ini ke yang baru selama pembaruan. Ada juga perlindungan bawaan seperti auto-rollback yang membantu Anda menangkap masalah lebih awal dan secara otomatis mengambil tindakan korektif sebelum berdampak signifikan pada produksi.
Pagar pembatas penyebaran memberikan manfaat berikut:
+ **Keamanan penerapan saat memperbarui lingkungan produksi.** Pembaruan regresif ke lingkungan produksi dapat menyebabkan downtime dan dampak bisnis yang tidak direncanakan, seperti peningkatan latensi model dan tingkat kesalahan yang tinggi. Pagar pembatas penerapan membantu Anda mengurangi risiko tersebut dengan menyediakan praktik terbaik dan pagar keselamatan operasional bawaan.
+ **Penyebaran yang dikelola sepenuhnya.** SageMaker AI menangani pengaturan dan mengatur penerapan ini dan mengintegrasikannya dengan mekanisme pembaruan titik akhir. Anda tidak perlu membangun dan memelihara mekanisme orkestrasi, pemantauan, atau rollback. Anda dapat memanfaatkan SageMaker AI untuk mengatur dan mengatur penerapan ini dan fokus pada pemanfaatan ML untuk aplikasi Anda.
+ **Visibilitas.** Anda dapat melacak kemajuan penerapan Anda melalui [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html)API atau melalui Amazon CloudWatch Events (untuk [titik akhir yang didukung](deployment-guardrails-exclusions.md)). Untuk mempelajari lebih lanjut tentang peristiwa di SageMaker AI, lihat bagian Perubahan status penerapan titik akhir di. [Peristiwa yang dikirimkan Amazon SageMaker AI ke Amazon EventBridge](automating-sagemaker-with-eventbridge.md) Perhatikan bahwa jika titik akhir Anda menggunakan salah satu fitur di [Pengecualian](deployment-guardrails-exclusions.md) halaman, Anda tidak dapat menggunakan CloudWatch Acara.
**catatan**
Pagar pembatas penerapan hanya berlaku untuk [Inferensi asinkron](async-inference.md) dan [Inferensi waktu nyata](realtime-endpoints.md) tipe titik akhir.
## Cara memulai
Kami mendukung dua jenis penerapan untuk memperbarui model dalam produksi: penerapan biru/hijau dan penerapan bergulir.
+ [Deployment Blue/Green](deployment-guardrails-blue-green.md): Anda dapat mengalihkan lalu lintas dari armada lama Anda (armada biru) ke armada baru (armada hijau) dengan pembaruan. Penerapan biru/hijau menawarkan [beberapa](https://docs.aws.amazon.com/sagemaker/latest/dg/deployment-guardrails-blue-green.html) mode perpindahan lalu lintas. Mode perpindahan lalu lintas adalah konfigurasi yang menentukan bagaimana SageMaker AI merutekan lalu lintas titik akhir ke armada baru yang berisi pembaruan Anda. Mode perpindahan lalu lintas berikut memberi Anda berbagai tingkat kontrol atas proses pembaruan titik akhir:
+ [Gunakan sekaligus pergeseran lalu lintas](deployment-guardrails-blue-green-all-at-once.md)menggeser semua lalu lintas titik akhir Anda dari armada biru ke armada hijau. Setelah lalu lintas bergeser ke armada hijau, CloudWatch alarm Amazon Anda yang telah ditentukan sebelumnya mulai memantau armada hijau untuk jangka waktu tertentu (periode *pemanggangan*). Jika tidak ada alarm yang tersandung selama periode pemanggangan, maka SageMaker AI menghentikan armada biru.
+ [Gunakan perpindahan lalu lintas kenari](deployment-guardrails-blue-green-canary.md)menggeser satu bagian kecil dari lalu lintas Anda (*kenari*) ke armada hijau dan memantaunya untuk periode pemanggangan. Jika kenari berhasil di armada hijau, maka SageMaker AI menggeser sisa lalu lintas dari armada biru ke armada hijau sebelum mengakhiri armada biru.
+ [Gunakan perpindahan lalu lintas linier](deployment-guardrails-blue-green-linear.md)menyediakan lebih banyak penyesuaian atas jumlah langkah pergeseran lalu lintas dan persentase lalu lintas yang harus digeser untuk setiap langkah. Sementara pergeseran kenari memungkinkan Anda menggeser lalu lintas dalam dua langkah, pergeseran linier memperluas ini ke *n* langkah spasi linier.
+ [Gunakan penerapan bergulir](deployment-guardrails-rolling.md): Anda dapat memperbarui titik akhir Anda karena SageMaker AI secara bertahap menyediakan kapasitas dan mengalihkan lalu lintas ke armada baru dalam langkah-langkah ukuran batch yang Anda tentukan. Instans pada armada baru diperbarui dengan konfigurasi penyebaran baru, dan jika tidak ada CloudWatch alarm yang tersandung selama periode pemanggangan, maka SageMaker AI membersihkan instance pada armada lama. Opsi ini memberi Anda kontrol terperinci atas jumlah instans atau persentase kapasitas yang digeser selama setiap langkah.
Anda dapat membuat dan mengelola penyebaran Anda melalui [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html) SageMaker API [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)dan AWS Command Line Interface perintah. Lihat halaman penerapan individual untuk detail selengkapnya tentang cara mengatur penerapan Anda. Perhatikan bahwa jika titik akhir Anda menggunakan salah satu fitur yang tercantum di [Pengecualian](deployment-guardrails-exclusions.md) halaman, Anda tidak dapat menggunakan pagar pembatas penerapan.
Untuk mengikuti contoh terpandu yang menunjukkan cara menggunakan pagar pembatas penerapan, lihat contoh [notebook Jupyter kami untuk mode perpindahan lalu lintas kenari](https://github.com/aws/amazon-sagemaker-examples/tree/master/sagemaker-inference-deployment-guardrails) dan linier.
# Konfigurasi dan Pemantauan Auto-Rollback
CloudWatch Alarm Amazon adalah prasyarat untuk menggunakan periode pemanggangan di pagar pembatas penyebaran. Anda hanya dapat menggunakan fungsionalitas auto-rollback di pagar pembatas penerapan jika Anda mengatur CloudWatch alarm yang dapat memantau titik akhir. Jika ada alarm Anda yang tersandar selama periode pemantauan yang ditentukan, SageMaker AI memulai pengembalian lengkap ke titik akhir lama untuk melindungi aplikasi Anda. Jika Anda tidak memiliki CloudWatch alarm yang diatur untuk memantau titik akhir Anda, fungsionalitas auto-rollback tidak berfungsi selama penerapan Anda.
Untuk mempelajari lebih lanjut tentang Amazon CloudWatch, lihat [Apa itu Amazon CloudWatch?](https://docs.aws.amazon.com/IAM/latest/UserGuide/access.html) di *Panduan CloudWatch Pengguna Amazon*.
**catatan**
Pastikan bahwa peran eksekusi IAM Anda memiliki izin untuk melakukan `cloudwatch:DescribeAlarms` tindakan pada alarm auto-rollback yang Anda tentukan.
## Contoh Alarm
Untuk membantu Anda memulai, kami memberikan contoh berikut untuk menunjukkan kemampuan CloudWatch alarm. Selain menggunakan atau memodifikasi contoh berikut, Anda dapat membuat alarm sendiri dan mengonfigurasi alarm untuk memantau berbagai metrik pada armada yang ditentukan untuk jangka waktu tertentu. Untuk melihat lebih banyak metrik dan dimensi SageMaker AI yang dapat Anda tambahkan ke alarm, lihat. [Metrik Amazon SageMaker AI di Amazon CloudWatch](monitoring-cloudwatch.md)
**Topics**
+ [Pantau kesalahan pemanggilan pada armada lama dan baru](#deployment-guardrails-configuration-alarm-examples-errors-both)
+ [Pantau latensi model pada armada baru](#deployment-guardrails-configuration-alarm-examples-latency-new)
### Pantau kesalahan pemanggilan pada armada lama dan baru
CloudWatch Alarm berikut memonitor tingkat kesalahan rata-rata titik akhir. Anda dapat menggunakan alarm ini dengan jenis pemindahan lalu lintas pagar pembatas penyebaran apa pun untuk memberikan pemantauan keseluruhan pada armada lama dan baru. Jika alarm tersandung, maka SageMaker AI memulai rollback ke armada lama.
Kesalahan pemanggilan yang berasal dari armada lama dan armada baru berkontribusi pada tingkat kesalahan rata-rata. Jika tingkat kesalahan rata-rata melebihi ambang batas yang ditentukan, maka alarm akan tersandung. Contoh khusus ini memantau kesalahan 4xx (kesalahan klien) pada armada lama dan baru selama durasi penerapan. Anda juga dapat memantau kesalahan 5xx (kesalahan server) dengan menggunakan metrik`Invocation5XXErrors`.
**catatan**
Untuk jenis alarm ini, jika armada lama Anda tersandung alarm selama penyebaran, SageMaker AI menghentikan penyebaran Anda. Oleh karena itu, jika armada produksi Anda saat ini sudah menyebabkan kesalahan, pertimbangkan untuk menggunakan atau memodifikasi salah satu contoh berikut yang hanya memantau armada baru untuk kesalahan.
```
#Applied deployment type: all types
{
"AlarmName": "EndToEndDeploymentHighErrorRateAlarm",
"AlarmDescription": "Monitors the error rate of 4xx errors",
"MetricName": "Invocation4XXErrors",
"Namespace": "AWS/SageMaker",
"Statistic": "Average",
"Dimensions": [
{
"Name": "EndpointName",
"Value":
},
{
"Name": "VariantName",
"Value": "AllTraffic"
}
],
"Period": 600,
"EvaluationPeriods": 2,
"Threshold": 1,
"ComparisonOperator": "GreaterThanThreshold",
"TreatMissingData": "notBreaching"
}
```
Pada contoh sebelumnya, perhatikan nilai untuk bidang berikut:
+ Untuk `AlarmName` dan`AlarmDescription`, masukkan nama dan deskripsi yang Anda pilih untuk alarm.
+ Untuk`MetricName`, gunakan nilai `Invocation4XXErrors` untuk memantau kesalahan 4xx pada titik akhir
+ Untuk`Namespace`, gunakan nilainya`AWS/SageMaker`. Anda juga dapat menentukan metrik kustom Anda sendiri, jika berlaku.
+ Untuk`Statistic`, gunakan`Average`. Ini berarti bahwa alarm mengambil tingkat kesalahan rata-rata selama periode evaluasi saat menghitung apakah tingkat kesalahan telah melebihi ambang batas.
+ Untuk dimensi`EndpointName`, gunakan nama titik akhir yang Anda perbarui sebagai nilainya.
+ Untuk dimensi`VariantName`, gunakan nilai `AllTraffic` untuk menentukan semua lalu lintas titik akhir.
+ Untuk`Period`, gunakan`600`. Ini mengatur periode evaluasi alarm menjadi 10 menit.
+ Untuk`EvaluationPeriods`, gunakan`2`. Nilai ini memberi tahu alarm untuk mempertimbangkan dua periode evaluasi terbaru saat menentukan status alarm.
### Pantau latensi model pada armada baru
Contoh CloudWatch alarm berikut memantau latensi model armada baru selama penerapan Anda. Anda dapat menggunakan alarm ini untuk memantau hanya armada baru dan mengecualikan armada lama. Alarm berlangsung untuk seluruh penyebaran. Contoh ini memberi Anda end-to-end pemantauan armada baru yang komprehensif dan memulai rollback ke armada lama jika armada baru memiliki masalah waktu respons.
CloudWatch menerbitkan metrik dengan dimensi `EndpointConfigName:{New-Ep-Config}` setelah armada baru mulai menerima lalu lintas, dan metrik ini bertahan bahkan setelah penerapan selesai.
Anda dapat menggunakan contoh alarm berikut dengan jenis penerapan apa pun.
```
#Applied deployment type: all types
{
"AlarmName": "NewEndpointConfigVersionHighModelLatencyAlarm",
"AlarmDescription": "Monitors the model latency on new fleet",
"MetricName": "ModelLatency",
"Namespace": "AWS/SageMaker",
"Statistic": "Average",
"Dimensions": [
{
"Name": "EndpointName",
"Value":
},
{
"Name": "VariantName",
"Value": "AllTraffic"
},
{
"Name": "EndpointConfigName",
"Value":
],
"Period": 300,
"EvaluationPeriods": 2,
"Threshold": 100000, # 100ms
"ComparisonOperator": "GreaterThanThreshold",
"TreatMissingData": "notBreaching"
}
```
Pada contoh sebelumnya, perhatikan nilai untuk bidang berikut:
+ Untuk`MetricName`, gunakan nilai `ModelLatency` untuk memantau waktu respons model.
+ Untuk`Namespace`, gunakan nilainya`AWS/SageMaker`. Anda juga dapat menentukan metrik kustom Anda sendiri, jika berlaku.
+ Untuk dimensi`EndpointName`, gunakan nama titik akhir yang Anda perbarui sebagai nilainya.
+ Untuk dimensi`VariantName`, gunakan nilai `AllTraffic` untuk menentukan semua lalu lintas titik akhir.
+ Untuk dimensi`EndpointConfigName`, nilai harus merujuk ke nama konfigurasi titik akhir untuk titik akhir baru atau yang diperbarui.
**catatan**
Jika Anda ingin memantau armada lama Anda alih-alih armada baru, Anda dapat mengubah dimensi `EndpointConfigName` untuk menentukan nama konfigurasi armada lama Anda.
# Deployment Blue/Green
Saat memperbarui titik akhir, Amazon SageMaker AI secara otomatis menggunakan blue/green deployment to maximize the availability of your endpoints. In a blue/green deployment, SageMaker AI provisions a new fleet with the updates (the green fleet). Then, SageMaker AI shifts traffic from the old fleet (the blue fleet) to the green fleet. Once the green fleet operates smoothly for a set evaluation period (called the baking period), SageMaker AI terminates the blue fleet. With the additional capabilities in blue/green penerapan, Anda dapat memanfaatkan mode perpindahan lalu lintas dan pemantauan rollback otomatis untuk melindungi titik akhir Anda dari dampak produksi yang signifikan.
Daftar berikut menjelaskan fitur utama penerapan biru/hijau di AI: SageMaker
+ **Mode perpindahan lalu lintas.** Mode perpindahan lalu lintas untuk pagar pembatas penyebaran memungkinkan Anda mengontrol volume lalu lintas dan jumlah langkah perpindahan lalu lintas antara armada biru dan armada hijau. Kemampuan ini memberi Anda kemampuan untuk mengevaluasi kinerja armada hijau secara progresif tanpa sepenuhnya berkomitmen untuk pergeseran lalu lintas 100%.
+ **Periode memanggang.** Periode pemanggangan adalah jumlah waktu yang ditetapkan untuk memantau armada hijau sebelum melanjutkan ke tahap penyebaran berikutnya. Jika salah satu alarm yang telah ditentukan sebelumnya tersandung selama periode pemanggangan apa pun, maka semua lalu lintas titik akhir kembali ke armada biru. Periode memanggang membantu Anda membangun kepercayaan pada pembaruan Anda sebelum membuat pergeseran lalu lintas permanen.
+ **Rollback otomatis.** Anda dapat menentukan CloudWatch alarm Amazon yang digunakan SageMaker AI untuk memantau armada hijau. Jika masalah dengan kode yang diperbarui tersandung salah satu alarm, SageMaker AI memulai pengembalian otomatis ke armada biru untuk menjaga ketersediaan sehingga meminimalkan risiko.
## Mode Pergeseran Lalu Lintas
Berbagai mode perpindahan lalu lintas dalam blue/green deployments give you more granular control over traffic shifting between the blue fleet and the green fleet. The available traffic shifting modes for blue/green penyebaran semuanya sekaligus, kenari, dan linier. Tabel berikut menunjukkan perbandingan opsi.
**penting**
Untuk blue/green deployments that involve multiple stage traffic shifting or baking periods, you are billed for both the fleets for the duration of the update, irrespective of the traffic to the fleet. This is in contrast to blue/green penyebaran dengan perpindahan lalu lintas sekaligus dan tidak ada periode pemanggangan, di mana Anda hanya ditagih untuk satu armada selama pembaruan.
| Nama | Apa itu? | Pro | Kontra | Rekomendasi |
| --- | --- | --- | --- | --- |
| Semua sekaligus | Menggeser semua lalu lintas ke armada baru dalam satu langkah. | Meminimalkan durasi pembaruan secara keseluruhan. | Pembaruan regresif memengaruhi 100% lalu lintas. | Gunakan opsi ini untuk meminimalkan waktu dan biaya pembaruan. |
| Kenari | Lalu lintas bergeser dalam dua langkah. Langkah pertama (kenari) menggeser sebagian kecil lalu lintas diikuti oleh langkah kedua, yang menggeser sisa lalu lintas. | Membatasi radius ledakan pembaruan regresif hanya untuk armada kenari. | Kedua armada beroperasi secara paralel untuk seluruh penyebaran. | Gunakan opsi ini untuk menyeimbangkan antara meminimalkan radius ledakan pembaruan regresif dan meminimalkan waktu dua armada beroperasi. |
| Linear | Sebagian tetap dari lalu lintas bergeser dalam jumlah yang telah ditentukan sebelumnya dari langkah dengan jarak yang sama. | Meminimalkan risiko pembaruan regresif dengan mengalihkan lalu lintas melalui beberapa langkah. | Durasi dan biaya pembaruan sebanding dengan jumlah langkah. | Gunakan opsi ini untuk meminimalkan risiko dengan menyebarkan penyebaran di beberapa langkah. |
## Mulai
Setelah Anda menentukan konfigurasi penerapan yang diinginkan, SageMaker AI menangani penyediaan instance baru, menghentikan instans lama, dan mengalihkan lalu lintas untuk Anda. Anda dapat membuat dan mengelola penyebaran Anda melalui [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html) SageMaker API [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)dan AWS Command Line Interface perintah yang ada. Perhatikan bahwa jika titik akhir Anda menggunakan salah satu fitur yang tercantum di [Pengecualian](deployment-guardrails-exclusions.md) halaman, Anda tidak dapat menggunakan pagar pembatas penerapan. Lihat halaman penerapan individual untuk detail selengkapnya tentang cara mengatur penerapan Anda:
+ [Pembaruan Biru/Hijau dengan Pergeseran Lalu Lintas Sekaligus](deployment-guardrails-blue-green-all-at-once.md)
+ [Pembaruan Biru/Hijau dengan Pergeseran Lalu Lintas Canary](deployment-guardrails-blue-green-canary.md)
+ [Pembaruan Biru/Hijau dengan Pergeseran Lalu Lintas Linear](deployment-guardrails-blue-green-linear.md)
Untuk mengikuti contoh terpandu yang menunjukkan cara menggunakan pagar pembatas penerapan, lihat contoh [notebook Jupyter kami untuk mode perpindahan lalu lintas kenari](https://github.com/aws/amazon-sagemaker-examples/tree/master/sagemaker-inference-deployment-guardrails) dan linier.
# Gunakan sekaligus pergeseran lalu lintas
Dengan pergeseran lalu lintas sekaligus, Anda dapat dengan cepat meluncurkan pembaruan titik akhir menggunakan pagar pengaman penerapan. blue/green deployment. You can use this traffic shifting option to minimize the update duration while still taking advantage of the availability guarantees of blue/green Fitur baking period membantu Anda memantau kinerja dan fungsionalitas instans baru Anda sebelum menghentikan instans lama Anda, memastikan bahwa armada baru Anda beroperasi penuh.
Diagram berikut menunjukkan bagaimana sekaligus pergeseran lalu lintas mengelola armada lama dan baru.
![\[Pergeseran lalu lintas 100% yang sukses dari armada lama ke armada baru.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/deployment-guardrails-blue-green-all-at-once.png)
Saat Anda menggunakan perpindahan lalu lintas sekaligus, SageMaker AI merutekan 100% lalu lintas ke armada baru (armada hijau). Setelah armada hijau mulai menerima lalu lintas, periode pemanggangan dimulai. Periode memanggang adalah jumlah waktu yang ditentukan di mana CloudWatch alarm Amazon yang telah ditentukan sebelumnya memantau kinerja armada hijau. Jika tidak ada alarm yang tersandung selama periode pemanggangan, SageMaker AI menghentikan armada lama (armada biru). Jika ada alarm yang tersandung selama periode pemanggangan, maka rollback otomatis dimulai dan 100% lalu lintas bergeser kembali ke armada biru.
## Prasyarat
Sebelum menyiapkan penerapan dengan perpindahan lalu lintas sekaligus, Anda harus membuat CloudWatch alarm Amazon untuk menonton metrik dari titik akhir Anda. Jika ada alarm yang tersandung selama periode memanggang, lalu lintas kembali ke armada biru Anda. Untuk mempelajari cara mengatur CloudWatch alarm pada titik akhir, lihat halaman prasyarat. [Konfigurasi dan Pemantauan Auto-Rollback](deployment-guardrails-configuration.md) Untuk mempelajari lebih lanjut tentang CloudWatch alarm, lihat [Menggunakan CloudWatch alarm Amazon](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html) di * CloudWatch Panduan Pengguna Amazon*.
## Konfigurasikan Pergeseran Lalu Lintas Sekaligus
Setelah Anda siap untuk penerapan dan telah menyiapkan CloudWatch alarm untuk titik akhir Anda, Anda dapat menggunakan SageMaker AI [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)API atau perintah [update-endpoint](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-endpoint.html) di untuk memulai penerapan. AWS Command Line Interface
**Topics**
+ [Cara memperbarui titik akhir (API)](#deployment-guardrails-blue-green-all-at-once-configure-api-update)
+ [Cara memperbarui titik akhir dengan kebijakan pembaruan biru/hijau (API) yang ada](#deployment-guardrails-blue-green-all-at-once-configure-api-existing)
+ [Cara memperbarui titik akhir (CLI)](#deployment-guardrails-blue-green-all-at-once-configure-cli-update)
### Cara memperbarui titik akhir (API)
Contoh berikut menunjukkan bagaimana Anda dapat memperbarui titik akhir Anda dengan pergeseran lalu lintas sekaligus menggunakan [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)di Amazon SageMaker API.
```
import boto3
client = boto3.client("sagemaker")
response = client.update_endpoint(
EndpointName="",
EndpointConfigName="",
DeploymentConfig={
"BlueGreenUpdatePolicy": {
"TrafficRoutingConfiguration": {
"Type": "ALL_AT_ONCE"
},
"TerminationWaitInSeconds": 600,
"MaximumExecutionTimeoutInSeconds": 1800
},
"AutoRollbackConfiguration": {
"Alarms": [
{
"AlarmName": ""
},
]
}
}
)
```
Untuk mengonfigurasi opsi pemindahan lalu lintas sekaligus, lakukan hal berikut:
+ Untuk`EndpointName`, gunakan nama titik akhir yang ada yang ingin Anda perbarui.
+ Untuk`EndpointConfigName`, gunakan nama konfigurasi titik akhir yang ingin Anda gunakan.
+ Di bawah `DeploymentConfig` dan `BlueGreenUpdatePolicy``TrafficRoutingConfiguration`, di, atur `Type` parameter ke`ALL_AT_ONCE`. Ini menentukan bahwa penyebaran menggunakan mode perpindahan lalu lintas sekaligus.
+ Untuk`TerminationWaitInSeconds`, gunakan`600`. Parameter ini memberi tahu SageMaker AI untuk menunggu jumlah waktu yang ditentukan (dalam detik) setelah armada hijau Anda sepenuhnya aktif sebelum menghentikan instance di armada biru. Dalam contoh ini, SageMaker AI menunggu selama 10 menit setelah periode pemanggangan terakhir sebelum menghentikan armada biru.
+ Untuk`MaximumExecutionTimeoutInSeconds`, gunakan`1800`. Parameter ini menetapkan jumlah waktu maksimum yang dapat dijalankan penerapan sebelum waktu habis. Pada contoh sebelumnya, penerapan Anda memiliki batas 30 menit untuk diselesaikan.
+ Di`AutoRollbackConfiguration`, di dalam `Alarms` bidang, Anda dapat menambahkan CloudWatch alarm berdasarkan nama. Buat satu `AlarmName: ` entri untuk setiap alarm yang ingin Anda gunakan.
### Cara memperbarui titik akhir dengan kebijakan pembaruan biru/hijau (API) yang ada
Saat Anda menggunakan [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API untuk membuat titik akhir, Anda dapat menentukan konfigurasi penerapan yang akan digunakan kembali untuk pembaruan titik akhir di masa mendatang. Anda dapat menggunakan `DeploymentConfig` opsi yang sama seperti contoh UpdateEndpoint API sebelumnya. Tidak ada perubahan pada perilaku CreateEndpoint API. Menentukan konfigurasi penerapan tidak secara otomatis melakukan pembaruan biru/hijau di titik akhir Anda.
Opsi untuk menggunakan konfigurasi penerapan sebelumnya terjadi saat menggunakan [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)API untuk memperbarui titik akhir Anda. Saat memperbarui titik akhir, Anda dapat menggunakan `RetainDeploymentConfig` opsi untuk menjaga konfigurasi penerapan yang Anda tentukan saat membuat titik akhir.
Saat memanggil [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)API, atur `RetainDeploymentConfig` `True` untuk menjaga `DeploymentConfig` opsi dari konfigurasi titik akhir asli Anda.
```
response = client.update_endpoint(
EndpointName="",
EndpointConfigName="",
RetainDeploymentConfig=True
)
```
### Cara memperbarui titik akhir (CLI)
[Jika Anda menggunakan AWS CLI, contoh berikut menunjukkan cara memulai penerapan biru/hijau sekaligus menggunakan perintah update-endpoint.](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-endpoint.html)
```
update-endpoint
--endpoint-name
--endpoint-config-name
--deployment-config '"BlueGreenUpdatePolicy": {"TrafficRoutingConfiguration": {"Type": "ALL_AT_ONCE"},
"TerminationWaitInSeconds": 600, "MaximumExecutionTimeoutInSeconds": 1800},
"AutoRollbackConfiguration": {"Alarms": [{"AlarmName": ""}]}'
```
Untuk mengonfigurasi opsi pemindahan lalu lintas sekaligus, lakukan hal berikut:
+ Untuk`endpoint-name`, gunakan nama titik akhir yang ingin Anda perbarui.
+ Untuk`endpoint-config-name`, gunakan nama konfigurasi titik akhir yang ingin Anda gunakan.
+ Untuk`deployment-config`, gunakan objek [BlueGreenUpdatePolicy](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_BlueGreenUpdatePolicy.html)JSON.
**catatan**
Jika Anda lebih suka menyimpan objek JSON Anda dalam sebuah file, lihat [Menghasilkan AWS CLI kerangka dan parameter input](https://docs.aws.amazon.com/cli/latest/userguide/cli-usage-skeleton.html) di *AWS CLI Panduan Pengguna*.
# Gunakan perpindahan lalu lintas kenari
Dengan pergeseran lalu lintas kenari, Anda dapat menguji sebagian lalu lintas titik akhir Anda pada armada baru sementara armada lama melayani sisa lalu lintas. Langkah pengujian ini adalah pagar pembatas keselamatan yang memvalidasi fungsionalitas armada baru sebelum memindahkan semua lalu lintas Anda ke armada baru. Anda masih memiliki manfaat dari penyebaran biru/hijau, dan fitur kenari yang ditambahkan memungkinkan Anda memastikan bahwa armada baru (hijau) Anda dapat melayani inferensi sebelum membiarkannya menangani 100% lalu lintas.
Bagian dari armada hijau Anda yang menyala untuk menerima lalu lintas disebut kenari, dan Anda dapat memilih ukuran kenari ini. Perhatikan bahwa ukuran kenari harus kurang dari atau sama dengan 50% dari kapasitas armada baru. Setelah periode pemanggangan selesai dan tidak ada perjalanan CloudWatch alarm Amazon yang ditentukan sebelumnya, sisa lalu lintas bergeser dari armada lama (biru) ke armada hijau. Perpindahan lalu lintas kenari memberi Anda lebih banyak keamanan selama penerapan karena masalah apa pun dengan model yang diperbarui hanya memengaruhi kenari.
Diagram berikut menunjukkan bagaimana pergeseran lalu lintas kenari mengelola distribusi lalu lintas antara armada biru dan hijau.
![\[Lalu lintas kenari dua langkah yang sukses bergeser dari armada lama ke armada baru.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/deployment-guardrails-blue-green-canary.png)
Setelah SageMaker AI menyediakan armada hijau, SageMaker AI merutekan sebagian dari lalu lintas yang masuk (misalnya, 25%) ke kenari. Kemudian periode memanggang dimulai, di mana CloudWatch alarm Anda memantau kinerja armada hijau. Selama waktu ini, armada biru dan armada hijau sebagian aktif dan menerima lalu lintas. Jika ada alarm yang tersandung selama periode pemanggangan, maka SageMaker AI memulai rollback dan semua lalu lintas kembali ke armada biru. Jika tidak ada alarm yang tersandung, maka semua lalu lintas bergeser ke armada hijau dan ada periode pemanggangan terakhir. Jika periode pemanggangan terakhir selesai tanpa tersandung alarm, maka armada hijau melayani semua lalu lintas dan SageMaker AI menghentikan armada biru.
## Prasyarat
Sebelum menyiapkan penerapan dengan pemindahan lalu lintas kenari, Anda harus membuat CloudWatch alarm Amazon untuk memantau metrik dari titik akhir Anda. Alarm aktif selama periode pemanggangan, dan jika ada alarm yang tersandung, maka semua lalu lintas titik akhir kembali ke armada biru. Untuk mempelajari cara mengatur CloudWatch alarm pada titik akhir, lihat halaman prasyarat. [Konfigurasi dan Pemantauan Auto-Rollback](deployment-guardrails-configuration.md) Untuk mempelajari lebih lanjut tentang CloudWatch alarm, lihat [Menggunakan CloudWatch alarm Amazon](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html) di * CloudWatch Panduan Pengguna Amazon*.
## Konfigurasikan Pergeseran Lalu Lintas Canary
Setelah Anda siap untuk penerapan dan telah menyiapkan CloudWatch alarm Amazon untuk titik akhir Anda, Anda dapat menggunakan Amazon SageMaker AI [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)API atau perintah [update-endpoint](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-endpoint.html) di untuk memulai penerapan. AWS CLI
**Topics**
+ [Cara memperbarui titik akhir (API)](#deployment-guardrails-blue-green-canary-configure-api-update)
+ [Cara memperbarui titik akhir dengan kebijakan pembaruan biru/hijau (API) yang ada](#deployment-guardrails-blue-green-canary-configure-api-existing)
+ [Cara memperbarui titik akhir (CLI)](#deployment-guardrails-blue-green-canary-configure-cli-update)
### Cara memperbarui titik akhir (API)
Contoh [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)API berikut menunjukkan bagaimana Anda dapat memperbarui titik akhir dengan pergeseran lalu lintas kenari.
```
import boto3
client = boto3.client("sagemaker")
response = client.update_endpoint(
EndpointName="",
EndpointConfigName="",
DeploymentConfig={
"BlueGreenUpdatePolicy": {
"TrafficRoutingConfiguration": {
"Type": "CANARY",
"CanarySize": {
"Type": "CAPACITY_PERCENT",
"Value": 30
},
"WaitIntervalInSeconds": 600
},
"TerminationWaitInSeconds": 600,
"MaximumExecutionTimeoutInSeconds": 1800
},
"AutoRollbackConfiguration": {
"Alarms": [
{
"AlarmName": ""
}
]
}
}
)
```
Untuk mengonfigurasi opsi pemindahan lalu lintas kenari, lakukan hal berikut:
+ Untuk`EndpointName`, gunakan nama titik akhir yang ada yang ingin Anda perbarui.
+ Untuk`EndpointConfigName`, gunakan nama konfigurasi titik akhir yang ingin Anda gunakan.
+ Di bawah `DeploymentConfig` dan `BlueGreenUpdatePolicy``TrafficRoutingConfiguration`, di, atur `Type` parameter ke`CANARY`. Ini menentukan bahwa penyebaran menggunakan perpindahan lalu lintas kenari.
+ Di `CanarySize` lapangan, Anda dapat mengubah ukuran kenari dengan memodifikasi `Type` dan `Value` parameter. Untuk`Type`, gunakan`CAPACITY_PERCENT`, artinya persentase armada hijau Anda yang ingin Anda gunakan sebagai kenari, dan kemudian atur `Value` ke`30`. Dalam contoh ini, Anda menggunakan 30% dari kapasitas armada hijau sebagai kenari. Perhatikan bahwa ukuran kenari harus sama dengan atau kurang dari 50% dari kapasitas armada hijau.
+ Untuk`WaitIntervalInSeconds`, gunakan`600`. Parameter memberitahu SageMaker AI untuk menunggu jumlah waktu yang ditentukan (dalam detik) antara setiap pergeseran interval. Interval ini adalah durasi periode memanggang kenari. Dalam contoh sebelumnya, SageMaker AI menunggu selama 10 menit setelah pergeseran kenari dan kemudian menyelesaikan pergeseran lalu lintas kedua dan terakhir.
+ Untuk`TerminationWaitInSeconds`, gunakan`600`. Parameter ini memberi tahu SageMaker AI untuk menunggu jumlah waktu yang ditentukan (dalam detik) setelah armada hijau Anda sepenuhnya aktif sebelum menghentikan instance di armada biru. Dalam contoh ini, SageMaker AI menunggu selama 10 menit setelah periode pemanggangan terakhir sebelum menghentikan armada biru.
+ Untuk`MaximumExecutionTimeoutInSeconds`, gunakan`1800`. Parameter ini menetapkan jumlah waktu maksimum yang dapat dijalankan penerapan sebelum waktu habis. Pada contoh sebelumnya, penerapan Anda memiliki batas 30 menit untuk diselesaikan.
+ Di`AutoRollbackConfiguration`, di dalam `Alarms` bidang, Anda dapat menambahkan CloudWatch alarm berdasarkan nama. Buat satu `AlarmName: ` entri untuk setiap alarm yang ingin Anda gunakan.
### Cara memperbarui titik akhir dengan kebijakan pembaruan biru/hijau (API) yang ada
Saat Anda menggunakan [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API untuk membuat titik akhir, Anda dapat secara opsional menentukan konfigurasi penerapan yang akan digunakan kembali untuk pembaruan titik akhir di masa mendatang. Anda dapat menggunakan `DeploymentConfig` opsi yang sama seperti contoh UpdateEndpoint API sebelumnya. Tidak ada perubahan pada perilaku CreateEndpoint API. Menentukan konfigurasi penerapan tidak secara otomatis melakukan pembaruan biru/hijau di titik akhir Anda.
Opsi untuk menggunakan konfigurasi penerapan sebelumnya terjadi saat menggunakan [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)API untuk memperbarui titik akhir Anda. Saat memperbarui titik akhir, Anda dapat menggunakan `RetainDeploymentConfig` opsi untuk menjaga konfigurasi penerapan yang Anda tentukan saat membuat titik akhir.
Saat memanggil [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)API, atur `RetainDeploymentConfig` `True` untuk menjaga `DeploymentConfig` opsi dari konfigurasi titik akhir asli Anda.
```
response = client.update_endpoint(
EndpointName="",
EndpointConfigName="",
RetainDeploymentConfig=True
)
```
### Cara memperbarui titik akhir (CLI)
[Jika Anda menggunakan AWS CLI, contoh berikut menunjukkan cara memulai penerapan kenari biru/hijau menggunakan perintah update-endpoint.](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-endpoint.html)
```
update-endpoint
--endpoint-name
--endpoint-config-name
--deployment-config '"BlueGreenUpdatePolicy": {"TrafficRoutingConfiguration": {"Type": "CANARY",
"CanarySize": {"Type": "CAPACITY_PERCENT", "Value": 30}, "WaitIntervalInSeconds": 600},
"TerminationWaitInSeconds": 600, "MaximumExecutionTimeoutInSeconds": 1800},
"AutoRollbackConfiguration": {"Alarms": [{"AlarmName": ""}]}'
```
Untuk mengonfigurasi opsi pemindahan lalu lintas kenari, lakukan hal berikut:
+ Untuk`endpoint-name`, gunakan nama titik akhir yang ingin Anda perbarui.
+ Untuk`endpoint-config-name`, gunakan nama konfigurasi titik akhir yang ingin Anda gunakan.
+ Untuk`deployment-config`, gunakan objek [BlueGreenUpdatePolicy](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_BlueGreenUpdatePolicy.html)JSON.
**catatan**
Jika Anda lebih suka menyimpan objek JSON Anda dalam sebuah file, lihat [Menghasilkan AWS CLI kerangka dan parameter input](https://docs.aws.amazon.com/cli/latest/userguide/cli-usage-skeleton.html) di *AWS CLI Panduan Pengguna*.
# Gunakan perpindahan lalu lintas linier
Pergeseran lalu lintas linier memungkinkan Anda untuk secara bertahap mengalihkan lalu lintas dari armada lama Anda (armada biru) ke armada baru Anda (armada hijau). Dengan pergeseran lalu lintas linier, Anda dapat menggeser lalu lintas dalam beberapa langkah, meminimalkan kemungkinan gangguan pada titik akhir Anda. Opsi penyebaran biru/hijau ini memberi Anda kontrol paling terperinci atas pergeseran lalu lintas.
Anda dapat memilih jumlah instance atau persentase kapasitas armada hijau untuk diaktifkan selama setiap langkah. Setiap langkah linier seharusnya hanya antara 10-50% dari kapasitas armada hijau. Untuk setiap langkah, ada periode pemanggangan di mana CloudWatch alarm Amazon Anda yang telah ditentukan sebelumnya memantau metrik pada armada hijau. Setelah periode pemanggangan selesai dan tidak ada alarm, bagian aktif armada hijau Anda terus menerima lalu lintas dan langkah baru dimulai. Jika alarm tersandung selama salah satu periode memanggang, 100% lalu lintas titik akhir berputar kembali ke armada biru.
Diagram berikut menunjukkan bagaimana lalu lintas linier menggeser rute lalu lintas ke armada biru dan hijau.
![\[Pergeseran lalu lintas linier tiga langkah yang sukses dari armada lama ke armada baru.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/deployment-guardrails-blue-green-linear.png)
Setelah SageMaker AI menyediakan armada baru, bagian pertama dari armada hijau menyala dan menerima lalu lintas. SageMaker AI menonaktifkan porsi ukuran yang sama dari armada biru, dan periode pemanggangan dimulai. Jika ada alarm yang tersandung, semua lalu lintas titik akhir bergulir kembali ke armada biru. Jika periode memanggang selesai, maka langkah selanjutnya dimulai. Bagian lain dari armada hijau mengaktifkan dan menerima lalu lintas, bagian dari armada biru dinonaktifkan, dan periode pemanggangan lainnya dimulai. Proses yang sama berulang sampai armada biru dinonaktifkan sepenuhnya dan armada hijau sepenuhnya aktif dan menerima semua lalu lintas. Jika alarm berbunyi kapan saja, SageMaker AI menghentikan proses pergeseran dan 100% lalu lintas kembali ke armada biru.
## Prasyarat
Sebelum menyiapkan penerapan dengan pergeseran lalu lintas linier, Anda harus membuat CloudWatch alarm untuk memantau metrik dari titik akhir Anda. Alarm aktif selama periode pemanggangan, dan jika ada alarm yang tersandung, maka semua lalu lintas titik akhir kembali ke armada biru. Untuk mempelajari cara mengatur CloudWatch alarm pada titik akhir, lihat halaman prasyarat. [Konfigurasi dan Pemantauan Auto-Rollback](deployment-guardrails-configuration.md) Untuk mempelajari lebih lanjut tentang CloudWatch alarm, lihat [Menggunakan CloudWatch alarm Amazon](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html) di * CloudWatch Panduan Pengguna Amazon*.
## Konfigurasikan Pergeseran Lalu Lintas Linear
Setelah Anda siap untuk penerapan dan telah menyiapkan CloudWatch alarm untuk titik akhir Anda, Anda dapat menggunakan Amazon SageMaker AI [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)API atau perintah [update-endpoint](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-endpoint.html) di untuk memulai penerapan. AWS CLI
**Topics**
+ [Cara memperbarui titik akhir (API)](#deployment-guardrails-blue-green-linear-configure-api-update)
+ [Cara memperbarui titik akhir dengan kebijakan pembaruan biru/hijau (API) yang ada](#deployment-guardrails-blue-green-linear-configure-api-existing)
+ [Cara memperbarui titik akhir (CLI)](#deployment-guardrails-blue-green-canary-configure-cli-update)
### Cara memperbarui titik akhir (API)
Contoh [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)API berikut menunjukkan bagaimana Anda dapat memperbarui titik akhir dengan pergeseran lalu lintas linier.
```
import boto3
client = boto3.client("sagemaker")
response = client.update_endpoint(
EndpointName="",
EndpointConfigName="",
DeploymentConfig={
"BlueGreenUpdatePolicy": {
"TrafficRoutingConfiguration": {
"Type": "LINEAR",
"LinearStepSize": {
"Type": "CAPACITY_PERCENT",
"Value": 20
},
"WaitIntervalInSeconds": 300
},
"TerminationWaitInSeconds": 300,
"MaximumExecutionTimeoutInSeconds": 3600
},
"AutoRollbackConfiguration": {
"Alarms": [
{
"AlarmName": ""
}
]
}
}
)
```
Untuk mengonfigurasi opsi pemindahan lalu lintas linier, lakukan hal berikut:
+ Untuk`EndpointName`, gunakan nama titik akhir yang ada yang ingin Anda perbarui.
+ Untuk`EndpointConfigName`, gunakan nama konfigurasi titik akhir yang ingin Anda gunakan.
+ Di bawah `DeploymentConfig` dan `BlueGreenUpdatePolicy``TrafficRoutingConfiguration`, di, atur `Type` parameter ke`LINEAR`. Ini menentukan bahwa penyebaran menggunakan pergeseran lalu lintas linier.
+ Di `LinearStepSize` lapangan, Anda dapat mengubah ukuran langkah dengan memodifikasi `Type` dan `Value` parameter. Untuk`Type`, gunakan`CAPACITY_PERCENT`, artinya persentase armada hijau Anda yang ingin Anda gunakan sebagai ukuran langkah, dan kemudian atur `Value` ke`20`. Dalam contoh ini, Anda mengaktifkan 20% dari kapasitas armada hijau untuk setiap langkah perpindahan lalu lintas. Perhatikan bahwa saat menyesuaikan ukuran langkah linier Anda, Anda hanya boleh menggunakan langkah yang 10-50% dari kapasitas armada hijau.
+ Untuk`WaitIntervalInSeconds`, gunakan`300`. Parameter memberitahu SageMaker AI untuk menunggu jumlah waktu yang ditentukan (dalam detik) antara setiap pergeseran lalu lintas. Interval ini adalah durasi periode pemanggangan antara setiap langkah linier. Dalam contoh sebelumnya, SageMaker AI menunggu selama 5 menit di antara setiap shift lalu lintas.
+ Untuk`TerminationWaitInSeconds`, gunakan`300`. Parameter ini memberi tahu SageMaker AI untuk menunggu jumlah waktu yang ditentukan (dalam detik) setelah armada hijau Anda sepenuhnya aktif sebelum menghentikan instance di armada biru. Dalam contoh ini, SageMaker AI menunggu selama 5 menit setelah periode pemanggangan terakhir sebelum menghentikan armada biru.
+ Untuk`MaximumExecutionTimeoutInSeconds`, gunakan`3600`. Parameter ini menetapkan jumlah waktu maksimum yang dapat dijalankan penerapan sebelum waktu habis. Pada contoh sebelumnya, penerapan Anda memiliki batas 1 jam untuk diselesaikan.
+ Di`AutoRollbackConfiguration`, di dalam `Alarms` bidang, Anda dapat menambahkan CloudWatch alarm berdasarkan nama. Buat satu `AlarmName: ` entri untuk setiap alarm yang ingin Anda gunakan.
### Cara memperbarui titik akhir dengan kebijakan pembaruan biru/hijau (API) yang ada
Saat Anda menggunakan [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API untuk membuat titik akhir, Anda dapat secara opsional menentukan konfigurasi penerapan yang akan digunakan kembali untuk pembaruan titik akhir di masa mendatang. Anda dapat menggunakan `DeploymentConfig` opsi yang sama seperti contoh UpdateEndpoint API sebelumnya. Tidak ada perubahan pada perilaku CreateEndpoint API. Menentukan konfigurasi penerapan tidak secara otomatis melakukan pembaruan biru/hijau di titik akhir Anda.
Opsi untuk menggunakan konfigurasi penerapan sebelumnya terjadi saat menggunakan [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)API untuk memperbarui titik akhir Anda. Saat memperbarui titik akhir, Anda dapat menggunakan `RetainDeploymentConfig` opsi untuk menjaga konfigurasi penerapan yang Anda tentukan saat membuat titik akhir.
Saat memanggil [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)API, atur `RetainDeploymentConfig` `True` untuk menjaga `DeploymentConfig` opsi dari konfigurasi titik akhir asli Anda.
```
response = client.update_endpoint(
EndpointName="",
EndpointConfigName="",
RetainDeploymentConfig=True
)
```
### Cara memperbarui titik akhir (CLI)
[Jika Anda menggunakan AWS CLI, contoh berikut menunjukkan cara memulai penerapan linier biru/hijau menggunakan perintah update-endpoint.](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-endpoint.html)
```
update-endpoint
--endpoint-name
--endpoint-config-name
--deployment-config '{"BlueGreenUpdatePolicy": {"TrafficRoutingConfiguration": {"Type": "LINEAR",
"LinearStepSize": {"Type": "CAPACITY_PERCENT", "Value": 20}, "WaitIntervalInSeconds": 300},
"TerminationWaitInSeconds": 300, "MaximumExecutionTimeoutInSeconds": 3600},
"AutoRollbackConfiguration": {"Alarms": [{"AlarmName": ""}]}'
```
Untuk mengonfigurasi opsi pemindahan lalu lintas linier, lakukan hal berikut:
+ Untuk`endpoint-name`, gunakan nama titik akhir yang ingin Anda perbarui.
+ Untuk`endpoint-config-name`, gunakan nama konfigurasi titik akhir yang ingin Anda gunakan.
+ Untuk`deployment-config`, gunakan objek [BlueGreenUpdatePolicy](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_BlueGreenUpdatePolicy.html)JSON.
**catatan**
Jika Anda lebih suka menyimpan objek JSON Anda dalam sebuah file, lihat [Menghasilkan AWS CLI kerangka dan parameter input](https://docs.aws.amazon.com/cli/latest/userguide/cli-usage-skeleton.html) di *AWS CLI Panduan Pengguna*.
# Gunakan penerapan bergulir
Saat memperbarui titik akhir, Anda dapat menentukan penerapan bergulir untuk secara bertahap mengalihkan lalu lintas dari armada lama ke armada baru. Anda dapat mengontrol ukuran langkah perpindahan lalu lintas, serta menentukan periode evaluasi untuk memantau instans baru untuk masalah sebelum menghentikan instance dari armada lama. Dengan penerapan bergulir, instance pada armada lama dibersihkan setelah setiap pergeseran lalu lintas ke armada baru, mengurangi jumlah instance tambahan yang diperlukan untuk memperbarui titik akhir Anda. Ini berguna terutama untuk contoh yang dipercepat yang banyak diminati.
Penerapan bergulir secara bertahap menggantikan penerapan versi model Anda sebelumnya dengan versi baru dengan memperbarui titik akhir Anda dalam ukuran batch yang dapat dikonfigurasi. Perilaku pergeseran lalu lintas dari penerapan bergulir mirip dengan [mode perpindahan lalu lintas linier](https://docs.aws.amazon.com/sagemaker/latest/dg/deployment-guardrails-blue-green-linear.html) dalam blue/green penerapan, tetapi penerapan bergulir memberi Anda manfaat dari persyaratan kapasitas yang berkurang jika dibandingkan dengan penerapan. blue/green Dengan penerapan bergulir, lebih sedikit instans yang aktif pada satu waktu, dan Anda memiliki kontrol yang lebih terperinci atas berapa banyak instance yang ingin Anda perbarui di armada baru. Anda harus mempertimbangkan untuk menggunakan penerapan bergulir alih-alih blue/green penerapan jika Anda memiliki model besar atau titik akhir besar dengan banyak instance.
Daftar berikut menjelaskan fitur utama penerapan bergulir di Amazon SageMaker AI:
+ **Periode memanggang.**Periode pemanggangan adalah jumlah waktu yang ditetapkan untuk memantau armada baru sebelum melanjutkan ke tahap penyebaran berikutnya. Jika salah satu alarm yang telah ditentukan sebelumnya tersandung selama periode pemanggangan apa pun, maka semua lalu lintas titik akhir kembali ke armada lama. Periode memanggang membantu Anda membangun kepercayaan pada pembaruan Anda sebelum membuat pergeseran lalu lintas permanen.
+ **Ukuran batch bergulir.** Anda memiliki kontrol granular atas ukuran setiap batch untuk pergeseran lalu lintas, atau jumlah instance yang ingin Anda perbarui di setiap batch. Jumlah ini dapat berkisar antara 5-50% dari ukuran armada Anda. Anda dapat menentukan ukuran batch sebagai sejumlah instance atau sebagai persentase keseluruhan armada Anda.
+ **Rollback otomatis.**Anda dapat menentukan CloudWatch alarm Amazon yang digunakan SageMaker AI untuk memantau armada baru. Jika masalah dengan kode yang diperbarui tersandung salah satu alarm, SageMaker AI memulai pengembalian otomatis ke armada lama untuk menjaga ketersediaan, sehingga meminimalkan risiko.
**catatan**
Jika titik akhir Anda menggunakan salah satu fitur yang tercantum di halaman [Pengecualian](https://docs.aws.amazon.com/sagemaker/latest/dg/deployment-guardrails-exclusions.html), Anda tidak dapat menggunakan penerapan bergulir.
## Cara kerjanya
Selama penyebaran bergulir, SageMaker AI menyediakan infrastruktur untuk mengalihkan lalu lintas dari armada lama ke armada baru tanpa harus menyediakan semua instance baru sekaligus. SageMaker AI menggunakan langkah-langkah berikut untuk mengalihkan lalu lintas:
1. SageMaker AI menyediakan batch pertama instance dalam armada baru.
1. Sebagian lalu lintas dialihkan dari instance lama ke batch pertama instance baru.
1. Setelah periode pemanggangan, jika tidak ada CloudWatch alarm Amazon yang tersandung, maka SageMaker AI membersihkan sejumlah contoh lama.
1. SageMaker AI terus menyediakan, menggeser, dan membersihkan instance dalam batch hingga penerapan selesai.
Jika alarm tersandung selama salah satu periode memanggang, lalu lintas digulung kembali ke armada lama dalam batch dengan ukuran yang Anda tentukan. Atau, Anda dapat menentukan penyebaran bergulir untuk menggeser 100% lalu lintas kembali ke armada lama jika alarm tersandung.
Diagram berikut menunjukkan perkembangan penerapan bergulir yang berhasil, seperti yang dijelaskan pada langkah-langkah sebelumnya.
![\[Langkah-langkah lalu lintas penyebaran bergulir berhasil bergeser dari yang lama ke armada baru.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/deployment-guardrails-rolling-diagram.png)
Untuk membuat penerapan bergulir, Anda hanya perlu menentukan konfigurasi penerapan yang Anda inginkan. Kemudian SageMaker AI menangani penyediaan instance baru, menghentikan instans lama, dan mengalihkan lalu lintas untuk Anda. Anda dapat membuat dan mengelola penyebaran Anda melalui [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html) SageMaker API [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)dan AWS Command Line Interface perintah yang ada.
## Prasyarat
Sebelum menyiapkan penerapan bergulir, Anda harus membuat CloudWatch alarm Amazon untuk menonton metrik dari titik akhir Anda. Jika ada alarm yang tersandung selama periode memanggang, maka lalu lintas mulai bergulir kembali ke armada lama Anda. [Untuk mempelajari cara mengatur CloudWatch alarm pada titik akhir, lihat halaman prasyarat Auto-Rollback Configuration and Monitoring.](https://docs.aws.amazon.com/sagemaker/latest/dg/deployment-guardrails-configuration.html) Untuk mempelajari lebih lanjut tentang CloudWatch alarm, lihat [Menggunakan CloudWatch alarm Amazon](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html) di * CloudWatch Panduan Pengguna Amazon*.
Juga, tinjau halaman [Pengecualian](https://docs.aws.amazon.com/sagemaker/latest/dg/deployment-guardrails-exclusions.html) untuk memastikan bahwa titik akhir Anda memenuhi persyaratan untuk penerapan bergulir.
## Tentukan ukuran batch bergulir
Sebelum memperbarui titik akhir Anda, tentukan ukuran batch yang ingin Anda gunakan untuk memindahkan lalu lintas secara bertahap ke armada baru.
Untuk penerapan bergulir, Anda dapat menentukan ukuran batch yang 5-50% dari kapasitas armada Anda. Jika Anda memilih ukuran batch yang besar, penerapan selesai lebih cepat. Namun, perlu diingat bahwa titik akhir membutuhkan lebih banyak kapasitas saat memperbarui, kira-kira overhead ukuran batch. Jika Anda memilih ukuran batch yang lebih kecil, penerapan akan memakan waktu lebih lama, tetapi Anda menggunakan lebih sedikit kapasitas selama penerapan.
## Konfigurasikan penerapan bergulir
Setelah Anda siap untuk penerapan dan telah menyiapkan CloudWatch alarm untuk titik akhir Anda, Anda dapat menggunakan SageMaker AI [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)API atau perintah [update-endpoint](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-endpoint.html) di untuk memulai penerapan. AWS Command Line Interface
**Cara memperbarui titik akhir**
Contoh berikut menunjukkan bagaimana Anda dapat memperbarui titik akhir Anda dengan penerapan bergulir menggunakan metode [update\$1endpoint](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/update_endpoint.html) dari klien AI Boto3. SageMaker
Untuk mengonfigurasi penerapan bergulir, gunakan contoh dan bidang berikut:
+ Untuk`EndpointName`, gunakan nama titik akhir yang ada yang ingin Anda perbarui.
+ Untuk`EndpointConfigName`, gunakan nama konfigurasi titik akhir yang ingin Anda gunakan.
+ Di `AutoRollbackConfiguration` objek, di dalam `Alarms` bidang, Anda dapat menambahkan CloudWatch alarm Anda dengan nama. Buat satu `AlarmName: ` entri untuk setiap alarm yang ingin Anda gunakan.
+ Di bawah`DeploymentConfig`, untuk `RollingUpdatePolicy` objek, tentukan bidang berikut:
+ `MaximumExecutionTimeoutInSeconds`— Batas waktu untuk total penyebaran. Melebihi batas ini menyebabkan batas waktu. Nilai maksimum yang dapat Anda tentukan untuk bidang ini adalah 28800 detik, atau 8 jam.
+ `WaitIntervalInSeconds`— Lamanya periode pemanggangan, di mana SageMaker AI memantau alarm untuk setiap batch pada armada baru.
+ `MaximumBatchSize`— Tentukan `Type` batch yang ingin Anda gunakan (baik jumlah instance atau persentase keseluruhan armada Anda) dan`Value`, atau ukuran setiap batch.
+ `RollbackMaximumBatchSize`— Gunakan objek ini untuk menentukan strategi rollback jika alarm tersandung. Tentukan `Type` batch yang ingin Anda gunakan (baik jumlah instans atau persentase keseluruhan armada Anda)`Value`, dan, atau ukuran setiap batch. Jika Anda tidak menentukan bidang ini, atau jika Anda menetapkan nilainya menjadi 100% dari titik akhir Anda, maka SageMaker AI menggunakan strategi blue/green rollback dan memutar semua lalu lintas kembali ke armada lama saat alarm tersandung.
```
import boto3
client = boto3.client("sagemaker")
response = client.update_endpoint(
EndpointName="",
EndpointConfigName="",
DeploymentConfig={
"AutoRollbackConfiguration": {
"Alarms": [
{
"AlarmName": ""
},
]
},
"RollingUpdatePolicy": {
"MaximumExecutionTimeoutInSeconds": number,
"WaitIntervalInSeconds": number,
"MaximumBatchSize": {
"Type": "INSTANCE_COUNT" | "CAPACITY_PERCENTAGE" (default),
"Value": number
},
"RollbackMaximumBatchSize": {
"Type": "INSTANCE_COUNT" | "CAPACITY_PERCENTAGE" (default),
"Value": number
},
}
}
)
```
Setelah memperbarui titik akhir Anda, Anda mungkin ingin memeriksa status penerapan bergulir Anda dan memeriksa kesehatan titik akhir Anda. Anda dapat meninjau status titik akhir Anda di konsol SageMaker AI, atau Anda dapat meninjau status titik akhir Anda dengan menggunakan API. [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html)
Di `VariantStatus` objek yang dikembalikan oleh `DescribeEndpoint` API, `Status` bidang memberi tahu Anda penerapan atau status operasional titik akhir Anda saat ini. Untuk informasi lebih lanjut tentang kemungkinan status dan apa artinya, lihat [ProductionVariantStatus](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariantStatus.html).
Jika Anda mencoba melakukan penerapan bergulir dan status endpoint Anda adalah`UpdateRollbackFailed`, lihat bagian berikut untuk bantuan pemecahan masalah.
## Penanganan kegagalan
Jika penerapan bergulir Anda gagal dan rollback otomatis gagal juga, titik akhir Anda dapat dibiarkan dengan status. `UpdateRollbackFailed` Status ini berarti bahwa konfigurasi titik akhir yang berbeda diterapkan ke instance di belakang titik akhir Anda, dan titik akhir Anda dalam layanan dengan campuran konfigurasi titik akhir lama dan baru.
Anda dapat melakukan panggilan lain ke [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)API untuk mengembalikan titik akhir Anda ke status sehat. Tentukan konfigurasi titik akhir dan konfigurasi penerapan yang Anda inginkan (baik sebagai penerapan bergulir, penerapan biru/hijau, atau tidak keduanya) untuk memperbarui titik akhir Anda.
Anda dapat memanggil [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html)API untuk memeriksa kesehatan titik akhir Anda lagi, yang dikembalikan dalam `VariantStatus` objek sebagai `Status` bidang. Jika pembaruan Anda berhasil, titik akhir Anda `Status` kembali ke`InService`.
# Pengecualian
Saat melakukan blue/green or rolling deployment, your new endpoint configuration must have the same variant name as the old endpoint configuration. There are also feature-based exclusions that make your endpoint incompatible with deployment guardrails at this time. If your endpoint uses any of the following features, you cannot use deployment guardrails on your endpoint, and your endpoint will fall back to using a blue/green penyebaran dengan pergeseran lalu lintas sekaligus dan tidak ada periode pemanggangan akhir:
+ Kontainer Marketplace
+ Titik akhir yang menggunakan instance Inf1 (berbasis inferensia)
Jika Anda melakukan penerapan bergulir, ada pengecualian berbasis fitur tambahan:
+ Titik akhir inferensi tanpa server
+ Titik akhir inferensi multi-varian
# Tes bayangan
Dengan Amazon SageMaker AI, Anda dapat mengevaluasi perubahan apa pun pada infrastruktur penyajian model Anda dengan membandingkan kinerjanya dengan infrastruktur yang saat ini digunakan. Praktik ini dikenal sebagai pengujian bayangan. Pengujian bayangan dapat membantu Anda menangkap potensi kesalahan konfigurasi dan masalah kinerja sebelum berdampak pada pengguna akhir. Dengan SageMaker AI, Anda tidak perlu berinvestasi dalam membangun infrastruktur pengujian bayangan Anda, sehingga Anda dapat fokus pada pengembangan model.
Anda dapat menggunakan kemampuan ini untuk memvalidasi perubahan pada komponen apa pun dari varian produksi Anda, yaitu model, wadah, atau instance, tanpa dampak pengguna akhir. Ini berguna dalam situasi termasuk tetapi tidak terbatas pada hal-hal berikut:
+ Anda sedang mempertimbangkan untuk mempromosikan model baru yang telah divalidasi secara offline ke produksi, tetapi ingin mengevaluasi metrik kinerja operasional seperti latensi dan tingkat kesalahan sebelum membuat keputusan ini.
+ Anda sedang mempertimbangkan perubahan pada wadah infrastruktur penyajian Anda, seperti menambal kerentanan atau meningkatkan ke versi yang lebih baru, dan ingin menilai dampak dari perubahan ini sebelum promosi ke produksi.
+ Anda sedang mempertimbangkan untuk mengubah instance HTML Anda dan ingin mengevaluasi kinerja instance baru dengan permintaan inferensi langsung.
Konsol SageMaker AI memberikan pengalaman terpandu untuk mengelola alur kerja pengujian bayangan. Anda dapat mengatur tes bayangan untuk durasi waktu yang telah ditentukan, memantau kemajuan pengujian melalui dasbor langsung, membersihkan setelah selesai, dan menindaklanjuti hasilnya. Pilih varian produksi yang ingin Anda uji, dan SageMaker AI secara otomatis menerapkan varian baru dalam mode bayangan dan merutekan salinan permintaan inferensi ke sana secara real time dalam titik akhir yang sama. Hanya tanggapan dari varian produksi yang dikembalikan ke aplikasi panggilan. Anda dapat memilih untuk membuang atau mencatat respons varian bayangan untuk perbandingan offline. Untuk informasi lebih lanjut tentang varian produksi dan bayangan, lihat[Validasi model dalam produksi](model-validation.md).
Lihat [Buat tes bayangan](shadow-tests-create.md) petunjuk tentang cara membuat tes bayangan.
**catatan**
Fitur titik akhir tertentu dapat membuat titik akhir Anda tidak kompatibel dengan pengujian bayangan. Jika titik akhir Anda menggunakan salah satu fitur berikut, Anda tidak dapat menggunakan pengujian bayangan pada titik akhir Anda, dan permintaan Anda untuk menyiapkan pengujian bayangan akan menyebabkan kesalahan validasi.
Inferensi tanpa server
Inferensi asinkron
Kontainer Marketplace
Titik akhir multi-kontainer
Titik akhir multi-model
Titik akhir yang menggunakan instance Inf1 (berbasis inferensia)
# Buat tes bayangan
Anda dapat membuat tes bayangan untuk membandingkan kinerja varian bayangan dengan varian produksi. Anda dapat menjalankan pengujian pada titik akhir yang ada yang menyajikan permintaan inferensi atau Anda dapat membuat titik akhir baru untuk menjalankan pengujian.
Untuk membuat tes bayangan, Anda perlu menentukan yang berikut:
+ *Varian produksi* yang menerima dan menanggapi 100 persen permintaan inferensi yang masuk.
+ *Varian bayangan* yang menerima persentase permintaan yang masuk, direplikasi dari varian produksi, tetapi tidak mengembalikan tanggapan apa pun.
Untuk setiap varian, Anda dapat menggunakan SageMaker AI untuk mengontrol model, jenis instans, dan jumlah instance. Anda dapat mengonfigurasi persentase permintaan masuk, yang dikenal sebagai persentase sampling lalu lintas, yang ingin direplikasi ke varian bayangan Anda. SageMaker AI mengelola replikasi permintaan ke varian bayangan Anda dan Anda dapat memodifikasi persentase pengambilan sampel lalu lintas saat pengujian dijadwalkan atau berjalan. Anda juga dapat mengaktifkan Pengambilan Data secara opsional untuk mencatat permintaan dan respons varian produksi dan bayangan Anda.
**catatan**
SageMaker AI mendukung maksimal satu varian bayangan per titik akhir. Untuk titik akhir dengan varian bayangan, bisa ada maksimal satu varian produksi.
Anda dapat menjadwalkan tes untuk memulai kapan saja dan melanjutkan untuk durasi tertentu. Durasi default adalah 7 hari dan maksimum adalah 30 hari. Setelah pengujian selesai, titik akhir kembali ke keadaan sebelum memulai pengujian. Ini memastikan bahwa Anda tidak perlu membersihkan sumber daya secara manual setelah menyelesaikan tes.
Anda dapat memantau pengujian yang berjalan melalui dasbor di konsol SageMaker AI. Dasbor menyediakan perbandingan berdampingan metrik pemanggilan dan metrik instance antara varian produksi dan bayangan, bersama dengan tampilan tabel dengan statistik metrik yang relevan. Dasbor ini juga tersedia untuk pengujian yang diselesaikan. Setelah meninjau metrik, Anda dapat memilih untuk mempromosikan varian bayangan menjadi varian produksi baru atau mempertahankan varian produksi yang ada. Setelah Anda mempromosikan varian bayangan, itu merespons semua permintaan yang masuk. Untuk informasi selengkapnya, lihat [Promosikan varian bayangan](shadow-tests-complete.md#shadow-tests-complete-promote).
Prosedur berikut menjelaskan cara membuat tes bayangan melalui konsol SageMaker AI. Ada variasi dalam alur kerja tergantung pada apakah Anda ingin menggunakan titik akhir yang ada atau untuk membuat titik akhir baru untuk pengujian bayangan.
**Topics**
+ [Prasyarat](#shadow-tests-create-prerequisites)
+ [Masukkan detail tes bayangan](#shadow-tests-create-console-shadow-test-details)
+ [Masukkan pengaturan uji bayangan](#shadow-tests-create-console-shadow-test-settings)
## Prasyarat
Sebelum membuat tes bayangan dengan konsol SageMaker AI, Anda harus memiliki model SageMaker AI yang siap digunakan. Untuk informasi selengkapnya tentang cara membuat model SageMaker AI, lihat[Terapkan model untuk inferensi waktu nyata](realtime-endpoints-deploy-models.md).
Anda dapat memulai dengan pengujian bayangan dengan titik akhir yang ada dengan varian produksi dan varian bayangan, titik akhir yang ada hanya dengan varian produksi, atau hanya model SageMaker AI yang ingin Anda bandingkan. Tes bayangan mendukung pembuatan titik akhir dan menambahkan varian sebelum pengujian Anda dimulai.
**catatan**
Fitur titik akhir tertentu dapat membuat titik akhir Anda tidak kompatibel dengan pengujian bayangan. Jika titik akhir Anda menggunakan salah satu fitur berikut, Anda tidak dapat menggunakan pengujian bayangan pada titik akhir Anda, dan permintaan Anda untuk menyiapkan pengujian bayangan akan menyebabkan kesalahan validasi.
Inferensi tanpa server
Inferensi asinkron
Kontainer Marketplace
Titik akhir multi-kontainer
Titik akhir multi-model
Titik akhir yang menggunakan instance Inf1 (berbasis inferensia)
## Masukkan detail tes bayangan
Untuk mulai membuat tes bayangan Anda, isi halaman **Enter shadow test details** dengan melakukan hal berikut:
1. Buka [konsol SageMaker AI](https://console.aws.amazon.com/sagemaker/).
1. Di panel navigasi kiri, pilih **Inferensi**, lalu pilih **Tes bayangan**.
1. Pilih **Buat tes bayangan**.
1. Di bawah **Nama**, masukkan nama untuk pengujian.
1. (Opsional) Di bawah **Deskripsi**, masukkan deskripsi untuk pengujian.
1. (Opsional) Tentukan **Tag** menggunakan pasangan **Kunci** dan **Nilai**.
1. Pilih **Berikutnya**.
## Masukkan pengaturan uji bayangan
Setelah mengisi halaman **Enter shadow test details**, isi halaman **Enter shadow test settings**. Jika Anda sudah memiliki titik akhir Inferensi SageMaker AI dan varian produksi, ikuti alur kerja **Use an existing endpoint**. Jika Anda belum memiliki endpoint, ikuti alur kerja **Create a new endpoint**.
------
#### [ Use an existing endpoint ]
Jika Anda ingin menggunakan endpoint yang ada untuk pengujian Anda, isi halaman **Enter shadow test settings** dengan melakukan hal berikut:
1. Pilih peran yang memiliki kebijakan `AmazonSageMakerFullAccess` IAM terlampir.
1. Pilih **Gunakan titik akhir yang ada**, lalu pilih salah satu titik akhir yang tersedia.
1. **(Opsional) Untuk mengenkripsi volume penyimpanan pada titik akhir Anda, pilih kunci KMS yang ada atau pilih **Masukkan ARN kunci KMS dari daftar tarik-turun di bawah Kunci** enkripsi.** Jika Anda memilih opsi kedua, bidang untuk memasukkan ARN kunci KMS muncul. Masukkan ARN kunci KMS di bidang itu.
1. Jika Anda memiliki beberapa varian produksi di belakang titik akhir itu, hapus yang tidak ingin Anda gunakan untuk pengujian. Anda dapat menghapus varian model dengan memilihnya dan kemudian memilih **Hapus**.
1. Jika Anda belum memiliki varian bayangan, tambahkan varian bayangan. Untuk menambahkan varian bayangan, lakukan hal berikut:
1. Pilih **Tambahkan**.
1. Pilih **varian Shadow**.
1. Dalam kotak dialog **Add model**, pilih model yang ingin Anda gunakan untuk varian bayangan Anda.
1. Pilih **Simpan**.
1. (Opsional) Pada langkah sebelumnya, varian bayangan ditambahkan dengan pengaturan default. Untuk mengubah pengaturan ini, pilih varian bayangan dan pilih **Edit**. Kotak dialog **Edit shadow varian** muncul. Untuk informasi selengkapnya tentang mengisi kotak dialog ini, lihat[Edit tes bayangan](shadow-tests-view-monitor-edit-individual.md).
1. Di bagian **Jadwal**, masukkan durasi tes dengan melakukan hal berikut:
1. Pilih kotak di bawah **Durasi**. Kalender popup muncul.
1. Pilih tanggal mulai dan berakhir dari kalender, atau masukkan tanggal mulai dan berakhir di bidang untuk **Tanggal mulai dan Tanggal** **akhir**, masing-masing.
1. (Opsional) Untuk bidang **Waktu mulai** dan **Waktu akhir**, masukkan waktu mulai dan akhir, masing-masing, dalam format 24 jam.
1. Pilih **Terapkan**.
Durasi minimum adalah 1 jam, dan durasi maksimum adalah 30 hari.
1. (Opsional) **Aktifkan pengambilan data** untuk menyimpan permintaan inferensi dan informasi respons dari titik akhir Anda ke bucket Amazon S3, lalu masukkan lokasi bucket Amazon S3.
1. Pilih **Buat tes bayangan**.
------
#### [ Create a new endpoint ]
Jika Anda tidak memiliki titik akhir yang ada, atau Anda ingin membuat titik akhir baru untuk pengujian Anda, isi halaman **Enter shadow test settings** dengan melakukan hal berikut:
1. Pilih peran yang memiliki kebijakan `AmazonSageMakerFullAccess` IAM terlampir.
1. Pilih **Buat titik akhir baru**.
1. Di bawah **Nama**, masukkan nama untuk titik akhir.
1. Tambahkan satu varian produksi dan satu varian bayangan ke titik akhir:
+ Untuk menambahkan varian produksi pilih **Tambah**, lalu pilih **varian Produksi**. Dalam kotak dialog **Add model**, pilih model yang ingin Anda gunakan untuk varian produksi Anda, lalu pilih **Simpan**.
+ Untuk menambahkan varian bayangan pilih **Tambah**, lalu pilih **varian Shadow**. Dalam kotak dialog **Tambah model**, pilih model yang ingin Anda gunakan untuk varian bayangan Anda, lalu pilih **Simpan**.
1. (Opsional) Pada langkah sebelumnya, varian bayangan ditambahkan dengan pengaturan default. Untuk mengubah pengaturan ini, pilih varian bayangan dan pilih **Edit**. Kotak dialog **Edit shadow varian** muncul. Untuk informasi selengkapnya tentang mengisi kotak dialog ini, lihat[Edit tes bayangan](shadow-tests-view-monitor-edit-individual.md).
1. Di bagian **Jadwal**, masukkan durasi tes dengan melakukan hal berikut:
1. Pilih kotak di bawah **Durasi**. Kalender popup muncul.
1. Pilih tanggal mulai dan berakhir dari kalender, atau masukkan tanggal mulai dan berakhir di bawah Tanggal **mulai dan Tanggal** **akhir**, masing-masing.
1. (Opsional) Di bawah **Waktu mulai** dan **Waktu akhir**, masukkan waktu mulai dan akhir, masing-masing, dalam format 24 jam.
1. Pilih **Terapkan**.
Durasi minimum adalah 1 jam, dan durasi maksimum adalah 30 hari.
1. (Opsional) **Aktifkan pengambilan data** untuk menyimpan permintaan inferensi dan informasi respons dari titik akhir Anda ke bucket Amazon S3, lalu masukkan lokasi bucket Amazon S3.
1. Pilih **Buat tes bayangan**.
------
Setelah menyelesaikan prosedur sebelumnya, Anda sekarang harus memiliki tes yang dijadwalkan untuk dimulai pada tanggal dan waktu mulai yang ditentukan. Anda dapat melihat kemajuan tes dari dasbor. Untuk informasi selengkapnya tentang melihat tes Anda dan tindakan yang dapat Anda lakukan, lihat[Cara melihat, memantau, dan mengedit tes bayangan](shadow-tests-view-monitor-edit.md).
# Cara melihat, memantau, dan mengedit tes bayangan
Anda dapat melihat status tes bayangan Anda, memantau kemajuan mereka dari dasbor, dan melakukan tindakan, seperti memulai atau menghentikan tes lebih awal atau menghapus tes. Topik berikut menunjukkan bagaimana Anda dapat melihat dan memodifikasi tes bayangan Anda menggunakan konsol SageMaker AI.
**Topics**
+ [Lihat tes bayangan](shadow-tests-view-monitor-edit-list.md)
+ [Pantau tes bayangan](shadow-tests-view-monitor-edit-dashboard.md)
+ [Mulai tes bayangan lebih awal](shadow-tests-view-monitor-edit-start.md)
+ [Hapus tes bayangan](shadow-tests-view-monitor-edit-delete.md)
+ [Edit tes bayangan](shadow-tests-view-monitor-edit-individual.md)
# Lihat tes bayangan
Anda dapat melihat status semua tes bayangan Anda di halaman **pengujian Shadow** di konsol SageMaker AI.
Untuk melihat pengujian Anda di konsol, lakukan hal berikut:
1. Buka [konsol SageMaker AI](https://console.aws.amazon.com/sagemaker/).
1. Di panel navigasi, pilih **Inferensi**.
1. Pilih **tes Shadow** untuk melihat halaman yang mencantumkan semua tes bayangan Anda. Halaman akan terlihat seperti tangkapan layar berikut, dengan semua tes yang tercantum di bawah bagian **uji Bayangan**.
![\[Daftar semua tes bayangan.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/juxtaposer/shadow-test-landing-page.png)
Anda dapat melihat status pengujian di konsol pada halaman **pengujian Bayangan** dengan memeriksa bidang **Status** untuk pengujian.
Berikut ini adalah status yang mungkin untuk tes:
+ `Creating`— SageMaker AI sedang membuat tes Anda.
+ `Created`— SageMaker AI telah selesai membuat tes Anda, dan itu akan dimulai pada waktu yang dijadwalkan.
+ `Updating`— Saat Anda membuat perubahan pada pengujian Anda, pengujian Anda ditampilkan sebagai pembaruan.
+ `Starting`— SageMaker AI memulai tes Anda.
+ `Running`Tes Anda sedang berlangsung.
+ `Stopping`— SageMaker AI menghentikan tes Anda.
+ `Completed`Tes Anda telah selesai.
+ `Cancelled`— Ketika Anda menyelesaikan tes Anda lebih awal, itu menunjukkan sebagai dibatalkan.
# Pantau tes bayangan
Anda dapat melihat detail tes bayangan dan memantaunya saat sedang berlangsung atau setelah selesai. SageMaker AI menghadirkan dasbor langsung yang membandingkan metrik operasional seperti latensi model, dan tingkat kesalahan yang dikumpulkan, dari varian produksi dan bayangan.
Untuk melihat detail pengujian individual di konsol, lakukan hal berikut:
1. Pilih tes yang ingin Anda pantau dari bagian **uji Shadow** pada halaman **tes Shadow**.
1. **Dari daftar dropdown **Tindakan**, pilih Lihat.** Halaman ikhtisar dengan detail pengujian dan dasbor metrik muncul.
Halaman ikhtisar memiliki tiga bagian berikut.
**Ringkasan**
Bagian ini merangkum kemajuan dan status tes. Ini juga menunjukkan statistik ringkasan metrik yang dipilih dari daftar dropdown **Select metric** di subbagian **Metrik**. Screenshot berikut menunjukkan bagian ini.
![\[Bagian ringkasan dari halaman ikhtisar.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/juxtaposer/shadow-test-summary.png)
Pada tangkapan layar sebelumnya, tab **Pengaturan**, dan **Detail** menunjukkan pengaturan yang Anda pilih, dan detail yang Anda masukkan saat membuat tes.
**Analisis**
Bagian ini menampilkan dasbor metrik dengan grafik terpisah untuk metrik berikut:
+ `Invocations`
+ `InvocationsPerInstance`
+ `ModelLatency`
+ `Invocation4XXErrors`
+ `Invocation5XXErrors`
+ `InvocationModelErrors`
+ `CPUUtilization`
+ `MemoryUtilization`
+ `DiskUtilization`
Tiga metrik terakhir memantau penggunaan sumber daya runtime container model. Sisanya adalah CloudWatch metrik yang dapat Anda gunakan untuk menganalisis kinerja varian Anda. Secara umum, lebih sedikit kesalahan menunjukkan model yang lebih stabil. Latensi yang lebih rendah menunjukkan model yang lebih cepat atau infrastruktur yang lebih cepat. Untuk informasi selengkapnya tentang CloudWatch metrik, lihat[SageMaker Metrik pemanggilan titik akhir AI](monitoring-cloudwatch.md#cloudwatch-metrics-endpoint-invocation). Tangkapan layar berikut menunjukkan dasbor metrik.
![\[Dasbor analisis metrik.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/juxtaposer/shadow-test-analysis.png)
**Lingkungan**
Bagian ini menunjukkan varian yang Anda bandingkan dalam pengujian. Jika Anda puas dengan kinerja varian bayangan, berdasarkan metrik yang disebutkan di atas, Anda dapat mempromosikan varian bayangan ke produksi, dengan memilih varian bayangan **Deploy**. Untuk detail selengkapnya tentang penerapan varian bayangan, lihat[Promosikan varian bayangan](shadow-tests-complete.md#shadow-tests-complete-promote). Anda juga dapat mengubah persentase sampling lalu lintas, dan melanjutkan pengujian, dengan memilih **Edit lalu lintas**. Untuk detail selengkapnya tentang mengedit varian bayangan, lihat[Edit tes bayangan](shadow-tests-view-monitor-edit-individual.md). Screenshot berikut menunjukkan bagian ini.
![\[Bagian lingkungan dari halaman ikhtisar.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/juxtaposer/shadow-test-environment.png)
# Mulai tes bayangan lebih awal
Anda dapat memulai tes Anda sebelum waktu mulai yang dijadwalkan. Jika durasi pengujian baru melebihi 30 hari, SageMaker AI secara otomatis menetapkan akhir tes menjadi 30 hari setelah waktu mulai yang baru. Tindakan ini segera memulai tes. Jika Anda ingin mengubah waktu mulai atau akhir tes, lihat[Edit tes bayangan](shadow-tests-view-monitor-edit-individual.md).
Untuk segera memulai pengujian Anda, sebelum waktu mulai yang dijadwalkan, melalui konsol, lakukan hal berikut:
1. Pilih tes yang ingin Anda mulai segera dari bagian **tes Shadow** pada halaman **tes Shadow**.
1. **Dari daftar dropdown **Tindakan**, pilih Mulai.** **Tes bayangan Mulai?** kotak dialog muncul.
1. Pilih **Mulai sekarang**.
# Hapus tes bayangan
Anda dapat menghapus tes yang tidak lagi Anda butuhkan. Menghapus pengujian hanya akan menghapus metadata pengujian dan bukan titik akhir, varian, atau data yang diambil di Amazon S3. Jika Anda ingin titik akhir Anda berhenti berjalan, Anda harus menghapus titik akhir Anda. Untuk informasi selengkapnya tentang menghapus titik akhir, lihat [Hapus Titik Akhir dan Sumber Daya](realtime-endpoints-delete-resources.md)
Untuk menghapus tes melalui konsol, lakukan hal berikut:
1. Pilih tes yang ingin Anda hapus dari bagian **uji Shadow** pada halaman **tes Shadow**.
1. **Dari daftar dropdown **Tindakan**, pilih Hapus.** Kotak dialog **Delete shadow test** muncul.
1. Dalam **Untuk mengonfirmasi penghapusan, ketik *hapus* di bidang.** kotak teks, masukkan**delete**.
1. Pilih **Hapus**.
# Edit tes bayangan
Anda dapat memodifikasi tes terjadwal dan dalam proses. Sebelum pengujian dimulai, Anda dapat mengubah deskripsi, konfigurasi varian bayangan, tanggal mulai, dan tanggal akhir pengujian. Anda juga dapat mengaktifkan atau mematikan pengambilan data.
Setelah pengujian dimulai, Anda hanya dapat mengubah deskripsi, persentase sampling lalu lintas untuk varian bayangan, dan tanggal akhir.
Untuk mengedit detail pengujian Anda melalui konsol, lakukan hal berikut:
1. Pilih tes yang ingin Anda edit dari bagian **tes Shadow** pada halaman **tes Shadow**.
1. **Dari daftar dropdown **Tindakan**, pilih Edit.** Halaman **detail tes Enter shadow** muncul.
1. (Opsional) Di bawah **Deskripsi**, masukkan deskripsi pengujian Anda.
1. Pilih **Berikutnya**. Halaman **pengaturan uji Enter shadow** muncul.
1. (Opsional) Untuk mengedit varian bayangan Anda, lakukan hal berikut:
1. Pilih varian bayangan dan pilih **Edit**. Kotak dialog **Edit shadow varian** muncul. Jika pengujian Anda sudah dimulai, maka Anda hanya dapat mengubah persentase sampling lalu lintas.
1. (Opsional) Di bawah **Nama**, masukkan nama baru untuk mengganti nama lama.
1. (Opsional) Di bawah **sampel Lalu Lintas**, masukkan persentase sampling lalu lintas baru untuk menggantikan persentase sampling lalu lintas lama.
1. (Opsional) Di bawah **Jenis instans**, pilih jenis instance baru dari daftar dropdown.
1. (Opsional) Di bawah **Jumlah instans**, masukkan hitungan instans baru untuk menggantikan jumlah instans lama.
1. Pilih **Terapkan**.
Anda tidak dapat mengubah model dalam varian bayangan Anda menggunakan prosedur di atas. Jika Anda ingin mengubah model, pertama-tama hapus varian bayangan dengan memilihnya dan memilih **Hapus**. Kemudian tambahkan varian bayangan baru.
1. (Opsional) Untuk mengedit durasi tes, lakukan hal berikut:
1. Pilih kotak di bawah **Durasi** di bagian **Jadwal**. Kalender popup muncul.
1. Jika tes Anda belum dimulai, Anda dapat mengubah tanggal mulai dan berakhir. Pilih tanggal mulai dan akhir yang baru dari kalender, atau masukkan tanggal mulai dan akhir yang baru di bawah Tanggal **mulai dan Tanggal** **akhir**, masing-masing.
Jika tes Anda sudah dimulai, Anda hanya dapat mengubah tanggal akhir. Masukkan tanggal akhir baru di bawah **Tanggal akhir**.
1. (Opsional) Jika tes Anda belum dimulai, Anda dapat mengubah waktu mulai dan akhir. Masukkan waktu mulai dan akhir yang baru di bawah **Waktu mulai**, dan **Waktu akhir**, masing-masing, dalam format 24 jam.
Jika tes Anda sudah dimulai, Anda hanya dapat mengubah waktu akhir. Masukkan waktu akhir baru di bawah **Waktu akhir**, dalam format 24 jam.
1. Pilih **Terapkan**.
1. (Opsional) Aktifkan atau matikan **Aktifkan pengambilan data**.
1. Pilih **Perbarui tes bayangan**.
# Selesaikan tes bayangan
Tes Anda secara otomatis selesai pada akhir durasi yang dijadwalkan, atau Anda dapat menghentikan tes yang sedang berlangsung lebih awal. Setelah pengujian Anda selesai, status pengujian di bagian **Tes bayangan** di halaman **pengujian Bayangan** ditampilkan sebagai **Selesai**. Kemudian Anda dapat meninjau dan menganalisis metrik akhir pengujian Anda.
Anda dapat menggunakan dasbor metrik untuk memutuskan apakah akan mempromosikan varian bayangan ke produksi. Untuk informasi selengkapnya tentang menganalisis dasbor metrik pengujian Anda, lihat[Pantau tes bayangan](shadow-tests-view-monitor-edit-dashboard.md).
Untuk petunjuk tentang cara menyelesaikan tes Anda sebelum akhir waktu penyelesaian yang dijadwalkan, lihat[Selesaikan tes bayangan lebih awal](#shadow-tests-complete-early).
Untuk petunjuk tentang mempromosikan varian bayangan Anda ke produksi, lihat[Promosikan varian bayangan](#shadow-tests-complete-promote).
## Selesaikan tes bayangan lebih awal
Salah satu alasan Anda mungkin ingin menyelesaikan tes bayangan yang sedang berlangsung adalah jika Anda telah memutuskan bahwa metrik untuk varian bayangan Anda terlihat bagus dan Anda ingin mempromosikannya ke produksi. Anda mungkin juga memutuskan untuk menyelesaikan tes jika satu atau lebih varian tidak berkinerja baik.
Untuk menyelesaikan tes Anda sebelum tanggal akhir yang dijadwalkan, lakukan hal berikut:
1. Pilih tes yang ingin Anda tandai selesai dari bagian **Tes bayangan** **di halaman tes Bayangan**.
1. Dari daftar dropdown **Tindakan**, pilih **Lengkap**, dan kotak dialog **Uji bayangan lengkap** muncul.
1. Di kotak dialog, pilih salah satu opsi berikut:
+ **Ya, gunakan varian bayangan**
+ **Tidak, hapus varian bayangan**
1. (Opsional) Di kotak teks **Komentar**, masukkan alasan Anda untuk menyelesaikan tes sebelum waktu akhir yang dijadwalkan.
1.
1. Jika Anda memutuskan untuk menerapkan varian bayangan, pilih **Lengkap dan lanjutkan untuk menerapkan**. Halaman **varian bayangan Deploy** muncul. Untuk petunjuk tentang cara mengisi halaman ini, lihat[Promosikan varian bayangan](#shadow-tests-complete-promote).
1. Jika Anda memutuskan untuk menghapus varian bayangan, pilih **Konfirmasi**.
## Promosikan varian bayangan
Jika Anda telah memutuskan bahwa Anda ingin mengganti varian produksi Anda dengan varian bayangan Anda, Anda dapat memperbarui titik akhir dan mempromosikan varian bayangan Anda untuk menanggapi permintaan inferensi. Ini menghapus varian produksi Anda saat ini dari produksi dan menggantinya dengan varian bayangan Anda.
Jika tes bayangan Anda masih dalam proses, Anda harus terlebih dahulu menyelesaikan tes Anda. Untuk menyelesaikan tes bayangan Anda sebelum akhir yang dijadwalkan, ikuti instruksi [Selesaikan tes bayangan lebih awal](#shadow-tests-complete-early) sebelum melanjutkan dengan bagian ini.
Saat Anda mempromosikan varian bayangan ke produksi, Anda memiliki opsi berikut untuk jumlah instance varian bayangan.
+ Anda dapat mempertahankan jumlah dan jenis instans dari varian produksi. Jika Anda memilih opsi ini, maka varian bayangan Anda diluncurkan dalam produksi dengan jumlah instans saat ini, memastikan bahwa model Anda dapat terus memproses lalu lintas permintaan pada skala yang sama.
+ Anda dapat mempertahankan jumlah instans dan jenis varian bayangan Anda. Jika Anda ingin menggunakan opsi ini, kami sarankan Anda menguji bayangan dengan pengambilan sampel lalu lintas 100 persen untuk memastikan bahwa varian bayangan dapat memproses lalu lintas permintaan pada skala saat ini.
+ Anda dapat menggunakan nilai kustom untuk jumlah dan jenis instance. Jika Anda ingin menggunakan opsi ini, kami sarankan Anda menguji bayangan dengan pengambilan sampel lalu lintas 100 persen untuk memastikan bahwa varian bayangan dapat memproses lalu lintas permintaan pada skala saat ini.
Kecuali Anda memvalidasi jenis atau hitungan instans atau kedua varian bayangan, kami sangat menyarankan agar Anda mempertahankan jumlah dan jenis instance dari varian produksi saat mempromosikan varian bayangan Anda.
Untuk mempromosikan varian bayangan Anda, lakukan hal berikut:
1. Jika tes Anda telah selesai, lakukan hal berikut:
1. Pilih tes dari bagian **uji Shadow** pada halaman **tes Shadow**.
1. **Dari daftar dropdown **Tindakan**, pilih Lihat.** Dasbor muncul.
1. Pilih **Menyebarkan varian bayangan** di bagian **Lingkungan**. Halaman **varian bayangan Deploy** muncul.
Jika tes Anda belum selesai, pastikan [Selesaikan tes bayangan lebih awal](#shadow-tests-complete-early) untuk menyelesaikannya.
1. Di bagian **Pengaturan varian**, pilih salah satu opsi berikut:
+ **Pertahankan pengaturan produksi**
+ **Pertahankan pengaturan bayangan**
+ **Pengaturan contoh kustom**
Jika Anda memilih **pengaturan instans kustom**, lakukan hal berikut:
1. Pilih jenis instance dari daftar dropdown **tipe Instance**.
1. Di bawah **hitungan Instance**, masukkan jumlah instance.
1. Di **Enter 'deploy' untuk mengonfirmasi kotak teks penyebaran**, masukkan. **deploy**
1. Pilih **Menyebarkan varian bayangan**.
Titik akhir Inferensi SageMaker AI Anda sekarang menggunakan varian bayangan sebagai varian produksi Anda, dan varian produksi Anda telah dihapus dari titik akhir.
# Praktik terbaik
Saat membuat eksperimen inferensi, ingatlah informasi berikut:
+ **Persentase sampling lalu lintas** — Pengambilan sampel 100 persen dari permintaan inferensi memungkinkan Anda memvalidasi bahwa varian bayangan Anda dapat menangani lalu lintas produksi saat dipromosikan. Anda dapat memulai dengan persentase sampling lalu lintas yang lebih rendah dan dial up saat Anda mendapatkan kepercayaan pada varian Anda, tetapi praktik terbaik adalah memastikan bahwa Anda telah meningkatkan lalu lintas hingga 100 persen sebelum promosi.
+ **Jenis instans** — Kecuali Anda menggunakan varian bayangan untuk mengevaluasi jenis atau ukuran instans alternatif, sebaiknya gunakan jenis, ukuran, dan hitungan instans yang sama sehingga Anda dapat yakin bahwa varian bayangan Anda dapat menangani volume permintaan inferensi setelah Anda mempromosikannya.
+ **Penskalaan otomatis** — Untuk memastikan bahwa varian bayangan Anda dapat merespons lonjakan jumlah permintaan inferensi atau perubahan pola permintaan inferensi, kami sangat menyarankan Anda mengonfigurasi penskalaan otomatis pada varian bayangan Anda. Untuk mempelajari cara mengonfigurasi penskalaan otomatis, lihat. [Penskalaan otomatis model Amazon SageMaker AI](endpoint-auto-scaling.md) Jika Anda telah mengonfigurasi penskalaan otomatis, Anda juga dapat memvalidasi perubahan pada kebijakan penskalaan otomatis tanpa menimbulkan dampak bagi pengguna.
+ **Pemantauan metrik** — Setelah Anda memulai eksperimen bayangan dan memiliki pemanggilan yang memadai, pantau dasbor metrik untuk memastikan bahwa metrik seperti latensi dan tingkat kesalahan berada dalam batas yang dapat diterima. Ini membantu Anda menangkap kesalahan konfigurasi lebih awal dan mengambil tindakan korektif. Untuk informasi tentang cara memantau metrik eksperimen inferensi yang sedang berlangsung, lihat. [Cara melihat, memantau, dan mengedit tes bayangan](shadow-tests-view-monitor-edit.md)
# Akses kontainer melalui SSM
Amazon SageMaker AI memungkinkan Anda terhubung dengan aman ke container Docker tempat model Anda digunakan untuk Inference menggunakan AWS Systems Manager (SSM). Ini memberi Anda akses tingkat shell ke wadah sehingga Anda dapat men-debug proses yang berjalan di dalam wadah dan mencatat perintah dan tanggapan dengan Amazon CloudWatch. Anda juga dapat mengatur AWS PrivateLink koneksi ke instance ML yang meng-host kontainer Anda untuk mengakses kontainer melalui SSM secara pribadi.
**Awas**
Mengaktifkan akses SSM dapat memengaruhi kinerja titik akhir Anda. Kami merekomendasikan penggunaan fitur ini dengan titik akhir dev atau pengujian Anda dan bukan dengan titik akhir dalam produksi. Selain itu, SageMaker AI secara otomatis menerapkan patch keamanan, dan mengganti atau menghentikan instans titik akhir yang salah dalam 10 menit. Namun untuk titik akhir dengan varian produksi yang diaktifkan SSM, SageMaker AI menunda penambalan keamanan dan mengganti atau menghentikan instans titik akhir yang salah dalam sehari, untuk memungkinkan Anda melakukan debug.
Bagian berikut merinci bagaimana Anda dapat menggunakan fitur ini.
## Daftar yang diizinkan
Anda harus menghubungi dukungan pelanggan, dan memasukkan akun Anda ke daftar yang diizinkan, untuk menggunakan fitur ini. Anda tidak dapat membuat titik akhir dengan akses SSM diaktifkan, jika akun Anda tidak diizinkan terdaftar untuk akses ini.
## Aktifkan akses SSM
Untuk mengaktifkan akses SSM untuk kontainer yang ada pada titik akhir, perbarui titik akhir dengan konfigurasi titik akhir baru, dengan `EnableSSMAccess` parameter disetel ke `true` Contoh berikut menyediakan konfigurasi titik akhir sampel.
```
{
"EndpointConfigName": "endpoint-config-name",
"ProductionVariants": [
{
"InitialInstanceCount": 1,
"InitialVariantWeight": 1.0,
"InstanceType": "ml.t2.medium",
"ModelName": model-name,
"VariantName": variant-name,
"EnableSSMAccess": true,
},
]
}
```
[Untuk informasi selengkapnya tentang mengaktifkan akses SSM, lihat Mengaktifkan. SSMAccess](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariant.html#API_EnableSSMAccess)
## Konfigurasi IAM
### Izin IAM titik akhir
Jika Anda telah mengaktifkan akses SSM untuk instans titik akhir, SageMaker AI memulai dan mengelola [agen SSM](https://docs.aws.amazon.com/systems-manager/latest/userguide/ssm-agent.html) saat memulai instance titik akhir. Untuk memungkinkan agen SSM berkomunikasi dengan layanan SSM, tambahkan kebijakan berikut ke peran eksekusi yang dijalankan endpoint.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"ssmmessages:CreateControlChannel",
"ssmmessages:CreateDataChannel",
"ssmmessages:OpenControlChannel",
"ssmmessages:OpenDataChannel"
],
"Resource": "*"
}
]
}
```
------
### Izin IAM pengguna
Tambahkan kebijakan berikut untuk memberikan izin sesi SSM pengguna IAM untuk terhubung ke target SSM.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"ssm:StartSession",
"ssm:TerminateSession"
],
"Resource": "*"
}
]
}
```
------
Anda dapat membatasi titik akhir yang dapat dihubungkan oleh pengguna IAM, dengan kebijakan berikut. Ganti *italicized placeholder text* dengan informasi Anda sendiri.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"ssm:StartSession"
],
"Resource": "arn:aws:sagemaker:us-east-2:111122223333:endpoint/endpoint-name"
}
]
}
```
------
## Akses SSM dengan AWS PrivateLink
Jika endpoint Anda berjalan dalam virtual private cloud (VPC) yang tidak terhubung ke internet publik, Anda dapat AWS PrivateLink menggunakannya untuk mengaktifkan SSM. AWS PrivateLink membatasi semua lalu lintas jaringan antara instans titik akhir Anda, SSM, dan Amazon EC2 ke jaringan Amazon. Untuk informasi selengkapnya tentang cara mengatur akses SSM AWS PrivateLink, lihat [Menyiapkan titik akhir VPC untuk](https://docs.aws.amazon.com/systems-manager/latest/userguide/session-manager-getting-started-privatelink.html) Pengelola Sesi.
## Logging dengan Amazon CloudWatch Logs
Untuk titik akhir yang diaktifkan akses SSM, Anda dapat mencatat kesalahan dari agen SSM dengan Amazon Logs. CloudWatch Untuk informasi selengkapnya tentang cara mencatat kesalahan dengan CloudWatch Log, lihat [Aktivitas sesi logging](https://docs.aws.amazon.com/systems-manager/latest/userguide/session-manager-logging.html). Log tersedia di aliran log SSM,`variant-name/ec2-instance-id/ssm`, di bawah grup log titik akhir. `/aws/sagemaker/endpoints/endpoint-name` Untuk informasi selengkapnya tentang cara melihat log, lihat [Melihat data log yang dikirim ke CloudWatch Log](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/Working-with-log-groups-and-streams.html#ViewingLogData).
Varian produksi di belakang titik akhir Anda dapat memiliki beberapa wadah model. Log untuk setiap wadah model dicatat dalam aliran log. Setiap log didahului oleh`[sagemaker ssm logs][container-name]`, di `container-name` mana nama yang Anda berikan ke wadah, atau nama default, seperti`container_0`, dan. `container_1`
## Mengakses wadah model
Untuk mengakses wadah model pada instance endpoint Anda, Anda memerlukan ID targetnya. ID target ada dalam salah satu format berikut:
+ `sagemaker-endpoint:endpoint-name_variant-name_ec2-instance-id`untuk wadah pada titik akhir kontainer tunggal
+ `sagemaker-endpoint:endpoint-name_variant-name_ec2-instance-id_container-name`untuk wadah pada titik akhir multi-kontainer
Contoh berikut menunjukkan bagaimana Anda dapat menggunakan AWS CLI untuk mengakses wadah model menggunakan ID target.
```
aws ssm start-session --target sagemaker-endpoint:prod-image-classifier_variant1_i-003a121c1b21a90a9_container_1
```
Jika Anda mengaktifkan logging, seperti yang disebutkan di[Logging dengan Amazon CloudWatch Logs](#ssm-access-logging), Anda dapat menemukan target IDs untuk semua kontainer yang terdaftar di awal aliran log SSM.
**catatan**
Anda tidak dapat terhubung ke wadah algoritma 1P atau wadah model yang diperoleh dari SageMaker AI MarketPlace dengan SSM. Namun Anda dapat terhubung ke wadah pembelajaran mendalam (DLCs) yang disediakan oleh AWS atau wadah khusus apa pun yang Anda miliki.
Jika Anda telah mengaktifkan isolasi jaringan untuk wadah model yang mencegahnya melakukan panggilan jaringan keluar, Anda tidak dapat memulai sesi SSM untuk wadah tersebut.
Anda hanya dapat mengakses satu kontainer dari satu sesi SSM. Untuk mengakses wadah lain, meskipun berada di belakang titik akhir yang sama, mulailah sesi SSM baru dengan ID target titik akhir tersebut.
# Server model untuk penerapan model dengan Amazon AI SageMaker
Anda dapat menggunakan server model populer, seperti TorchServe, DJL Serving, dan Triton Inference Server, untuk menyebarkan model Anda di AI. SageMaker Topik berikut menjelaskan caranya.
**Topics**
+ [Menyebarkan model dengan TorchServe](deploy-models-frameworks-torchserve.md)
+ [Menyebarkan model dengan DJL Serving](deploy-models-frameworks-djl-serving.md)
+ [Penerapan model dengan Triton Inference Server](deploy-models-frameworks-triton.md)
# Menyebarkan model dengan TorchServe
TorchServe adalah server model yang direkomendasikan untuk PyTorch, sudah diinstal sebelumnya di AWS PyTorch Deep Learning Container (DLC). Alat canggih ini menawarkan pelanggan pengalaman yang konsisten dan ramah pengguna, memberikan kinerja tinggi dalam menerapkan beberapa PyTorch model di berbagai AWS instance, termasuk CPU, GPU, Neuron, dan Graviton, terlepas dari ukuran model atau distribusinya.
TorchServe mendukung beragam fitur canggih, termasuk batching dinamis, microbatching, A/B pengujian model, streaming, obor XLA, TensorRT, ONNX dan IPEX. Selain itu, ia dengan mulus mengintegrasikan PyTorch solusi model besar, PiPPy, memungkinkan penanganan model besar yang efisien. Selain itu, TorchServe memperluas dukungannya ke perpustakaan open-source populer seperti DeepSpeed, Accelerate, Fast Transformers, dan banyak lagi, memperluas kemampuannya lebih jauh. Dengan TorchServe, AWS pengguna dapat dengan percaya diri menerapkan dan melayani PyTorch model mereka, memanfaatkan keserbagunaan dan kinerja yang dioptimalkan di berbagai konfigurasi perangkat keras dan jenis model. Untuk informasi lebih rinci, Anda dapat merujuk ke [PyTorchdokumentasi](https://pytorch.org/serve/) dan [TorchServeseterusnya GitHub](https://github.com/pytorch/serve).
Tabel berikut mencantumkan yang AWS PyTorch DLCs didukung oleh TorchServe.
| Tipe instans | SageMaker Tautan AI PyTorch DLC |
| --- | --- |
| CPU dan GPU | [SageMaker PyTorch Kontainer AI](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#sagemaker-framework-containers-sm-support-only) |
| Neuron | [PyTorch Wadah neuron](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#neuron-containers) |
| Graviton | [SageMaker Wadah AI PyTorch Graviton](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#sagemaker-framework-graviton-containers-sm-support-only) |
Bagian berikut menjelaskan pengaturan untuk membangun dan menguji PyTorch DLCs di Amazon SageMaker AI.
## Memulai
Untuk memulai, pastikan Anda memiliki prasyarat berikut:
1. Pastikan Anda memiliki akses ke AWS akun. Siapkan lingkungan Anda sehingga AWS CLI dapat mengakses akun Anda melalui pengguna AWS IAM atau peran IAM. Kami merekomendasikan menggunakan peran IAM. Untuk tujuan pengujian di akun pribadi Anda, Anda dapat melampirkan kebijakan izin terkelola berikut ke peran IAM:
+ [Amazon EC2 ContainerRegistryFullAccess](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/AmazonEC2ContainerRegistryFullAccess)
+ [Amazon EC2 FullAccess](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/AmazonEC2FullAccess)
+ [AWS ServiceRoleForAmazonEKSNodegroup](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/AWSServiceRoleForAmazonEKSNodegroup)
+ [AmazonSageMakerFullAccess](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/AmazonSageMakerFullAccess)
+ [AmazonS3 FullAccess](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/AmazonS3FullAccess)
1. Konfigurasikan dependensi Anda secara lokal, seperti yang ditunjukkan pada contoh berikut:
```
from datetime import datetime
import os
import json
import logging
import time
# External Dependencies:
import boto3
from botocore.exceptions import ClientError
import sagemaker
sess = boto3.Session()
sm = sess.client("sagemaker")
region = sess.region_name
account = boto3.client("sts").get_caller_identity().get("Account")
smsess = sagemaker.Session(boto_session=sess)
role = sagemaker.get_execution_role()
# Configuration:
bucket_name = smsess.default_bucket()
prefix = "torchserve"
output_path = f"s3://{bucket_name}/{prefix}/models"
print(f"account={account}, region={region}, role={role}")
```
1. Ambil gambar PyTorch DLC, seperti yang ditunjukkan pada contoh berikut.
SageMaker Gambar AI PyTorch DLC tersedia di semua AWS wilayah. Untuk informasi selengkapnya, lihat [daftar gambar kontainer DLC](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#sagemaker-framework-containers-sm-support-only).
```
baseimage = sagemaker.image_uris.retrieve(
framework="pytorch",
region="",
py_version="py310",
image_scope="inference",
version="2.0.1",
instance_type="ml.g4dn.16xlarge",
)
```
1. Buat ruang kerja lokal.
```
mkdir -p workspace/
```
## Menambahkan paket
Bagian berikut menjelaskan cara menambahkan dan menginstal paket ke gambar PyTorch DLC Anda.
**Kasus penggunaan BYOC**
Langkah-langkah berikut menguraikan cara menambahkan paket ke gambar PyTorch DLC Anda. Untuk informasi selengkapnya tentang menyesuaikan container, lihat [Membangun Gambar Kustom AWS Deep Learning Containers](https://github.com/aws/deep-learning-containers/blob/master/custom_images.md).
1. Misalkan Anda ingin menambahkan paket ke image PyTorch docker DLC. Buat Dockerfile di bawah `docker` direktori, seperti yang ditunjukkan pada contoh berikut:
```
mkdir -p workspace/docker
cat workspace/docker/Dockerfile
ARG BASE_IMAGE
FROM $BASE_IMAGE
#Install any additional libraries
RUN pip install transformers==4.28.1
```
1. Buat dan publikasikan image docker yang disesuaikan dengan menggunakan skrip [build\$1and\$1push.sh](https://github.com/aws/amazon-sagemaker-examples/blob/main/inference/torchserve/mme-gpu/workspace/docker/build_and_push.sh) berikut.
```
# Download script build_and_push.sh to workspace/docker
ls workspace/docker
build_and_push.sh Dockerfile
# Build and publish your docker image
reponame = "torchserve"
versiontag = "demo-0.1"
./build_and_push.sh {reponame} {versiontag} {baseimage} {region} {account}
```
**SageMaker Kasus penggunaan prainstal AI**
Contoh berikut menunjukkan cara menginstal paket ke wadah PyTorch DLC Anda. Anda harus membuat `requirements.txt` file secara lokal di bawah direktori`workspace/code`.
```
mkdir -p workspace/code
cat workspace/code/requirements.txt
transformers==4.28.1
```
## Buat artefak TorchServe model
Dalam contoh berikut, kami menggunakan model [MNIST](https://github.com/pytorch/serve/tree/master/examples/image_classifier/mnist) yang telah dilatih sebelumnya. Kami membuat direktori`workspace/mnist`, menerapkan [mnist\$1handler.py](https://github.com/pytorch/serve/blob/master/examples/image_classifier/mnist/mnist_handler.py) dengan mengikuti [instruksi layanan TorchServe khusus](https://github.com/pytorch/serve/blob/master/docs/custom_service.md#custom-service), dan [mengkonfigurasi parameter model](https://github.com/pytorch/serve/tree/master/model-archiver#config-file) (seperti ukuran batch dan pekerja) di [model-config.yaml](https://github.com/aws/amazon-sagemaker-examples/blob/main/inference/torchserve/mme-gpu/workspace/lama/model-config.yaml). Kemudian, kami menggunakan TorchServe alat `torch-model-archiver` untuk membangun artefak model dan mengunggah ke Amazon S3.
1. Konfigurasikan parameter model di`model-config.yaml`.
```
ls -al workspace/mnist-dev
mnist.py
mnist_handler.py
mnist_cnn.pt
model-config.yaml
# config the model
cat workspace/mnist-dev/model-config.yaml
minWorkers: 1
maxWorkers: 1
batchSize: 4
maxBatchDelay: 200
responseTimeout: 300
```
1. Bangun artefak model dengan menggunakan [torch-model-archiver ](https://github.com/pytorch/serve/tree/master/model-archiver#torch-model-archiver-for-torchserve).
```
torch-model-archiver --model-name mnist --version 1.0 --model-file workspace/mnist-dev/mnist.py --serialized-file workspace/mnist-dev/mnist_cnn.pt --handler workspace/mnist-dev/mnist_handler.py --config-file workspace/mnist-dev/model-config.yaml --archive-format tgz
```
Jika Anda ingin menginstal paket, Anda harus menyertakan `code` direktori dalam `tar.gz` file.
```
cd workspace
torch-model-archiver --model-name mnist --version 1.0 --model-file mnist-dev/mnist.py --serialized-file mnist-dev/mnist_cnn.pt --handler mnist-dev/mnist_handler.py --config-file mnist-dev/model-config.yaml --archive-format no-archive
cd mnist
mv ../code .
tar cvzf mnist.tar.gz .
```
1. Unggah `mnist.tar.gz` ke Amazon S3.
```
# upload mnist.tar.gz to S3
output_path = f"s3://{bucket_name}/{prefix}/models"
aws s3 cp mnist.tar.gz {output_path}/mnist.tar.gz
```
## Menggunakan titik akhir model tunggal untuk diterapkan dengan TorchServe
[Contoh berikut menunjukkan cara membuat [titik akhir inferensi real-time model tunggal, menerapkan model ke titik akhir](https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints-deployment.html), dan menguji titik akhir dengan menggunakan Amazon Python SDK. SageMaker ](https://sagemaker.readthedocs.io/en/stable/)
```
from sagemaker.model import Model
from sagemaker.predictor import Predictor
# create the single model endpoint and deploy it on SageMaker AI
model = Model(model_data = f'{output_path}/mnist.tar.gz',
image_uri = baseimage,
role = role,
predictor_cls = Predictor,
name = "mnist",
sagemaker_session = smsess)
endpoint_name = 'torchserve-endpoint-' + time.strftime("%Y-%m-%d-%H-%M-%S", time.gmtime())
predictor = model.deploy(instance_type='ml.g4dn.xlarge',
initial_instance_count=1,
endpoint_name = endpoint_name,
serializer=JSONSerializer(),
deserializer=JSONDeserializer())
# test the endpoint
import random
import numpy as np
dummy_data = {"inputs": np.random.rand(16, 1, 28, 28).tolist()}
res = predictor.predict(dummy_data)
```
## Menggunakan titik akhir multi-model untuk diterapkan TorchServe
[Titik akhir multi-model](https://docs.aws.amazon.com/sagemaker/latest/dg/multi-model-endpoints.html) adalah solusi yang dapat diskalakan dan hemat biaya untuk menampung sejumlah besar model di belakang satu titik akhir. Mereka meningkatkan pemanfaatan titik akhir dengan berbagi armada sumber daya yang sama dan melayani wadah untuk menampung semua model Anda. Mereka juga mengurangi overhead penerapan karena SageMaker AI mengelola model bongkar muat secara dinamis, serta penskalaan sumber daya berdasarkan pola lalu lintas. Titik akhir multi-model sangat berguna untuk pembelajaran mendalam dan model AI generatif yang membutuhkan daya komputasi yang dipercepat.
Dengan menggunakan TorchServe titik akhir multi-model SageMaker AI, Anda dapat mempercepat pengembangan Anda dengan menggunakan tumpukan penyajian yang Anda kenal sambil memanfaatkan pembagian sumber daya dan manajemen model yang disederhanakan yang disediakan oleh titik akhir multi-model SageMaker AI.
[Contoh berikut menunjukkan cara membuat endpoint multi-model, menerapkan model ke endpoint, dan menguji endpoint dengan menggunakan Amazon Python SDK. SageMaker ](https://sagemaker.readthedocs.io/en/stable/) Rincian tambahan dapat ditemukan dalam [contoh notebook](https://github.com/aws/amazon-sagemaker-examples/blob/main/inference/torchserve/mme-gpu/torchserve_multi_model_endpoint.ipynb) ini.
```
from sagemaker.multidatamodel import MultiDataModel
from sagemaker.model import Model
from sagemaker.predictor import Predictor
# create the single model endpoint and deploy it on SageMaker AI
model = Model(model_data = f'{output_path}/mnist.tar.gz',
image_uri = baseimage,
role = role,
sagemaker_session = smsess)
endpoint_name = 'torchserve-endpoint-' + time.strftime("%Y-%m-%d-%H-%M-%S", time.gmtime())
mme = MultiDataModel(
name = endpoint_name,
model_data_prefix = output_path,
model = model,
sagemaker_session = smsess)
mme.deploy(
initial_instance_count = 1,
instance_type = "ml.g4dn.xlarge",
serializer=sagemaker.serializers.JSONSerializer(),
deserializer=sagemaker.deserializers.JSONDeserializer())
# list models
list(mme.list_models())
# create mnist v2 model artifacts
cp mnist.tar.gz mnistv2.tar.gz
# add mnistv2
mme.add_model(mnistv2.tar.gz)
# list models
list(mme.list_models())
predictor = Predictor(endpoint_name=mme.endpoint_name, sagemaker_session=smsess)
# test the endpoint
import random
import numpy as np
dummy_data = {"inputs": np.random.rand(16, 1, 28, 28).tolist()}
res = predictor.predict(date=dummy_data, target_model="mnist.tar.gz")
```
## Metrik-metrik
TorchServe mendukung metrik tingkat sistem dan tingkat model. Anda dapat mengaktifkan metrik dalam mode format log atau mode Prometheus melalui variabel lingkungan. `TS_METRICS_MODE` Anda dapat menggunakan file konfigurasi metrik TorchServe pusat `metrics.yaml` untuk menentukan jenis metrik yang akan dilacak, seperti jumlah permintaan, latensi, penggunaan memori, pemanfaatan GPU, dan banyak lagi. Dengan mengacu pada file ini, Anda dapat memperoleh wawasan tentang kinerja dan kesehatan model yang diterapkan dan secara efektif memantau perilaku TorchServe server secara real-time. Untuk informasi lebih rinci, lihat [dokumentasi TorchServe metrik](https://github.com/pytorch/serve/blob/master/docs/metrics.md#torchserve-metrics).
Anda dapat mengakses log TorchServe metrik yang mirip dengan format StatSD melalui filter log CloudWatch Amazon. Berikut ini adalah contoh log TorchServe metrik:
```
CPUUtilization.Percent:0.0|#Level:Host|#hostname:my_machine_name,timestamp:1682098185
DiskAvailable.Gigabytes:318.0416717529297|#Level:Host|#hostname:my_machine_name,timestamp:1682098185
```
# Menyebarkan model dengan DJL Serving
DJL Serving adalah solusi penyajian model berdiri sendiri universal berkinerja tinggi. Dibutuhkan model pembelajaran mendalam, beberapa model, atau alur kerja dan membuatnya tersedia melalui titik akhir HTTP.
Anda dapat menggunakan salah satu DJL Serving [Deep Learning Containers (DLCs)](https://docs.aws.amazon.com/deep-learning-containers/latest/devguide/what-is-dlc.html) untuk melayani model Anda. AWS Untuk mempelajari tentang jenis model dan kerangka kerja yang didukung, lihat repositori [DJL Serving GitHub](https://github.com/deepjavalibrary/djl-serving).
DJL Serving menawarkan banyak fitur yang membantu Anda untuk menyebarkan model Anda dengan kinerja tinggi:
+ Kemudahan penggunaan - DJL Serving dapat melayani sebagian besar model tanpa modifikasi apa pun. Anda membawa artefak model Anda, dan DJL Serving dapat meng-host mereka.
+ Beberapa perangkat dan dukungan akselerator - DJL Serving mendukung penerapan model pada CPUs, GPUs, dan Inferentia. AWS
+ Kinerja - DJL Serving menjalankan inferensi multithreaded dalam satu mesin virtual Java (JVM) untuk meningkatkan throughput.
+ Batching dinamis - DJL Serving mendukung batching dinamis untuk meningkatkan throughput.
+ Penskalaan otomatis - DJL Serving secara otomatis menskalakan pekerja naik atau turun berdasarkan beban lalu lintas.
+ Dukungan multi-engine - DJL Serving dapat secara bersamaan meng-host model menggunakan kerangka kerja yang berbeda (misalnya, PyTorch dan). TensorFlow
+ Model ensemble dan alur kerja - DJL Serving mendukung penerapan alur kerja kompleks yang terdiri dari beberapa model dan dapat mengeksekusi bagian dari alur kerja dan bagian lain pada. CPUs GPUs Model dalam alur kerja dapat memanfaatkan kerangka kerja yang berbeda.
Bagian berikut menjelaskan cara menyiapkan endpoint dengan DJL Serving on SageMaker AI.
## Memulai
Untuk memulai, pastikan Anda memiliki prasyarat berikut:
1. Pastikan Anda memiliki akses ke AWS akun. Siapkan lingkungan Anda sehingga AWS CLI dapat mengakses akun Anda melalui pengguna AWS IAM atau peran IAM. Kami merekomendasikan menggunakan peran IAM. Untuk tujuan pengujian di akun pribadi Anda, Anda dapat melampirkan kebijakan izin terkelola berikut ke peran IAM:
+ [Amazon EC2 ContainerRegistryFullAccess](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/AmazonEC2ContainerRegistryFullAccess)
+ [Amazon EC2 FullAccess](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/AmazonEC2FullAccess)
+ [AmazonSageMakerFullAccess](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/AmazonSageMakerFullAccess)
+ [AmazonS3 FullAccess](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/AmazonS3FullAccess)
1. Pastikan Anda telah menyiapkan klien [docker](https://docs.docker.com/get-docker/) di sistem Anda.
1. Masuk ke Amazon Elastic Container Registry dan atur variabel lingkungan berikut:
```
export ACCOUNT_ID=
export REGION=
aws ecr get-login-password --region $REGION | docker login --username AWS --password-stdin $ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com
```
1. Tarik gambar docker.
```
docker pull 763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.22.1-deepspeed0.9.2-cu118
```
Untuk semua gambar kontainer DJL Serving yang tersedia, lihat wadah inferensi [model besar dan wadah inferensi](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#large-model-inference-containers) [CPU Serving DJL](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#djl-cpu-full-inference-containers). Saat memilih gambar dari tabel di tautan sebelumnya, ganti AWS wilayah di kolom URL contoh dengan wilayah tempat Anda berada. Tersedia di wilayah DLCs yang tercantum dalam tabel di bagian atas halaman [Available Deep Learning Containers Images](https://github.com/aws/deep-learning-containers/blob/master/available_images.md).
## Sesuaikan wadah Anda
Anda dapat menambahkan paket ke gambar DLC dasar untuk menyesuaikan wadah Anda. Misalkan Anda ingin menambahkan paket ke image `763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.22.1-deepspeed0.9.2-cu118` docker. Anda harus membuat dockerfile dengan gambar yang Anda inginkan sebagai gambar dasar, menambahkan paket yang diperlukan, dan mendorong gambar ke Amazon ECR.
Untuk menambahkan paket, selesaikan langkah-langkah berikut:
1. Tentukan instruksi untuk menjalankan pustaka atau paket yang Anda inginkan di dockerfile gambar dasar.
```
FROM 763104351884.dkr.ecr.us-west-2.amazonaws.com/djl-inference:0.22.1-deepspeed0.9.2-cu118
## add custom packages/libraries
RUN git clone https://github.com/awslabs/amazon-sagemaker-examples
```
1. Bangun image Docker dari dockerfile. Tentukan repositori Amazon ECR Anda, nama gambar dasar, dan tag untuk gambar. Jika Anda tidak memiliki repositori Amazon ECR, lihat Menggunakan [Amazon ECR dengan di AWS CLI](https://docs.aws.amazon.com/AmazonECR/latest/userguide/getting-started-cli.html) *Panduan Pengguna Amazon ECR* untuk petunjuk tentang cara membuatnya.
```
docker build -f Dockerfile -t /:
```
1. Dorong gambar Docker ke repositori Amazon ECR Anda.
```
docker push $ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com/:
```
Anda sekarang harus memiliki gambar kontainer khusus yang dapat Anda gunakan untuk penyajian model. Untuk contoh penyesuaian kontainer lainnya, lihat [Membangun Gambar Kustom AWS Deep Learning Containers](https://github.com/aws/deep-learning-containers/blob/master/custom_images.md).
## Siapkan artefak model Anda
Sebelum menerapkan model Anda di SageMaker AI, Anda harus mengemas artefak model Anda dalam sebuah `.tar.gz` file. DJL Serving menerima artefak berikut dalam arsip Anda:
+ Pos pemeriksaan model: File yang menyimpan bobot model Anda.
+ `serving.properties`: File konfigurasi yang dapat Anda tambahkan untuk setiap model. Tempatkan `serving.properties` di direktori yang sama dengan file model Anda.
+ `model.py`: Kode penangan inferensi. Ini hanya berlaku saat menggunakan mode Python. Jika Anda tidak menentukan`model.py`, djl-serving menggunakan salah satu penangan default.
Berikut ini adalah contoh `model.tar.gz` struktur:
```
- model_root_dir # root directory
- serving.properties
- model.py # your custom handler file for Python, if you choose not to use the default handlers provided by DJL Serving
- model binary files # used for Java mode, or if you don't want to use option.model_id and option.s3_url for Python mode
```
DJL Serving mendukung mesin Java didukung oleh mesin DJL atau Python. Tidak semua artefak sebelumnya diperlukan; artefak yang diperlukan bervariasi berdasarkan mode yang Anda pilih. Misalnya, dalam mode Python, Anda hanya perlu menentukan `option.model_id` dalam `serving.properties` file; Anda tidak perlu menentukan pos pemeriksaan model di dalam wadah LMI. Dalam mode Java, Anda diminta untuk mengemas pos pemeriksaan model. Untuk detail selengkapnya tentang cara mengkonfigurasi `serving.properties` dan mengoperasikan dengan mesin yang berbeda, lihat [Mode Operasi Penyajian DJL](https://github.com/deepjavalibrary/djl-serving/blob/master/serving/docs/modes.md).
## Gunakan titik akhir model tunggal untuk menerapkan dengan DJL Serving
Setelah menyiapkan artefak model Anda, Anda dapat menerapkan model Anda ke titik akhir SageMaker AI. Bagian ini menjelaskan cara menerapkan model tunggal ke titik akhir dengan DJL Serving. Jika Anda menerapkan beberapa model, lewati bagian ini dan buka. [Gunakan titik akhir multi-model untuk menerapkan dengan DJL Serving](#deploy-models-frameworks-djl-mme)
Contoh berikut menunjukkan metode untuk membuat objek model menggunakan Amazon SageMaker Python SDK. Anda harus menentukan bidang berikut:
+ `image_uri`: Anda dapat mengambil salah satu gambar DJL Serving dasar seperti yang ditunjukkan dalam contoh ini, atau Anda dapat menentukan gambar Docker kustom dari repositori Amazon ECR Anda, jika Anda mengikuti instruksi di. [Sesuaikan wadah Anda](#deploy-models-frameworks-djl-byoc)
+ `model_s3_url`: Ini harus URI Amazon S3 yang menunjuk ke file Anda`.tar.gz`.
+ `model_name`: Tentukan nama untuk objek model.
```
import boto3
import sagemaker
from sagemaker.model import Model
from sagemaker import image_uris, get_execution_role
aws_region = "aws-region"
sagemaker_session = sagemaker.Session(boto_session=boto3.Session(region_name=aws_region))
role = get_execution_role()
def create_model(model_name, model_s3_url):
# Get the DJL DeepSpeed image uri
image_uri = image_uris.retrieve(
framework="djl-deepspeed",
region=sagemaker_session.boto_session.region_name,
version="0.20.0"
)
model = Model(
image_uri=image_uri,
model_data=model_s3_url,
role=role,
name=model_name,
sagemaker_session=sagemaker_session,
)
return model
```
## Gunakan titik akhir multi-model untuk menerapkan dengan DJL Serving
Jika Anda ingin menerapkan beberapa model ke titik akhir, SageMaker AI menawarkan titik akhir multi-model, yang merupakan solusi terukur dan hemat biaya untuk menerapkan sejumlah besar model. DJL Serving juga mendukung pemuatan beberapa model secara bersamaan dan menjalankan inferensi pada masing-masing model secara bersamaan. Kontainer Penyajian DJL mematuhi kontrak titik akhir multi-model SageMaker AI dan dapat digunakan untuk menyebarkan titik akhir multi-model.
Setiap artefak model individu perlu dikemas dengan cara yang sama seperti yang dijelaskan di bagian sebelumnya. [Siapkan artefak model Anda](#deploy-models-frameworks-djl-artifacts) Anda dapat mengatur konfigurasi khusus model dalam `serving.properties` file dan kode pengendali inferensi khusus model di. `model.py` Untuk titik akhir multi-model, model perlu diatur dengan cara berikut:
```
root_dir
|-- model_1.tar.gz
|-- model_2.tar.gz
|-- model_3.tar.gz
.
.
.
```
Amazon SageMaker Python SDK menggunakan [MultiDataModel](https://sagemaker.readthedocs.io/en/stable/api/inference/multi_data_model.html)objek untuk membuat instance endpoint multi-model. URI Amazon S3 untuk direktori root harus diteruskan sebagai `model_data_prefix` argumen ke konstruktor. `MultiDataModel`
DJL Serving juga menyediakan beberapa parameter konfigurasi untuk mengelola persyaratan memori model, seperti `required_memory_mb` dan`reserved_memory_mb`, yang dapat dikonfigurasi untuk setiap model dalam file [serving.properties.](https://github.com/deepjavalibrary/djl-serving/blob/master/serving/docs/modes.md#servingproperties) Parameter ini berguna untuk menangani kesalahan memori dengan lebih anggun. Untuk semua parameter yang dapat dikonfigurasi, lihat [OutofMemory penanganan di djl-serving](https://github.com/deepjavalibrary/djl-serving/blob/master/serving/docs/out_of_memory_management.md).
Fitur penskalaan otomatis dari DJL Serving memudahkan untuk memastikan bahwa model diskalakan dengan tepat untuk lalu lintas masuk. Secara default, DJL Serving menentukan jumlah maksimum pekerja untuk model yang dapat didukung berdasarkan perangkat keras yang tersedia (seperti core CPU atau perangkat GPU). Anda dapat mengatur batas bawah dan atas untuk setiap model untuk memastikan bahwa tingkat lalu lintas minimum selalu dapat dilayani, dan bahwa satu model tidak mengkonsumsi semua sumber daya yang tersedia. Anda dapat mengatur properti berikut dalam file [serving.properties](https://github.com/deepjavalibrary/djl-serving/blob/master/serving/docs/modes.md#servingproperties):
+ `gpu.minWorkers`: Jumlah minimum pekerja untuk GPUs.
+ `gpu.maxWorkers`: Jumlah maksimum pekerja untuk GPUs.
+ `cpu.minWorkers`: Jumlah minimum pekerja untuk CPUs.
+ `cpu.maxWorkers`: Jumlah maksimum pekerja untuk CPUs.
[Untuk end-to-end contoh cara menerapkan endpoint multi-model pada SageMaker AI menggunakan container DJL Serving, lihat contoh notebook Multi-model-inference-demo.ipynb.](https://github.com/deepjavalibrary/djl-demo/blob/master/aws/sagemaker/Multi-Model-Inference-Demo.ipynb)
# Penerapan model dengan Triton Inference Server
[Triton Inference Server](https://github.com/triton-inference-server/server) adalah perangkat lunak penyajian inferensi open source yang merampingkan inferensi AI. Dengan Triton, Anda dapat menerapkan model apa pun yang dibangun dengan beberapa kerangka pembelajaran mendalam dan pembelajaran mesin, termasuk TensorRT,,, ONNX, OpenVINO, Python, RAPIDS FIL TensorFlow PyTorch, dan banyak lagi.
Kontainer SageMaker AI Triton membantu Anda menyebarkan Triton Inference Server pada platform SageMaker AI Hosting untuk melayani model terlatih dalam produksi. Ini mendukung berbagai mode di mana SageMaker AI beroperasi. Untuk daftar container Triton Inference Server yang tersedia di SageMaker AI, lihat [NVIDIA Triton Inference Containers](https://github.com/aws/deep-learning-containers/blob/master/available_images.md#nvidia-triton-inference-containers-sm-support-only) (hanya dukungan SM).
Untuk contoh end-to-end notebook, kami sarankan untuk melihat [amazon-sagemaker-examples repositori](https://github.com/aws/amazon-sagemaker-examples/tree/main/sagemaker-triton).
## Mode hosting
Mode Hosting SageMaker AI berikut didukung oleh wadah Triton:
+ Titik akhir model tunggal
+ Ini adalah mode operasi default SageMaker AI. Dalam mode ini, wadah Triton dapat memuat satu model, atau model ansambel tunggal.
+ Nama model harus diteruskan sebagai properti lingkungan kontainer, yang merupakan bagian dari panggilan `CreateModel` SageMaker AI API. Variabel lingkungan yang digunakan untuk meneruskan nama model adalah`SAGEMAKER_TRITON_DEFAULT_MODEL_NAME`.
+ Titik akhir model tunggal dengan ansambel
+ Triton Inference Server mendukung *ansambel*, yang merupakan pipeline, atau DAG (grafik asiklik terarah) model. Sementara ansambel secara teknis terdiri dari beberapa model, dalam mode titik akhir model tunggal default, SageMaker AI dapat memperlakukan *ansambel dengan tepat* (meta-model yang mewakili pipa) sebagai model utama untuk dimuat, dan selanjutnya dapat memuat model terkait.
+ Nama model ansambel yang tepat harus digunakan untuk memuat model. Itu harus diteruskan sebagai properti lingkungan kontainer, yang merupakan bagian dari panggilan `CreateModel` SageMaker API. Variabel lingkungan yang digunakan untuk meneruskan nama model adalah`SAGEMAKER_TRITON_DEFAULT_MODEL_NAME`.
+ Titik akhir multi-model
+ Dalam mode ini, SageMaker AI dapat melayani beberapa model pada satu titik akhir. Anda dapat menggunakan mode ini dengan menentukan variabel lingkungan `‘MultiModel’: true` sebagai properti lingkungan kontainer, yang merupakan bagian dari panggilan `CreateModel` SageMaker API.
+ Secara default, tidak ada model yang dimuat saat instance dimulai. Untuk menjalankan permintaan inferensi terhadap model tertentu, tentukan `*.tar.gz` file model yang sesuai sebagai argumen ke `TargetModel` properti panggilan `InvokeEndpoint` SageMaker API.
+ Titik akhir multi-model dengan ansambel
+ Dalam mode ini, SageMaker AI berfungsi seperti yang dijelaskan untuk titik akhir multi-model. Namun, wadah SageMaker AI Triton dapat memuat beberapa model ansambel, yang berarti bahwa beberapa pipeline model dapat berjalan pada instance yang sama. SageMaker AI memperlakukan setiap ansambel sebagai satu model, dan ansambel yang tepat dari setiap model dapat dipanggil dengan menentukan arsip yang sesuai sebagai. `*.tar.gz` `TargetModel`
+ Untuk manajemen memori yang lebih baik selama memori dinamis `LOAD` dan`UNLOAD`, kami sarankan Anda menjaga ukuran ansambel kecil.
## Jenis muatan inferensi
Triton mendukung dua metode pengiriman muatan inferensi melalui jaringan - `json` dan `binary+json` (atau json yang dikodekan biner). Muatan JSON dalam kedua kasus mencakup tipe data, bentuk, dan tensor permintaan inferensi yang sebenarnya. Tensor permintaan harus berupa tensor biner.
Dengan `binary+json` formatnya, Anda harus menentukan panjang metadata permintaan di header untuk memungkinkan Triton mengurai muatan biner dengan benar. Dalam wadah SageMaker AI Triton, ini dilakukan dengan menggunakan `Content-Type` header khusus:. `application/vnd.sagemaker-triton.binary+json;json-header-size={}` Ini berbeda dengan menggunakan `Inference-Header-Content-Length` header pada Triton Inference Server yang berdiri sendiri karena header khusus tidak diizinkan di AI. SageMaker
## Menggunakan config.pbtxt untuk mengatur konfigurasi model
Untuk Server Inferensi Triton pada SageMaker AI, setiap model harus menyertakan `config.pbtxt` file yang menentukan, setidaknya, konfigurasi berikut untuk model:
+ `name`: Meskipun ini opsional untuk model yang berjalan di luar SageMaker AI, kami menyarankan Anda selalu memberikan nama untuk model yang akan dijalankan di Triton SageMaker pada AI.
+ [`platform`dan/atau `backend`](https://github.com/triton-inference-server/backend/blob/main/README.md#backends): Menyetel backend sangat penting untuk menentukan jenis model. Beberapa backend memiliki klasifikasi lebih lanjut, seperti `tensorflow_savedmodel` atau. ` tensorflow_graphdef` Opsi tersebut dapat ditentukan sebagai bagian dari `platform` kunci selain `backend` kunci. Backend yang paling umum adalah`tensorrt`,,`onnxruntime`,`tensorflow`,,`pytorch`, `python` `dali``fil`, dan. `openvino`
+ `input`: Tentukan tiga atribut untuk input:`name`, `data_type` dan `dims` (bentuk).
+ `output`: Tentukan tiga atribut untuk output:`name`, `data_type` dan `dims` (bentuk).
+ `max_batch_size`: Atur ukuran batch ke nilai yang lebih besar dari atau sama dengan 1 yang menunjukkan ukuran batch maksimum yang harus digunakan Triton dengan model.
[Untuk detail lebih lanjut tentang konfigurasi`config.pbtxt`, lihat repositori Triton. GitHub ](https://github.com/triton-inference-server/server/blob/main/docs/user_guide/model_configuration.md) Triton menyediakan beberapa konfigurasi untuk mengubah perilaku model. Beberapa opsi konfigurasi yang paling umum dan penting adalah:
+ [https://github.com/triton-inference-server/server/blob/main/docs/user_guide/model_configuration.md#instance-groups](https://github.com/triton-inference-server/server/blob/main/docs/user_guide/model_configuration.md#instance-groups): Grup instance membantu menentukan nomor dan lokasi untuk model tertentu. Mereka memiliki atribut`count`,`kind`, dan `gpus` (`kind`digunakan kapan`KIND_GPU`). `count`Atributnya setara dengan jumlah pekerja. Untuk penyajian model reguler, setiap pekerja memiliki salinan modelnya sendiri. Demikian pula, di Triton, `count` menentukan jumlah salinan model per perangkat. Misalnya, jika `instance_group` jenisnya`KIND_CPU`, maka CPU memiliki `count` jumlah salinan model.
**catatan**
Pada instance GPU, `instance_group` konfigurasi berlaku per perangkat GPU. Misalnya, `count` jumlah salinan model ditempatkan pada setiap perangkat GPU kecuali Anda secara eksplisit menentukan perangkat GPU mana yang harus memuat model.
+ [https://github.com/triton-inference-server/server/blob/main/docs/user_guide/model_configuration.md#dynamic-batcher](https://github.com/triton-inference-server/server/blob/main/docs/user_guide/model_configuration.md#dynamic-batcher)dan [https://github.com/triton-inference-server/server/blob/main/docs/user_guide/architecture.md#stateful-models](https://github.com/triton-inference-server/server/blob/main/docs/user_guide/architecture.md#stateful-models): Batching dinamis digunakan untuk model stateless, dan batch urutan digunakan untuk model stateful (di mana Anda ingin merutekan permintaan ke instance model yang sama setiap saat). Penjadwal batching mengaktifkan antrian per model, yang membantu meningkatkan throughput, tergantung pada konfigurasi batching.
+ [https://github.com/triton-inference-server/server/blob/main/docs/user_guide/architecture.md#ensemble-models](https://github.com/triton-inference-server/server/blob/main/docs/user_guide/architecture.md#ensemble-models): Model ansambel mewakili *pipa* dari satu atau lebih model dan koneksi tensor input dan output antara model-model tersebut. Itu dapat dikonfigurasi dengan menentukan `platform` sebagai`ensemble`. Konfigurasi ansambel hanyalah representasi dari pipa model. Pada SageMaker AI, semua model di bawah ansambel diperlakukan sebagai tanggungan model ansambel dan dihitung sebagai model tunggal untuk SageMaker metrik AI, seperti. `LoadedModelCount`
## Menerbitkan metrik Triton default ke Amazon CloudWatch
NVIDIA Triton Inference Container memaparkan metrik pada port 8002 (dapat dikonfigurasi) untuk model yang berbeda dan GPUs yang digunakan di Triton Inference Server. Untuk detail lengkap metrik default yang tersedia, lihat GitHub halaman untuk metrik [Triton Inference](https://github.com/triton-inference-server/server/blob/main/docs/user_guide/metrics.md) Server. Metrik ini dalam format Prometheus dan dapat dikikis menggunakan konfigurasi scraper Prometheus.
Dimulai dengan versi v23.07 dan seterusnya, wadah SageMaker AI Triton mendukung penerbitan metrik ini ke Amazon CloudWatch dengan menentukan beberapa variabel lingkungan. Untuk mengikis metrik Prometheus, wadah SageMaker AI Triton memanfaatkan agen Amazon. CloudWatch
Variabel lingkungan yang diperlukan yang harus Anda tentukan untuk mengumpulkan metrik adalah sebagai berikut:
| Variabel lingkungan | Deskripsi | Nilai contoh |
| --- | --- | --- |
| `SAGEMAKER_TRITON_ALLOW_METRICS` | Tentukan opsi ini untuk memungkinkan Triton mempublikasikan metrik ke titik akhir Prometheus-nya. | “benar” |
| `SAGEMAKER_TRITON_PUBLISH_METRICS_TO_CLOUDWATCH` | Tentukan opsi ini untuk memulai pra-pemeriksaan yang diperlukan untuk menerbitkan metrik ke Amazon. CloudWatch | “benar” |
| `SAGEMAKER_TRITON_CLOUDWATCH_LOG_GROUP` | Tentukan opsi ini untuk menunjuk ke grup log tempat metrik ditulis. | "/aws/SageMaker AI/Endpoints/TritonMetrics/SageMakerTwoEnsemblesTest" |
| `SAGEMAKER_TRITON_CLOUDWATCH_METRIC_NAMESPACE` | Tentukan opsi ini untuk menunjuk ke namespace metrik tempat Anda ingin melihat dan memplot metrik. | "/aws/SageMaker AI/Endpoints/TritonMetrics/SageMakerTwoEnsemblesPublicTest" |
| `SAGEMAKER_TRITON_METRICS_PORT` | Tentukan ini sebagai 8002, atau port lainnya. Jika SageMaker AI belum memblokir port yang ditentukan, itu digunakan. Jika tidak, port lain yang tidak diblokir dipilih secara otomatis. | “8002" |
Saat menerbitkan metrik dengan Triton di SageMaker AI, ingatlah batasan berikut:
+ Meskipun Anda dapat menghasilkan metrik khusus melalui backend C-API dan Python (v23.05 dan seterusnya), metrik ini saat ini tidak didukung untuk dipublikasikan ke Amazon. CloudWatch
+ Dalam mode titik akhir multi-model SageMaker AI (MME), Triton berjalan di lingkungan yang mengharuskan ruang nama model diaktifkan karena setiap model (kecuali model ansambel) diperlakukan seolah-olah berada di repositori model mereka sendiri. Saat ini, ini menciptakan batasan untuk metrik. Saat ruang nama model diaktifkan, Triton tidak membedakan metrik antara dua model dengan nama yang sama milik ansambel yang berbeda. Sebagai solusinya, pastikan setiap model yang digunakan memiliki nama yang unik. Ini juga membuatnya lebih mudah untuk mencari metrik Anda. CloudWatch
## Variabel-variabel lingkungan
Tabel berikut mencantumkan variabel lingkungan yang didukung untuk Triton pada SageMaker AI.
| Variabel lingkungan | Deskripsi | Tipe | Kemungkinan nilai |
| --- | --- | --- | --- |
| `SAGEMAKER_MULTI_MODEL` | Memungkinkan Triton beroperasi dalam mode titik akhir multi-model SageMaker AI. | Boolean | `true`, `false` |
| `SAGEMAKER_TRITON_DEFAULT_MODEL_NAME` | Tentukan model yang akan dimuat dalam mode model tunggal SageMaker AI (default). Untuk mode ansambel, tentukan nama ansambel yang tepat. | String | **seperti yang ditentukan dalam config.pbtxt |
| `SAGEMAKER_TRITON_PING_MODE` | `'ready'`adalah mode default dalam mode model tunggal SageMaker AI, dan `'live'` merupakan default dalam mode titik akhir multi-model SageMaker AI. | String | `ready`, `live` |
| `SAGEMAKER_TRITON_DISABLE_MODEL_NAMESPACING` | Dalam wadah SageMaker AI Triton, ini diatur ke secara `true` default. | Boolean | `true`, `false` |
| `SAGEMAKER_BIND_TO_PORT` | Sementara di SageMaker AI, port default adalah 8080. Anda dapat menyesuaikan ke port yang berbeda dalam skenario multi-kontainer. | String | ** |
| `SAGEMAKER_SAFE_PORT_RANGE` | Ini diatur oleh platform SageMaker AI saat menggunakan mode multi-kontainer. | String | **–** |
| `SAGEMAKER_TRITON_ALLOW_GRPC` | Meskipun SageMaker AI tidak mendukung GRPC saat ini, jika Anda menggunakan Triton di depan proxy terbalik khusus, Anda dapat memilih untuk mengaktifkan GRPC. | Boolean | `true`, `false` |
| `SAGEMAKER_TRITON_GRPC_PORT` | Port default untuk GRPC adalah 8001, tetapi Anda dapat mengubahnya. | String | ** |
| `SAGEMAKER_TRITON_THREAD_COUNT` | Anda dapat mengatur jumlah thread handler permintaan HTTP default. | String | ** |
| `SAGEMAKER_TRITON_LOG_VERBOSE` | `true`secara default pada SageMaker AI, tetapi Anda dapat menonaktifkan opsi ini secara selektif. | Boolean | `true`, `false` |
| `SAGEMAKER_TRITON_LOG_INFO` | `false`secara default pada SageMaker AI. | Boolean | `true`, `false` |
| `SAGEMAKER_TRITON_LOG_WARNING` | `false`secara default pada SageMaker AI. | Boolean | `true`, `false` |
| `SAGEMAKER_TRITON_LOG_ERROR` | `false`secara default pada SageMaker AI. | Boolean | `true`, `false` |
| `SAGEMAKER_TRITON_SHM_DEFAULT_BYTE_SIZE` | Tentukan ukuran shm untuk backend Python, dalam byte. Nilai defaultnya adalah 16 MB tetapi dapat ditingkatkan. | String | ** |
| `SAGEMAKER_TRITON_SHM_GROWTH_BYTE_SIZE` | Tentukan ukuran pertumbuhan shm untuk backend Python, dalam byte. Nilai default adalah 1 MB tetapi dapat ditingkatkan untuk memungkinkan peningkatan yang lebih besar. | String | ** |
| `SAGEMAKER_TRITON_TENSORFLOW_VERSION` | Nilai default-nya adalah `2`. Triton tidak lagi mendukung Tensorflow 2 dari Triton v23.04. Anda dapat mengonfigurasi variabel ini untuk versi sebelumnya. | String | ** |
| `SAGEMAKER_TRITON_MODEL_LOAD_GPU_LIMIT` | Batasi persentase memori GPU maksimum yang digunakan untuk pemuatan model, memungkinkan sisanya digunakan untuk permintaan inferensi. | String | ** |
| `SAGEMAKER_TRITON_ALLOW_METRICS` | `false`secara default pada SageMaker AI. | Boolean | `true`, `false` |
| `SAGEMAKER_TRITON_METRICS_PORT` | Port default adalah 8002. | String | ** |
| `SAGEMAKER_TRITON_PUBLISH_METRICS_TO_CLOUDWATCH` | `false`secara default pada SageMaker AI. Setel variabel ini `true` untuk memungkinkan mendorong metrik default Triton ke Amazon. CloudWatch Jika opsi ini diaktifkan, Anda bertanggung jawab atas CloudWatch biaya saat metrik dipublikasikan ke akun Anda. | Boolean | `true`, `false` |
| `SAGEMAKER_TRITON_CLOUDWATCH_LOG_GROUP` | Diperlukan jika Anda telah mengaktifkan penerbitan metrik. CloudWatch | String | ** |
| `SAGEMAKER_TRITON_CLOUDWATCH_METRIC_NAMESPACE` | Diperlukan jika Anda telah mengaktifkan penerbitan metrik. CloudWatch | String | ** |
| `SAGEMAKER_TRITON_ADDITIONAL_ARGS` | Menambahkan argumen tambahan saat memulai Triton Server. | String | ** |
# Penerapan model di tepi dengan SageMaker Edge Manager
**Awas**
SageMaker Edge Manager dihentikan pada 26 April 2024. Untuk informasi selengkapnya tentang melanjutkan penerapan model Anda ke perangkat edge, lihat[SageMaker Edge Manager akhir hidup](edge-eol.md).
Amazon SageMaker Edge Manager menyediakan manajemen model untuk perangkat edge sehingga Anda dapat mengoptimalkan, mengamankan, memantau, dan memelihara model pembelajaran mesin pada armada perangkat edge seperti kamera pintar, robot, komputer pribadi, dan perangkat seluler.
## Mengapa Menggunakan Edge Manager?
Banyak kasus penggunaan machine learning (ML) memerlukan menjalankan model ML pada armada perangkat edge, yang memungkinkan Anda mendapatkan prediksi secara real-time, menjaga privasi pengguna akhir, dan menurunkan biaya konektivitas jaringan. Dengan meningkatnya ketersediaan perangkat keras tepi berdaya rendah yang dirancang untuk ML, sekarang dimungkinkan untuk menjalankan beberapa model jaringan saraf kompleks pada perangkat edge.
Namun, mengoperasikan model ML pada perangkat edge sangat menantang, karena perangkat, tidak seperti instance cloud, memiliki komputasi, memori, dan konektivitas yang terbatas. Setelah model dikerahkan, Anda perlu terus memantau model, karena penyimpangan model dapat menyebabkan kualitas model membusuk dari waktu ke waktu. Memantau model di seluruh armada perangkat Anda sulit karena Anda perlu menulis kode khusus untuk mengumpulkan sampel data dari perangkat Anda dan mengenali kecondongan dalam prediksi. Selain itu, model sering dikodekan dengan keras ke dalam aplikasi. Untuk memperbarui model, Anda harus membangun kembali dan memperbarui seluruh aplikasi atau firmware perangkat, yang dapat mengganggu operasi Anda.
Dengan SageMaker Edge Manager, Anda dapat mengoptimalkan, menjalankan, memantau, dan memperbarui model pembelajaran mesin di seluruh armada perangkat di edge.
## Bagaimana Cara Kerjanya?
Pada tingkat tinggi, ada lima komponen utama dalam alur kerja SageMaker Edge Manager: menyusun model dengan SageMaker Neo, mengemas model yang dikompilasi NEO, menerapkan model ke perangkat Anda, menjalankan model pada mesin inferensi SageMaker AI (agen Edge Manager), dan memelihara model di perangkat.
![\[Lima komponen utama dalam alur kerja SageMaker Edge Manager.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/smith/smith_overview.png)
SageMaker Edge Manager menggunakan SageMaker Neo untuk mengoptimalkan model Anda untuk perangkat keras target dalam satu klik, lalu menandatangani model Anda secara kriptografis sebelum penerapan. Dengan menggunakan SageMaker Edge Manager, Anda dapat mengambil sampel data input dan output model dari perangkat edge dan mengirimkannya ke cloud untuk pemantauan dan analisis, dan melihat dasbor yang melacak dan melaporkan secara visual tentang pengoperasian model yang digunakan dalam konsol SageMaker AI.
SageMaker Edge Manager memperluas kemampuan yang sebelumnya hanya tersedia di cloud hingga edge, sehingga pengembang dapat terus meningkatkan kualitas model dengan menggunakan Amazon SageMaker Model Monitor untuk deteksi drift, kemudian memberi label ulang data dengan AI Ground SageMaker Truth dan melatih kembali model dalam AI. SageMaker
## Bagaimana Cara Menggunakan SageMaker Edge Manager?
Jika Anda adalah pengguna pertama kali SageMaker Edge Manager, kami sarankan Anda melakukan hal berikut:
1. **Baca bagian [Memulai](https://docs.aws.amazon.com/sagemaker/latest/dg/edge-manager-getting-started.html) - Bagian** ini memandu Anda melalui pengaturan pekerjaan pengemasan tepi pertama Anda dan membuat armada pertama Anda.
1. **Jelajahi contoh notebook Edge Manager Jupyter - Contoh notebook** [disimpan di [amazon-sagemaker-examples](https://github.com/aws/amazon-sagemaker-examples) GitHub repositori di folder sagemaker\$1edge\$1manager.](https://github.com/aws/amazon-sagemaker-examples/tree/master/sagemaker_edge_manager)
# Langkah Pertama dengan Amazon SageMaker AI Edge Manager
Panduan ini menunjukkan cara menyelesaikan langkah-langkah yang diperlukan untuk mendaftar, menyebarkan, dan mengelola armada perangkat, dan cara memenuhi prasyarat Amazon SageMaker AI Edge Manager.
**Topics**
+ [Mengatur](edge-getting-started-step1.md)
+ [Siapkan Model Anda untuk Deployment](edge-getting-started-step2.md)
+ [Mendaftar dan Mengautentikasi Armada Perangkat Anda](edge-getting-started-step3.md)
+ [Unduh dan Atur Edge Manager](edge-getting-started-step4.md)
+ [Jalankan Agen](edge-getting-started-step5.md)
# Mengatur
Sebelum Anda mulai menggunakan SageMaker Edge Manager untuk mengelola model pada armada perangkat Anda, Anda harus terlebih dahulu membuat Peran IAM untuk SageMaker AI dan. AWS IoT Anda juga ingin membuat setidaknya satu bucket Amazon S3 di mana Anda akan menyimpan model pra-terlatih Anda, output dari pekerjaan kompilasi SageMaker Neo Anda, serta data input dari perangkat edge Anda.
## Mendaftar untuk Akun AWS
Jika Anda tidak memiliki Akun AWS, selesaikan langkah-langkah berikut untuk membuatnya.
**Untuk mendaftar untuk Akun AWS**
1. Buka [https://portal.aws.amazon.com/billing/pendaftaran.](https://portal.aws.amazon.com/billing/signup)
1. Ikuti petunjuk online.
Bagian dari prosedur pendaftaran melibatkan menerima panggilan telepon atau pesan teks dan memasukkan kode verifikasi pada keypad telepon.
Saat Anda mendaftar untuk sebuah Akun AWS, sebuah *Pengguna root akun AWS*dibuat. Pengguna root memiliki akses ke semua Layanan AWS dan sumber daya di akun. Sebagai praktik keamanan terbaik, tetapkan akses administratif ke pengguna, dan gunakan hanya pengguna root untuk melakukan [tugas yang memerlukan akses pengguna root](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_root-user.html#root-user-tasks).
AWS mengirimi Anda email konfirmasi setelah proses pendaftaran selesai. Kapan saja, Anda dapat melihat aktivitas akun Anda saat ini dan mengelola akun Anda dengan masuk [https://aws.amazon.com.rproxy.govskope.cake/](https://aws.amazon.com/) dan memilih **Akun Saya**.
## Buat pengguna dengan akses administratif
Setelah Anda mendaftar Akun AWS, amankan Pengguna root akun AWS, aktifkan AWS IAM Identity Center, dan buat pengguna administratif sehingga Anda tidak menggunakan pengguna root untuk tugas sehari-hari.
**Amankan Anda Pengguna root akun AWS**
1. Masuk ke [Konsol Manajemen AWS](https://console.aws.amazon.com/)sebagai pemilik akun dengan memilih **pengguna Root** dan memasukkan alamat Akun AWS email Anda. Di laman berikutnya, masukkan kata sandi.
Untuk bantuan masuk dengan menggunakan pengguna root, lihat [Masuk sebagai pengguna root](https://docs.aws.amazon.com/signin/latest/userguide/console-sign-in-tutorials.html#introduction-to-root-user-sign-in-tutorial) di *AWS Sign-In Panduan Pengguna*.
1. Mengaktifkan autentikasi multi-faktor (MFA) untuk pengguna root Anda.
Untuk petunjuk, lihat [Mengaktifkan perangkat MFA virtual untuk pengguna Akun AWS root (konsol) Anda](https://docs.aws.amazon.com/IAM/latest/UserGuide/enable-virt-mfa-for-root.html) di Panduan Pengguna *IAM*.
**Buat pengguna dengan akses administratif**
1. Aktifkan Pusat Identitas IAM.
Untuk mendapatkan petunjuk, silakan lihat [Mengaktifkan AWS IAM Identity Center](https://docs.aws.amazon.com//singlesignon/latest/userguide/get-set-up-for-idc.html) di *Panduan Pengguna AWS IAM Identity Center *.
1. Di Pusat Identitas IAM, berikan akses administratif ke pengguna.
Untuk tutorial tentang menggunakan Direktori Pusat Identitas IAM sebagai sumber identitas Anda, lihat [Mengkonfigurasi akses pengguna dengan default Direktori Pusat Identitas IAM](https://docs.aws.amazon.com//singlesignon/latest/userguide/quick-start-default-idc.html) di *Panduan AWS IAM Identity Center Pengguna*.
**Masuk sebagai pengguna dengan akses administratif**
+ Untuk masuk dengan pengguna Pusat Identitas IAM, gunakan URL masuk yang dikirim ke alamat email saat Anda membuat pengguna Pusat Identitas IAM.
Untuk bantuan masuk menggunakan pengguna Pusat Identitas IAM, lihat [Masuk ke portal AWS akses](https://docs.aws.amazon.com/signin/latest/userguide/iam-id-center-sign-in-tutorial.html) di *Panduan AWS Sign-In Pengguna*.
**Tetapkan akses ke pengguna tambahan**
1. Di Pusat Identitas IAM, buat set izin yang mengikuti praktik terbaik menerapkan izin hak istimewa paling sedikit.
Untuk petunjuknya, lihat [Membuat set izin](https://docs.aws.amazon.com//singlesignon/latest/userguide/get-started-create-a-permission-set.html) di *Panduan AWS IAM Identity Center Pengguna*.
1. Tetapkan pengguna ke grup, lalu tetapkan akses masuk tunggal ke grup.
Untuk petunjuk, lihat [Menambahkan grup](https://docs.aws.amazon.com//singlesignon/latest/userguide/addgroups.html) di *Panduan AWS IAM Identity Center Pengguna*.
## Buat peran dan penyimpanan
SageMaker Edge Manager memerlukan akses ke URI bucket Amazon S3 Anda. Untuk memfasilitasi ini, buat peran IAM yang dapat menjalankan SageMaker AI dan memiliki izin untuk mengakses Amazon S3. Dengan menggunakan peran ini, SageMaker AI dapat berjalan di bawah akun Anda dan akses ke bucket Amazon S3 Anda.
Anda dapat membuat peran IAM dengan menggunakan konsol IAM, AWS SDK for Python (Boto3), atau. AWS CLI Berikut ini adalah contoh cara membuat peran IAM, melampirkan kebijakan yang diperlukan dengan konsol IAM, dan membuat bucket Amazon S3.
1. **Buat peran IAM untuk Amazon SageMaker AI.**
1. Masuk ke Konsol Manajemen AWS dan buka konsol IAM di [https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/).
1. Di panel navigasi konsol IAM, pilih **Peran**, dan lalu pilih **Buat peran**.
1. Untuk **Pilih jenis entitas tepercaya**, pilih **layanan AWS **.
1. Pilih layanan yang ingin Anda perbolehkan untuk mengasumsikan peran ini. Dalam hal ini, pilih **SageMaker AI**. Kemudian, pilih **Selanjutnya: Izin**.
+ Ini secara otomatis membuat kebijakan IAM yang memberikan akses ke layanan terkait seperti Amazon S3, Amazon CloudWatch ECR, dan Log.
1. Pilih **Selanjutnya: Tanda**.
1. (Opsional) Tambahkan metadata ke dalam peran dengan melampirkan tanda sebagai pasangan nilai-kunci. Untuk informasi lebih lanjut tentang penggunaan tanda dan IAM, lihat [Penandaan sumber daya IAM](https://docs.aws.amazon.com//IAM/latest/UserGuide/id_tags.html).
1. Pilih **Berikutnya: Tinjauan**.
1. Ketik **nama Peran**.
1. Jika memungkinkan, ketikkan nama peran atau akhiran nama peran. Nama peran harus unik dalam AWS akun Anda. Grup tidak dibedakan berdasarkan huruf besar-kecil. Misalnya, Anda tidak dapat membuat peran dengan nama `PRODROLE` dan `prodrole`. Karena AWS sumber daya lain mungkin mereferensikan peran, Anda tidak dapat mengedit nama peran setelah dibuat.
1. (Opsional) Untuk **Deskripsi peran**, ketikkan deskripsi untuk peran baru tersebut.
1. Tinjau peran dan kemudian pilih **Buat peran**.
Perhatikan ARN Peran SageMaker AI, yang Anda gunakan untuk membuat pekerjaan kompilasi dengan SageMaker Neo dan pekerjaan pengemasan dengan Edge Manager. Untuk mengetahui peran ARN menggunakan konsol, lakukan hal berikut:
1. Pergi ke IAMconsole: [https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/)
1. Pilih **Peran**.
1. Cari peran yang baru saja Anda buat dengan mengetikkan nama peran di bidang pencarian.
1. Pilih peran.
1. Peran ARN ada di bagian atas halaman **Ringkasan**.
1. **Buat peran IAM untuk AWS IoT.**
Peran AWS IoT IAM yang Anda buat digunakan untuk mengotorisasi objek benda Anda. Anda juga menggunakan peran IAM ARN untuk membuat dan mendaftarkan armada perangkat dengan SageMaker objek klien AI.
Konfigurasikan peran IAM di AWS akun Anda untuk diambil oleh penyedia kredensi atas nama perangkat di armada perangkat Anda. Kemudian, lampirkan kebijakan untuk mengizinkan perangkat Anda berinteraksi dengan AWS IoT layanan.
Buat peran AWS IoT baik secara terprogram atau dengan konsol IAM, mirip dengan apa yang Anda lakukan saat membuat peran untuk AI. SageMaker
1. Masuk ke Konsol Manajemen AWS dan buka konsol IAM di [https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/).
1. Di panel navigasi konsol IAM, pilih **Peran**, dan lalu pilih **Buat peran**.
1. Untuk **Pilih jenis entitas tepercaya**, pilih **layanan AWS **.
1. Pilih layanan yang ingin Anda perbolehkan untuk mengasumsikan peran ini. Dalam hal ini, pilih **IoT**. Pilih **IoT sebagai Kasus** **Penggunaan**.
1. Pilih **Berikutnya: Izin**.
1. Pilih **Selanjutnya: Tanda**.
1. (Opsional) Tambahkan metadata ke dalam peran dengan melampirkan tanda sebagai pasangan nilai-kunci. Untuk informasi lebih lanjut tentang penggunaan tanda dan IAM, lihat [Penandaan sumber daya IAM](https://docs.aws.amazon.com//IAM/latest/UserGuide/id_tags.html).
1. Pilih **Berikutnya: Tinjauan**.
1. Ketik **nama Peran**. Nama peran harus dimulai dengan`SageMaker AI`.
1. (Opsional) Untuk **Deskripsi peran**, ketikkan deskripsi untuk peran baru tersebut.
1. Tinjau peran dan kemudian pilih **Buat peran**.
1. Setelah peran dibuat, pilih **Peran** di konsol IAM. Cari peran yang Anda buat dengan mengetikkan nama peran di kolom **Pencarian**.
1. Pilih peran Anda.
1. Selanjutnya, pilih **Lampirkan Kebijakan**.
1. Cari `AmazonSageMakerEdgeDeviceFleetPolicy` di bidang **Pencarian**. Pilih `AmazonSageMakerEdgeDeviceFleetPolicy`.
1. Pilih **Lampirkan kebijakan**.
1. Tambahkan pernyataan kebijakan berikut ke hubungan kepercayaan:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {"Service": "credentials.iot.amazonaws.com"},
"Action": "sts:AssumeRole"
},
{
"Effect": "Allow",
"Principal": {"Service": "sagemaker.amazonaws.com"},
"Action": "sts:AssumeRole"
}
]
}
```
------
Kebijakan kepercayaan adalah [dokumen kebijakan JSON](https://docs.aws.amazon.com//IAM/latest/UserGuide/reference_policies_grammar) di mana Anda menentukan prinsip yang Anda percayai untuk mengambil peran tersebut. Untuk informasi selengkapnya tentang kebijakan kepercayaan, lihat [Istilah dan konsep peran](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_terms-and-concepts.html).
1. Perhatikan AWS IoT peran ARN. Anda menggunakan ARN AWS IoT Peran untuk membuat dan mendaftarkan armada perangkat. Untuk menemukan peran IAM ARN dengan konsol:
1. Pergi ke konsol IAM: [https://console.aws.amazon.com/iam/](https://console.aws.amazon.com/iam/)
1. Pilih **Peran**.
1. Cari peran yang Anda buat dengan mengetikkan nama peran di bidang **Pencarian**.
1. Pilih peran.
1. Peran ARN ada di halaman Ringkasan.
1. **Buat bucket Amazon S3**.
SageMaker Neo dan Edge Manager mengakses model yang telah dikompilasi sebelumnya dan model yang dikompilasi dari bucket Amazon S3. Edge Manager juga menyimpan data sampel dari armada perangkat Anda di Amazon S3.
1. Buka konsol Amazon S3 di. [https://console.aws.amazon.com/s3/](https://console.aws.amazon.com/s3/)
1. Pilih **Buat bucket**.
1. Dalam **nama Bucket**, masukkan nama untuk bucket Anda.
1. Di **Wilayah**, pilih AWS Wilayah tempat Anda ingin ember berada.
1. Di **pengaturan Bucket untuk Blokir Akses Publik**, pilih pengaturan yang ingin Anda terapkan ke bucket.
1. Pilih **Buat bucket**.
Untuk informasi selengkapnya tentang membuat bucket Amazon S3, lihat [Memulai Amazon S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/GetStartedWithS3.html).
# Siapkan Model Anda untuk Deployment
Di bagian ini Anda akan membuat objek SageMaker AI dan AWS IoT klien, mengunduh model pembelajaran mesin yang telah dilatih sebelumnya, mengunggah model Anda ke bucket Amazon S3 Anda, mengkompilasi model Anda untuk perangkat target Anda SageMaker dengan Neo, dan mengemas model Anda sehingga dapat digunakan dengan agen Edge Manager.
1. **Impor pustaka dan buat objek klien.**
Tutorial ini menggunakan AWS SDK untuk Python (Boto3) untuk membuat klien untuk berinteraksi dengan SageMaker AI, Amazon S3, dan. AWS IoT
Impor Boto3, tentukan Wilayah Anda, dan inisialisasi objek klien yang Anda butuhkan seperti yang ditunjukkan pada contoh berikut:
```
import boto3
import json
import time
AWS_REGION = 'us-west-2'# Specify your Region
bucket = 'bucket-name'
sagemaker_client = boto3.client('sagemaker', region_name=AWS_REGION)
iot_client = boto3.client('iot', region_name=AWS_REGION)
```
Tentukan variabel dan tetapkan peran ARN yang Anda buat SageMaker untuk AI AWS IoT dan sebagai string:
```
# Replace with the role ARN you created for SageMaker
sagemaker_role_arn = "arn:aws:iam:::role/*"
# Replace with the role ARN you created for AWS IoT.
# Note: The name must start with 'SageMaker'
iot_role_arn = "arn:aws:iam:::role/SageMaker*"
```
1. **Latih model pembelajaran mesin.**
Lihat [Train a Model with Amazon SageMaker](https://docs.aws.amazon.com/sagemaker/latest/dg/how-it-works-training.html) untuk informasi selengkapnya tentang cara melatih model pembelajaran mesin menggunakan SageMaker AI. Anda dapat mengunggah model yang dilatih secara lokal secara opsional langsung ke bucket Amazon S3 URI.
Jika Anda belum memiliki model, Anda dapat menggunakan model pra-terlatih untuk langkah selanjutnya dalam tutorial ini. Misalnya, Anda dapat menyimpan model MobileNet V2 dari TensorFlow kerangka kerja. MobileNet V2 adalah model klasifikasi gambar yang dioptimalkan untuk aplikasi seluler. Untuk informasi lebih lanjut tentang MobileNet V2, lihat [MobileNet GitHub README](https://github.com/tensorflow/models/tree/master/research/slim/nets/mobilenet).
Ketik berikut ini ke Notebook Jupyter Anda untuk menyimpan model V2 yang telah dilatih sebelumnya MobileNet :
```
# Save the MobileNet V2 model to local storage
import tensorflow as tf
model = tf.keras.applications.MobileNetV2()
model.save(“mobilenet_v2.h5”)
```
**catatan**
Jika Anda belum TensorFlow menginstal, Anda dapat melakukannya dengan menjalankan `pip install tensorflow=2.4`
Gunakan TensorFlow versi 2.4 atau lebih rendah untuk tutorial ini.
Model akan disimpan ke dalam `mobilenet_v2.h5` file. Sebelum mengemas model, Anda harus terlebih dahulu mengkompilasi model Anda menggunakan SageMaker Neo. Lihat [Kerangka Kerja, Perangkat, Sistem, dan Arsitektur yang Didukung](neo-supported-devices-edge.md) untuk memeriksa apakah versi Anda TensorFlow (atau kerangka kerja pilihan lainnya) saat ini didukung oleh SageMaker Neo.
SageMaker Neo membutuhkan model untuk disimpan sebagai file TAR terkompresi. Kemas ulang sebagai file TAR terkompresi (\$1.tar.gz):
```
# Package MobileNet V2 model into a TAR file
import tarfile
tarfile_name='mobilenet-v2.tar.gz'
with tarfile.open(tarfile_name, mode='w:gz') as archive:
archive.add('mobilenet-v2.h5')
```
1. **Unggah model Anda ke Amazon S3.**
Setelah Anda memiliki model pembelajaran mesin, simpan di ember Amazon S3. *Contoh berikut menggunakan AWS CLI perintah untuk mengunggah model ke bucket Amazon S3 yang Anda buat sebelumnya di direktori bernama models.* Ketik berikut ini ke Notebook Jupyter Anda:
```
!aws s3 cp mobilenet-v2.tar.gz s3://{bucket}/models/
```
1. **Kompilasi model Anda dengan SageMaker Neo.**
Kompilasi model pembelajaran mesin Anda dengan SageMaker Neo untuk perangkat edge. Anda perlu mengetahui URI bucket Amazon S3 tempat Anda menyimpan model terlatih, kerangka kerja pembelajaran mesin yang Anda gunakan untuk melatih model, bentuk input model, dan perangkat target Anda.
Untuk model MobileNet V2, gunakan yang berikut ini:
```
framework = 'tensorflow'
target_device = 'jetson_nano'
data_shape = '{"data":[1,3,224,224]}'
```
SageMaker Neo membutuhkan bentuk input model tertentu dan format model berdasarkan kerangka pembelajaran mendalam yang Anda gunakan. Untuk informasi selengkapnya tentang cara menyimpan model Anda, lihat[Bentuk data input apa yang diharapkan SageMaker Neo?](neo-compilation-preparing-model.md#neo-job-compilation-expected-inputs). Untuk informasi selengkapnya tentang perangkat dan kerangka kerja yang didukung oleh Neo, lihat[Kerangka Kerja, Perangkat, Sistem, dan Arsitektur yang Didukung](neo-supported-devices-edge.md).
Gunakan `CreateCompilationJob` API untuk membuat pekerjaan kompilasi dengan SageMaker Neo. Berikan nama untuk pekerjaan kompilasi, ARN Peran SageMaker AI, URI Amazon S3 tempat model Anda disimpan, bentuk input model, nama kerangka kerja, URI Amazon S3 tempat Anda SageMaker ingin AI menyimpan model yang dikompilasi, dan target perangkat edge Anda.
```
# Specify the path where your model is stored
model_directory = 'models'
s3_model_uri = 's3://{}/{}/{}'.format(bucket, model_directory, tarfile_name)
# Store compiled model in S3 within the 'compiled-models' directory
compilation_output_dir = 'compiled-models'
s3_output_location = 's3://{}/{}/'.format(bucket, compilation_output_dir)
# Give your compilation job a name
compilation_job_name = 'getting-started-demo'
sagemaker_client.create_compilation_job(CompilationJobName=compilation_job_name,
RoleArn=sagemaker_role_arn,
InputConfig={
'S3Uri': s3_model_uri,
'DataInputConfig': data_shape,
'Framework' : framework.upper()},
OutputConfig={
'S3OutputLocation': s3_output_location,
'TargetDevice': target_device},
StoppingCondition={'MaxRuntimeInSeconds': 900})
```
1. **Package model kompilasi Anda.**
Pekerjaan pengemasan membutuhkan model yang SageMaker dikompilasi Neo dan membuat perubahan apa pun yang diperlukan untuk menerapkan model dengan mesin inferensi, agen Edge Manager. Untuk mengemas model Anda, buat pekerjaan pengemasan tepi dengan `create_edge_packaging` API atau konsol SageMaker AI.
Anda perlu memberikan nama yang Anda gunakan untuk pekerjaan kompilasi Neo Anda, nama untuk pekerjaan pengemasan, peran ARN (lihat [Mengatur](edge-getting-started-step1.md) bagian), nama untuk model, versi model, dan URI bucket Amazon S3 untuk output pekerjaan pengemasan. Perhatikan bahwa nama pekerjaan pengemasan Edge Manager peka huruf besar/kecil. Berikut ini adalah contoh cara membuat pekerjaan pengemasan menggunakan API.
```
edge_packaging_name='edge-packaging-demo'
model_name="sample-model"
model_version="1.1"
```
Tentukan URI Amazon S3 tempat Anda ingin menyimpan model paket.
```
# Output directory where you want to store the output of the packaging job
packaging_output_dir = 'packaged_models'
packaging_s3_output = 's3://{}/{}'.format(bucket, packaging_output_dir)
```
Gunakan `CreateEdgePackagingJob` untuk mengemas model yang dikompilasi NEO Anda. Berikan nama untuk pekerjaan pengemasan tepi Anda dan nama yang Anda berikan untuk pekerjaan kompilasi Anda (dalam contoh ini, itu disimpan dalam variabel`compilation_job_name`). Juga berikan nama untuk model Anda, versi untuk model Anda (ini digunakan untuk membantu Anda melacak versi model apa yang Anda gunakan), dan URI S3 tempat Anda ingin SageMaker AI menyimpan model yang dikemas.
```
sagemaker_client.create_edge_packaging_job(
EdgePackagingJobName=edge_packaging_name,
CompilationJobName=compilation_job_name,
RoleArn=sagemaker_role_arn,
ModelName=model_name,
ModelVersion=model_version,
OutputConfig={
"S3OutputLocation": packaging_s3_output
}
)
```
# Mendaftar dan Mengautentikasi Armada Perangkat Anda
Di bagian ini Anda akan membuat objek AWS IoT benda Anda, membuat armada perangkat, mendaftarkan armada perangkat Anda sehingga dapat berinteraksi dengan cloud, membuat sertifikat X.509 untuk mengautentikasi perangkat Anda AWS IoT Core, mengaitkan alias peran dengan AWS IoT yang dihasilkan saat Anda membuat armada Anda, dapatkan titik akhir AWS khusus akun Anda untuk penyedia kredensi, dapatkan file Amazon Root CA resmi, dan unggah file Amazon CA ke Amazon S3.
1. **Buat AWS IoT sesuatu.**
SageMaker Edge Manager memanfaatkan AWS IoT Core layanan untuk memfasilitasi koneksi antara perangkat edge dan titik akhir di AWS cloud. Anda dapat memanfaatkan AWS IoT fungsionalitas yang ada setelah mengatur perangkat agar berfungsi dengan Edge Manager.
Untuk menghubungkan perangkat Anda AWS IoT, Anda perlu membuat *objek AWS IoT benda*, membuat dan mendaftarkan sertifikat klien dengan AWS IoT, dan membuat dan mengonfigurasi peran IAM untuk perangkat Anda.
Pertama, buat AWS IoT benda benda dengan AWS IoT klien (`iot_client`) yang Anda buat sebelumnya dengan Boto3. Contoh berikut menunjukkan cara membuat dua benda benda:
```
iot_thing_name = 'sample-device'
iot_thing_type = 'getting-started-demo'
iot_client.create_thing_type(
thingTypeName=iot_thing_type
)
# Create an AWS IoT thing objects
iot_client.create_thing(
thingName=iot_thing_name,
thingTypeName=iot_thing_type
)
```
1. **Buat armada perangkat Anda.**
Buat armada perangkat dengan objek klien SageMaker AI yang ditentukan pada langkah sebelumnya. Anda juga dapat menggunakan konsol SageMaker AI untuk membuat armada perangkat.
```
import time
device_fleet_name="demo-device-fleet" + str(time.time()).split('.')[0]
device_name="sagemaker-edge-demo-device" + str(time.time()).split('.')[0]
```
Tentukan peran IoT Anda ARN. Ini memungkinkan AWS IoT memberikan kredensil sementara ke perangkat.
```
device_model_directory='device_output'
s3_device_fleet_output = 's3://{}/{}'.format(bucket, device_model_directory)
sagemaker_client.create_device_fleet(
DeviceFleetName=device_fleet_name,
RoleArn=iot_role_arn, # IoT Role ARN specified in previous step
OutputConfig={
'S3OutputLocation': s3_device_fleet_output
}
)
```
Alias AWS IoT peran dibuat saat Anda membuat armada perangkat. Alias peran ini dikaitkan dengan AWS IoT penggunaan `iot_client` objek di langkah selanjutnya.
1. **Daftarkan armada perangkat Anda.**
Untuk berinteraksi dengan cloud, Anda perlu mendaftarkan perangkat Anda ke SageMaker Edge Manager. Dalam contoh ini, Anda mendaftarkan satu perangkat dengan armada yang Anda buat. Untuk mendaftarkan perangkat, Anda perlu memberikan nama perangkat dan nama AWS IoT benda seperti yang ditunjukkan pada contoh berikut:
```
# Device name should be 36 characters
device_name = "sagemaker-edge-demo-device" + str(time.time()).split('.')[0]
sagemaker_client.register_devices(
DeviceFleetName=device_fleet_name,
Devices=[
{
"DeviceName": device_name,
"IotThingName": iot_thing_name
}
]
)
```
1. **Buat sertifikat X.509.**
Setelah membuat objek AWS IoT benda, Anda harus membuat sertifikat perangkat X.509 untuk objek benda Anda. Sertifikat ini mengautentikasi perangkat Anda ke AWS IoT Core.
Gunakan berikut ini untuk membuat kunci pribadi, kunci publik, dan file sertifikat X.509 menggunakan AWS IoT client defined () `iot_client` sebelumnya.
```
# Creates a 2048-bit RSA key pair and issues an X.509 # certificate
# using the issued public key.
create_cert = iot_client.create_keys_and_certificate(
setAsActive=True
)
# Get certificate from dictionary object and save in its own
with open('./device.pem.crt', 'w') as f:
for line in create_cert['certificatePem'].split('\n'):
f.write(line)
f.write('\n')
# Get private key from dictionary object and save in its own
with open('./private.pem.key', 'w') as f:
for line in create_cert['keyPair']['PrivateKey'].split('\n'):
f.write(line)
f.write('\n')
# Get a private key from dictionary object and save in its own
with open('./public.pem.key', 'w') as f:
for line in create_cert['keyPair']['PublicKey'].split('\n'):
f.write(line)
f.write('\n')
```
1. **Kaitkan alias peran dengan AWS IoT.**
Saat Anda membuat armada perangkat dengan SageMaker AI (`sagemaker_client.create_device_fleet()`), alias peran dibuat untuk Anda. Alias AWS IoT peran menyediakan mekanisme untuk perangkat yang terhubung untuk mengautentikasi AWS IoT menggunakan sertifikat X.509, dan kemudian mendapatkan AWS kredensil berumur pendek dari peran IAM yang terkait dengan alias peran. AWS IoT Alias peran memungkinkan Anda untuk mengubah peran perangkat tanpa harus memperbarui perangkat. Gunakan `DescribeDeviceFleet` untuk mendapatkan nama alias peran dan ARN.
```
# Print Amazon Resource Name (ARN) and alias that has access
# to AWS Internet of Things (IoT).
sagemaker_client.describe_device_fleet(DeviceFleetName=device_fleet_name)
# Store iot role alias string in a variable
# Grabs role ARN
full_role_alias_name = sagemaker_client.describe_device_fleet(DeviceFleetName=device_fleet_name)['IotRoleAlias']
start_index = full_role_alias_name.find('SageMaker') # Find beginning of role name
role_alias_name = full_role_alias_name[start_index:]
```
Gunakan `iot_client` untuk memfasilitasi mengaitkan alias peran yang dihasilkan dari pembuatan armada perangkat dengan: AWS IoT
```
role_alias = iot_client.describe_role_alias(
roleAlias=role_alias_name)
```
Untuk informasi selengkapnya tentang alias peran IAM, lihat Alias [peran memungkinkan akses ke layanan yang tidak](https://docs.aws.amazon.com/iot/latest/developerguide/audit-chk-role-alias-unused-svcs.html) digunakan.
Anda membuat dan mendaftarkan sertifikat dengan AWS IoT sebelumnya untuk otentikasi perangkat Anda berhasil. Sekarang, Anda perlu membuat dan melampirkan kebijakan ke sertifikat untuk mengotorisasi permintaan token keamanan.
```
alias_policy = {
"Version": "2012-10-17",
"Statement": {
"Effect": "Allow",
"Action": "iot:AssumeRoleWithCertificate",
"Resource": role_alias['roleAliasDescription']['roleAliasArn']
}
}
policy_name = 'aliaspolicy-'+ str(time.time()).split('.')[0]
aliaspolicy = iot_client.create_policy(policyName=policy_name,
policyDocument=json.dumps(alias_policy))
# Attach policy
iot_client.attach_policy(policyName=policy_name,
target=create_cert['certificateArn'])
```
1. **Dapatkan titik akhir AWS khusus akun Anda untuk penyedia kredensional.**
Perangkat Edge membutuhkan titik akhir untuk mengasumsikan kredensil. Dapatkan titik akhir AWS khusus akun Anda untuk penyedia kredensi.
```
# Get the unique endpoint specific to your AWS account that is making the call.
iot_endpoint = iot_client.describe_endpoint(
endpointType='iot:CredentialProvider'
)
endpoint="https://{}/role-aliases/{}/credentials".format(iot_endpoint['endpointAddress'],role_alias_name)
```
1. **Dapatkan file CA root Amazon resmi dan unggah ke bucket Amazon S3.**
Gunakan yang berikut ini di Notebook Jupyter Anda atau AWS CLI (jika Anda menggunakan terminal Anda, hapus '\$1' fungsi sihir):
```
!wget https://www.amazontrust.com/repository/AmazonRootCA1.pem
```
Gunakan titik akhir untuk membuat permintaan HTTPS ke penyedia kredensi untuk mengembalikan token keamanan. Contoh perintah berikut menggunakan`curl`, tetapi Anda dapat menggunakan klien HTTP apa pun.
```
!curl --cert device.pem.crt --key private.pem.key --cacert AmazonRootCA1.pem $endpoint
```
Jika sertifikat diverifikasi, unggah kunci dan sertifikat ke URI bucket Amazon S3 Anda:
```
!aws s3 cp private.pem.key s3://{bucket}/authorization-files/
!aws s3 cp device.pem.crt s3://{bucket}/authorization-files/
!aws s3 cp AmazonRootCA1.pem s3://{bucket}/authorization-files/
```
Bersihkan direktori kerja Anda dengan memindahkan kunci dan sertifikat Anda ke direktori yang berbeda:
```
# Optional - Clean up working directory
!mkdir authorization-files
!mv private.pem.key device.pem.crt AmazonRootCA1.pem authorization-files/
```
# Unduh dan Atur Edge Manager
Agen Edge Manager adalah mesin inferensi untuk perangkat edge Anda. Gunakan agen untuk membuat prediksi dengan model yang dimuat ke perangkat tepi Anda. Agen juga mengumpulkan metrik model dan menangkap data pada interval tertentu.
Di bagian ini Anda akan mengatur perangkat Anda dengan agen. Untuk melakukannya, pertama-tama salin artefak rilis dan tandatangani sertifikat root dari bucket rilis secara lokal ke mesin Anda. Setelah Anda membuka zip artefak rilis, unggah ke Amazon S3. Selanjutnya, tentukan dan simpan file konfigurasi untuk agen. Template disediakan untuk Anda salin dan tempel. Terakhir, salin artefak rilis, file konfigurasi, dan kredensil ke perangkat Anda.
1. **Unduh agen SageMaker Edge Manager.**
Agen dirilis dalam format biner untuk sistem operasi yang didukung. Contoh ini menjalankan inferensi pada Jetson Nano yang menggunakan sistem operasi Linux dan memiliki arsitektur. ARM64 Untuk informasi selengkapnya tentang apa yang digunakan oleh sistem operasi dan arsitektur perangkat yang didukung, lihat[Perangkat, Arsitektur Chip, dan Sistem yang Didukung](neo-supported-devices-edge-devices.md).
Ambil versi binari terbaru dari bucket rilis SageMaker Edge Manager dari Wilayah us-west-2.
```
!aws s3 ls s3://sagemaker-edge-release-store-us-west-2-linux-armv8/Releases/ | sort -r
```
Ini mengembalikan artefak rilis yang diurutkan berdasarkan versinya.
```
PRE 1.20210512.96da6cc/
PRE 1.20210305.a4bc999/
PRE 1.20201218.81f481f/
PRE 1.20201207.02d0e97/
```
Versi ini memiliki format berikut:`..`. Ini terdiri dari tiga komponen:
+ ``: Versi rilis. Versi rilis saat ini diatur ke`1`.
+ ``: Cap waktu pelepasan artefak.
+ : ID komit repositori tempat rilis dibuat.
Salin file TAR zip secara lokal atau ke perangkat Anda secara langsung. Contoh berikut menunjukkan cara menyalin artefak rilis terbaru pada saat dokumen ini dirilis.
```
!aws s3 cp s3://sagemaker-edge-release-store-us-west-2-linux-x64/Releases/1.20201218.81f481f/1.20201218.81f481f.tgz ./
```
Setelah Anda memiliki artefak, unzip file TAR zip. Berikut ini membuka ritsleting file TAR dan menyimpannya dalam direktori bernama: `agent_demo`
```
!mkdir agent_demo
!tar -xvzf 1.20201218.81f481f.tgz -C ./agent_demo
```
Unggah artefak rilis agen ke bucket Amazon S3 Anda. Contoh kode berikut menyalin konten di dalamnya `agent_demo` dan mengunggahnya ke direktori dalam bucket Amazon S3 Anda yang disebut: `agent_demo`
```
!aws s3 cp --recursive ./agent_demo s3://{bucket}/agent_demo
```
Anda juga memerlukan sertifikat root penandatanganan dari ember rilis:
```
!aws s3 cp s3://sagemaker-edge-release-store-us-west-2-linux-x64/Certificates/us-west-2/us-west-2.pem ./
```
Unggah sertifikat root penandatanganan ke bucket Amazon S3 Anda:
```
!aws s3 cp us-west-2.pem s3://{bucket}/authorization-files/
```
1. **Tentukan file konfigurasi agen SageMaker Edge Manager.**
Pertama, tentukan file konfigurasi agen sebagai berikut:
```
sagemaker_edge_config = {
"sagemaker_edge_core_device_name": "device_name",
"sagemaker_edge_core_device_fleet_name": "device_fleet_name",
"sagemaker_edge_core_capture_data_buffer_size": 30,
"sagemaker_edge_core_capture_data_push_period_seconds": 4,
"sagemaker_edge_core_folder_prefix": "demo_capture",
"sagemaker_edge_core_region": "us-west-2",
"sagemaker_edge_core_root_certs_path": "/agent_demo/certificates",
"sagemaker_edge_provider_aws_ca_cert_file": "/agent_demo/iot-credentials/AmazonRootCA1.pem",
"sagemaker_edge_provider_aws_cert_file": "/agent_demo/iot-credentials/device.pem.crt",
"sagemaker_edge_provider_aws_cert_pk_file": "/agent_demo/iot-credentials/private.pem.key",
"sagemaker_edge_provider_aws_iot_cred_endpoint": "endpoint",
"sagemaker_edge_provider_provider": "Aws",
"sagemaker_edge_provider_s3_bucket_name": bucket,
"sagemaker_edge_core_capture_data_destination": "Cloud"
}
```
Ganti yang berikut ini:
+ `"device_name"`dengan nama perangkat Anda (string ini disimpan di langkah sebelumnya dalam variabel bernama`device_name`).
+ `"device_fleet_name`"dengan nama armada perangkat Anda (string ini disimpan langkah sebelumnya dalam variabel bernama`device_fleet_name`)
+ `"endpoint"`dengan titik akhir AWS khusus akun Anda untuk penyedia kredensional (string ini disimpan di langkah sebelumnya dalam variabel bernama). `endpoint`
Selanjutnya, simpan sebagai file JSON:
```
edge_config_file = open("sagemaker_edge_config.json", "w")
json.dump(sagemaker_edge_config, edge_config_file, indent = 6)
edge_config_file.close()
```
Unggah file konfigurasi ke bucket Amazon S3 Anda:
```
!aws s3 cp sagemaker_edge_config.json s3://{bucket}/
```
1. **Salin artefak rilis, file konfigurasi, dan kredensional ke perangkat Anda.**
Instruksi berikut dilakukan pada perangkat tepi itu sendiri.
**catatan**
Anda harus terlebih dahulu menginstal Python, the AWS SDK untuk Python (Boto3), dan AWS CLI on your edge device.
Buka terminal di perangkat Anda. Buat folder untuk menyimpan artefak rilis, kredensialmu, dan file konfigurasi.
```
mkdir agent_demo
cd agent_demo
```
Salin konten artefak rilis yang disimpan di bucket Amazon S3 ke perangkat:
```
# Copy release artifacts
aws s3 cp s3:///agent_demo/ ./ --recursive
```
(Isi artefak rilis disimpan dalam direktori yang disebut `agent_demo` pada langkah sebelumnya). Ganti `