Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# ML otomatis, tanpa kode, atau kode rendah
Amazon SageMaker AI menawarkan fitur-fitur berikut untuk mengotomatiskan tugas pembelajaran mesin utama dan menggunakan solusi tanpa kode atau kode rendah.
+ **Amazon SageMaker Canvas**[: Untuk pengalaman AutoML berbasis UI tanpa kode, pengguna baru harus menggunakan aplikasi [Amazon SageMaker Canvas di Amazon Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html). SageMaker ](studio-updated.md)
Amazon SageMaker Canvas menyediakan analis dan ilmuwan data warga kemampuan tanpa kode untuk tugas-tugas seperti persiapan data, rekayasa fitur, pemilihan algoritme, pelatihan dan penyetelan, inferensi, dan banyak lagi. Pengguna dapat memanfaatkan visualisasi bawaan dan analisis bagaimana-jika untuk mengeksplorasi data mereka dan skenario yang berbeda, dengan prediksi otomatis yang memungkinkan mereka untuk dengan mudah memproduksi model mereka. SageMaker Canvas mendukung berbagai kasus penggunaan, termasuk visi komputer, peramalan permintaan, pencarian cerdas, dan AI generatif.
+ **Amazon SageMaker Autopilot:** [Amazon SageMaker Autopilot](autopilot-automate-model-development.md) adalah kumpulan fitur pembelajaran mesin otomatis (AutoML) yang mengotomatiskan end-to-end proses pembuatan, pelatihan, penyetelan, dan penerapan model pembelajaran mesin. Amazon SageMaker Autopilot menganalisis data Anda, memilih algoritme yang sesuai dengan jenis masalah Anda, memproses data sebelumnya untuk mempersiapkannya untuk pelatihan, menangani pelatihan model otomatis, dan melakukan pengoptimalan hiperparameter untuk menemukan model berkinerja terbaik untuk kumpulan data Anda.
+ Per 30 November 2023, antarmuka pengguna (UI) untuk Autopilot terintegrasi ke dalam aplikasi [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html) di Studio.
+ Pengguna [Amazon SageMaker Studio Classic](studio.md), pengalaman Studio sebelumnya, dapat terus menggunakan Autopilot UI di Studio Classic. Pengguna dengan pengalaman pengkodean dapat terus menggunakan [referensi AutoML API](autopilot-automate-model-development.md) di SDK apa pun yang didukung untuk implementasi teknis.
**catatan**
Jika Anda telah menggunakan Autopilot di Studio Classic sampai sekarang dan ingin bermigrasi ke SageMaker Canvas, Anda mungkin harus memberikan izin tambahan ke profil pengguna atau peran IAM Anda sehingga Anda dapat membuat dan menggunakan aplikasi Canvas. SageMaker Untuk informasi selengkapnya, lihat [(Opsional) Migrasi dari Autopilot di Studio Classic ke Canvas SageMaker](studio-updated-migrate-ui.md#studio-updated-migrate-autopilot).
+ **Amazon SageMaker JumpStart**: SageMaker JumpStart menyediakan model sumber terbuka yang sudah terlatih untuk berbagai jenis masalah untuk membantu Anda memulai pembelajaran mesin. Anda dapat melatih dan menyetel model ini secara bertahap sebelum penerapan. JumpStart juga menyediakan template solusi yang menyiapkan infrastruktur untuk kasus penggunaan umum, dan contoh notebook yang dapat dieksekusi untuk pembelajaran mesin dengan AI. SageMaker
**Topics**
+ [SageMaker Autopilot](autopilot-automate-model-development.md)
+ [SageMaker JumpStart model terlatih](studio-jumpstart.md)
# SageMaker Autopilot
**penting**
[Pada 30 November 2023, UI Autopilot bermigrasi ke Amazon [ SageMaker Canvas sebagai bagian dari pengalaman Amazon](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html) Studio yang diperbarui. SageMaker ](studio-updated.md) SageMaker Canvas memberikan analis dan ilmuwan data warga kemampuan tanpa kode untuk tugas-tugas seperti persiapan data, rekayasa fitur, pemilihan algoritme, pelatihan dan penyetelan, inferensi, dan banyak lagi. Pengguna dapat memanfaatkan visualisasi bawaan dan analisis bagaimana-jika untuk mengeksplorasi data mereka dan skenario yang berbeda, dengan prediksi otomatis yang memungkinkan mereka untuk dengan mudah memproduksi model mereka. Canvas mendukung berbagai kasus penggunaan, termasuk visi komputer, peramalan permintaan, pencarian cerdas, dan AI generatif.
Pengguna [Amazon SageMaker Studio Classic](studio.md), pengalaman [Studio](studio-updated.md) sebelumnya, dapat terus menggunakan Autopilot UI di Studio Classic. Pengguna dengan pengalaman pengkodean dapat terus menggunakan semua [referensi API](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html) di SDK apa pun yang didukung untuk implementasi teknis.
Jika Anda telah menggunakan Autopilot di Studio Classic sampai sekarang dan ingin bermigrasi ke SageMaker Canvas, Anda mungkin harus memberikan izin tambahan ke profil pengguna atau peran IAM Anda sehingga Anda dapat membuat dan menggunakan aplikasi Canvas. SageMaker Untuk informasi selengkapnya, lihat [(Opsional) Migrasi dari Autopilot di Studio Classic ke Canvas SageMaker](studio-updated-migrate-ui.md#studio-updated-migrate-autopilot).
[Semua instruksi terkait UI dalam panduan ini berkaitan dengan fitur mandiri Autopilot sebelum bermigrasi ke Amazon Canvas. SageMaker ](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html) Pengguna yang mengikuti petunjuk ini harus menggunakan [Studio Classic](studio.md).
Amazon SageMaker Autopilot adalah rangkaian fitur yang menyederhanakan dan mempercepat berbagai tahapan alur kerja pembelajaran mesin dengan mengotomatiskan proses pembuatan dan penerapan model pembelajaran mesin (AutoML). Halaman berikut menjelaskan informasi penting tentang Amazon SageMaker Autopilot.
Autopilot melakukan tugas-tugas utama berikut yang dapat Anda gunakan pada autopilot atau dengan berbagai tingkat bimbingan manusia:
+ **Analisis dan pra-pemrosesan data:** Autopilot mengidentifikasi jenis masalah spesifik Anda, menangani nilai yang hilang, menormalkan data Anda, memilih fitur, dan secara keseluruhan menyiapkan data untuk pelatihan model.
+ **Pemilihan model:** Autopilot mengeksplorasi berbagai algoritma dan menggunakan teknik resampling validasi silang untuk menghasilkan metrik yang mengevaluasi kualitas prediktif algoritme berdasarkan metrik objektif yang telah ditentukan.
+ **Optimasi Hyperparameter:** Autopilot mengotomatiskan pencarian untuk konfigurasi hyperparameter yang optimal.
+ **Pelatihan dan evaluasi model:** Autopilot mengotomatiskan proses pelatihan dan mengevaluasi berbagai kandidat model. Ini membagi data menjadi set pelatihan dan validasi, melatih kandidat model yang dipilih menggunakan data pelatihan, dan mengevaluasi kinerja mereka pada data tak terlihat dari set validasi. Terakhir, ini memberi peringkat kandidat model yang dioptimalkan berdasarkan kinerja mereka dan mengidentifikasi model berkinerja terbaik.
+ **Penerapan model:** Setelah Autopilot mengidentifikasi model berkinerja terbaik, Autopilot memberikan opsi untuk menerapkan model secara otomatis dengan menghasilkan artefak model dan titik akhir yang mengekspos API. Aplikasi eksternal dapat mengirim data ke titik akhir dan menerima prediksi atau kesimpulan yang sesuai.
Autopilot mendukung pembuatan model pembelajaran mesin pada kumpulan data besar hingga ratusan. GBs
Diagram berikut menguraikan tugas-tugas proses AutoML ini yang dikelola oleh Autopilot.
![\[Ikhtisar proses SageMaker AutoML Amazon Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/Autopilot-process-graphic-1.png)
Bergantung pada tingkat kenyamanan Anda dengan proses pembelajaran mesin dan pengalaman pengkodean, Anda dapat menggunakan Autopilot dengan berbagai cara:
+ **Menggunakan UI Studio Classic**, pengguna dapat memilih antara pengalaman tanpa kode atau memiliki beberapa tingkat input manusia.
**catatan**
Hanya eksperimen yang dibuat dari data tabular untuk tipe masalah seperti regresi atau klasifikasi yang tersedia melalui UI Studio Classic.
+ **Menggunakan AutoML API**, pengguna dengan pengalaman pengkodean dapat menggunakan yang tersedia SDKs untuk membuat pekerjaan AutoML. Pendekatan ini memberikan fleksibilitas dan opsi penyesuaian yang lebih besar dan tersedia untuk semua jenis masalah.
Autopilot saat ini mendukung jenis masalah berikut:
**catatan**
[Untuk masalah regresi atau klasifikasi yang melibatkan data tabular, pengguna dapat memilih di antara dua opsi: menggunakan antarmuka pengguna Studio Classic atau Referensi API.](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html)
[Tugas seperti klasifikasi teks dan gambar, peramalan deret waktu, dan fine-tuning model bahasa besar tersedia secara eksklusif melalui API REST AutoML versi 2.](autopilot-reference.md) Jika bahasa pilihan Anda adalah Python, Anda dapat merujuk ke [AWS SDK untuk Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_auto_ml_job_v2.html)atau [MLV2 objek Auto](https://sagemaker.readthedocs.io/en/stable/api/training/automlv2.html#sagemaker.automl.automlv2.AutoMLV2) dari Amazon SageMaker Python SDK secara langsung.
Pengguna yang lebih menyukai kenyamanan antarmuka pengguna dapat menggunakan [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas-getting-started.html) untuk mengakses model pra-terlatih dan model dasar AI generatif, atau membuat model khusus yang disesuaikan untuk teks tertentu, klasifikasi gambar, kebutuhan peramalan, atau AI generatif.
+ **Klasifikasi regresi, biner, dan multikelas dengan** data tabular yang diformat sebagai file CSV atau Parket di mana setiap kolom berisi fitur dengan tipe data tertentu dan setiap baris berisi pengamatan. Tipe data kolom yang diterima meliputi numerik, kategoris, teks, dan deret waktu yang terdiri dari string angka yang dipisahkan koma.
+ Untuk membuat pekerjaan Autopilot sebagai percobaan percontohan menggunakan referensi SageMaker API, lihat. [Membuat Pekerjaan Regresi atau Klasifikasi untuk Data Tabular Menggunakan AutoML API](autopilot-automate-model-development-create-experiment.md)
+ Untuk membuat pekerjaan Autopilot sebagai percobaan percontohan menggunakan UI Studio Classic, lihat. [Membuat eksperimen Autopilot Regresi atau Klasifikasi untuk data tabular menggunakan UI Studio Classic](autopilot-automate-model-development-create-experiment-ui.md)
+ Jika Anda seorang administrator yang ingin melakukan pra-konfigurasi infrastruktur default, jaringan, atau parameter keamanan eksperimen Autopilot di Studio Classic UI, lihat. [Konfigurasikan parameter default eksperimen Autopilot (untuk administrator)](autopilot-set-default-parameters-create-experiment.md)
+ **Klasifikasi teks** dengan data yang diformat sebagai file CSV atau Parket di mana kolom menyediakan kalimat yang akan diklasifikasikan, sementara kolom lain harus memberikan label kelas yang sesuai. Lihat [Membuat pekerjaan AutoML untuk klasifikasi teks menggunakan API](autopilot-create-experiment-text-classification.md).
+ **Klasifikasi gambar** dengan format gambar seperti PNG, JPEG, atau kombinasi keduanya. Lihat. [Membuat Job Klasifikasi Gambar menggunakan AutoML API](autopilot-create-experiment-image-classification.md)
+ **Peramalan deret waktu** dengan data deret waktu yang diformat sebagai file CSV atau Parket. Lihat. [Buat pekerjaan AutoML untuk peramalan deret waktu menggunakan API](autopilot-create-experiment-timeseries-forecasting.md)
+ Fine-tuning model bahasa besar (LLMs) untuk **pembuatan teks** dengan data yang diformat sebagai file CSV atau Parquet. Lihat. [Buat pekerjaan AutoML untuk menyempurnakan model pembuatan teks menggunakan API](autopilot-create-experiment-finetune-llms.md)
Selain itu, Autopilot membantu pengguna memahami bagaimana model membuat prediksi dengan secara otomatis menghasilkan laporan yang menunjukkan pentingnya setiap fitur individu. Ini memberikan transparansi dan wawasan tentang faktor-faktor yang mempengaruhi prediksi, yang dapat digunakan oleh tim risiko dan kepatuhan serta regulator eksternal. Autopilot juga menyediakan laporan kinerja model, yang mencakup ringkasan metrik evaluasi, matriks kebingungan, berbagai visualisasi seperti kurva karakteristik operasi penerima dan kurva penarikan presisi, dan banyak lagi. Isi spesifik dari setiap laporan bervariasi tergantung pada jenis masalah eksperimen Autopilot.
Laporan penjelasan dan kinerja untuk kandidat model terbaik dalam eksperimen Autopilot tersedia untuk jenis masalah klasifikasi data teks, gambar, dan tabel.
Untuk kasus penggunaan data tabular seperti regresi atau klasifikasi, Autopilot menawarkan visibilitas tambahan tentang bagaimana data diperdebatkan dan bagaimana kandidat model dipilih, dilatih, dan disetel dengan menghasilkan notebook yang berisi kode yang digunakan untuk mengeksplorasi data dan menemukan model berkinerja terbaik. Notebook ini menyediakan lingkungan interaktif dan eksplorasi untuk membantu Anda mempelajari tentang dampak berbagai input atau trade-off yang dibuat dalam eksperimen. Anda dapat bereksperimen lebih lanjut dengan kandidat model berkinerja lebih tinggi dengan membuat modifikasi Anda sendiri pada eksplorasi data dan notebook definisi kandidat yang disediakan oleh Autopilot.
Dengan Amazon SageMaker AI, Anda hanya membayar untuk apa yang Anda gunakan. Anda membayar sumber daya komputasi dan penyimpanan yang mendasarinya dalam SageMaker AI atau AWS layanan lain, berdasarkan penggunaan Anda. Untuk informasi selengkapnya tentang biaya penggunaan SageMaker AI, lihat [ SageMakerHarga Amazon](https://aws.amazon.com/sagemaker/pricing).
**Topics**
+ [Membuat Pekerjaan Regresi atau Klasifikasi untuk Data Tabular Menggunakan AutoML API](autopilot-automate-model-development-create-experiment.md)
+ [Membuat Job Klasifikasi Gambar menggunakan AutoML API](autopilot-create-experiment-image-classification.md)
+ [Membuat pekerjaan AutoML untuk klasifikasi teks menggunakan API](autopilot-create-experiment-text-classification.md)
+ [Buat pekerjaan AutoML untuk peramalan deret waktu menggunakan API](autopilot-create-experiment-timeseries-forecasting.md)
+ [Buat pekerjaan AutoML untuk menyempurnakan model pembuatan teks menggunakan API](autopilot-create-experiment-finetune-llms.md)
+ [Membuat eksperimen Autopilot Regresi atau Klasifikasi untuk data tabular menggunakan UI Studio Classic](autopilot-automate-model-development-create-experiment-ui.md)
+ [Notebook SageMaker contoh Amazon Autopilot](autopilot-example-notebooks.md)
+ [Video: Gunakan Autopilot untuk mengotomatisasi dan menjelajahi proses pembelajaran mesin](autopilot-videos.md)
+ [Kuota autopilot](autopilot-quotas.md)
+ [Panduan Referensi API untuk Autopilot](autopilot-reference.md)
# Membuat Pekerjaan Regresi atau Klasifikasi untuk Data Tabular Menggunakan AutoML API
Anda dapat membuat tugas regresi atau klasifikasi Autopilot untuk data tabular secara terprogram dengan memanggil tindakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)API dalam bahasa apa pun yang didukung oleh Autopilot atau. AWS CLI Berikut ini adalah kumpulan parameter permintaan input wajib dan opsional untuk tindakan `CreateAutoMLJobV2` API. Anda dapat menemukan informasi alternatif untuk versi sebelumnya dari tindakan ini,`CreateAutoMLJob`. Namun, kami sarankan untuk menggunakan`CreateAutoMLJobV2`.
Untuk informasi tentang cara tindakan API ini diterjemahkan ke dalam fungsi dalam bahasa pilihan Anda, lihat bagian [Lihat Juga](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_SeeAlso) `CreateAutoMLJobV2` dan pilih SDK. Sebagai contoh, untuk pengguna Python, lihat sintaks permintaan lengkap dari in. `[create\$1auto\$1ml\$1job\$1v2](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_auto_ml_job_v2)` AWS SDK untuk Python (Boto3)
**catatan**
[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html) dan [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) adalah versi baru [CreateAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html)dan [DescribeAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html)yang menawarkan kompatibilitas mundur.
Kami merekomendasikan menggunakan`CreateAutoMLJobV2`. `CreateAutoMLJobV2`dapat mengelola jenis masalah tabular yang identik dengan versi sebelumnya`CreateAutoMLJob`, serta jenis masalah non-tabular seperti klasifikasi gambar atau teks, atau peramalan deret waktu.
Minimal, semua eksperimen pada data tabular memerlukan spesifikasi nama eksperimen, menyediakan lokasi untuk data input dan output, dan menentukan data target mana yang akan diprediksi. Secara opsional, Anda juga dapat menentukan jenis masalah yang ingin Anda selesaikan (regresi, klasifikasi, klasifikasi multiclass), pilih strategi pemodelan Anda (*ansambel bertumpuk* atau *optimasi hiperparameter*), pilih daftar algoritma yang digunakan oleh pekerjaan Autopilot untuk melatih data, dan banyak lagi.
Setelah eksperimen berjalan, Anda dapat membandingkan uji coba dan mempelajari detail langkah pra-pemrosesan, algoritme, dan rentang hiperparameter dari setiap model. Anda juga memiliki opsi untuk mengunduh laporan [penjelasan](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-explainability.html) dan [kinerjanya](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-insights.html). Gunakan [buku catatan](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-notebook-output.html ) yang disediakan untuk melihat hasil eksplorasi data otomatis atau definisi model kandidat.
Temukan panduan tentang cara memigrasi `CreateAutoMLJob` ke `CreateAutoMLJobV2` in[Migrasi CreateAuto MLJob ke V2 CreateAuto MLJob](#autopilot-create-experiment-api-migrate-v1-v2).
## Parameter yang diperlukan
------
#### [ CreateAutoMLJobV2 ]
Saat menelepon `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)` untuk membuat eksperimen Autopilot untuk data tabular, Anda harus memberikan nilai berikut:
+ An `[AutoMLJobName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax)` untuk menentukan nama pekerjaan Anda.
+ Setidaknya satu `[AutoMLJobChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)` `[AutoMLJobInputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)` untuk menentukan sumber data Anda.
+ Baik `[AutoMLJobObjective](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobObjective)` metrik dan jenis masalah pembelajaran terawasi pilihan Anda (klasifikasi biner, klasifikasi multikelas, regresi) di`AutoMLProblemTypeConfig`, atau tidak sama sekali. Untuk data tabular, Anda harus memilih `[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` sebagai jenis. `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)` Anda mengatur masalah pembelajaran yang diawasi dalam `ProblemType` atribut. `TabularJobConfig`
+ `[OutputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)`Untuk menentukan jalur keluaran Amazon S3 untuk menyimpan artefak pekerjaan AutoML Anda.
+ A `[RoleArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-RoleArn)` untuk menentukan ARN dari peran yang digunakan untuk mengakses data Anda.
------
#### [ CreateAutoMLJob ]
Saat memanggil `[CreateAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html)` untuk membuat eksperimen AutoML, Anda harus memberikan empat nilai berikut:
+ An `[AutoMLJobName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-AutoMLJobName)` untuk menentukan nama pekerjaan Anda.
+ Setidaknya satu `[AutoMLChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html)` `[InputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-InputDataConfig)` untuk menentukan sumber data Anda.
+ `[OutputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)`Untuk menentukan jalur keluaran Amazon S3 untuk menyimpan artefak pekerjaan AutoML Anda.
+ A `[RoleArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-RoleArn)` untuk menentukan ARN dari peran yang digunakan untuk mengakses data Anda.
------
Semua parameter lainnya adalah opsional.
## Parameter opsional
Bagian berikut memberikan detail beberapa parameter opsional yang dapat Anda teruskan ke tindakan `CreateAutoMLJobV2` API saat menggunakan data tabular. Anda dapat menemukan informasi alternatif untuk versi sebelumnya dari tindakan ini,`CreateAutoMLJob`. Namun, kami sarankan untuk menggunakan`CreateAutoMLJobV2`.
### Cara mengatur mode pelatihan pekerjaan AutoML
Untuk data tabular, kumpulan algoritme yang dijalankan pada data Anda untuk melatih kandidat model Anda bergantung pada strategi pemodelan Anda (`ENSEMBLING`atau`HYPERPARAMETER_TUNING`). Berikut ini detail cara mengatur mode pelatihan ini.
Jika Anda tetap kosong (atau`null`), `Mode` disimpulkan berdasarkan ukuran kumpulan data Anda.
*Untuk informasi tentang *ansambel bertumpuk Autopilot dan metode pelatihan pengoptimalan hiperparameter*, lihat* [Mode pelatihan dan dukungan algoritma](autopilot-model-support-validation.md)
------
#### [ CreateAutoMLJobV2 ]
Untuk data tabular, Anda harus memilih `[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` sebagai jenis. `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`
Anda dapat mengatur [metode pelatihan](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html) pekerjaan AutoML V2 dengan parameter. `[TabularJobConfig.Mode](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)`
------
#### [ CreateAutoMLJob ]
Anda dapat mengatur [metode pelatihan](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html) pekerjaan AutoML dengan parameter. `[AutoMLJobConfig.Mode](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobConfig.html#sagemaker-Type-AutoMLJobConfig-Mode)`
------
### Cara memilih fitur dan algoritme untuk melatih pekerjaan AutoML
#### Pilihan fitur
Autopilot menyediakan langkah-langkah pra-pemrosesan data otomatis termasuk pemilihan fitur dan ekstraksi fitur. Namun, Anda dapat secara manual menyediakan fitur yang akan digunakan dalam pelatihan dengan `FeatureSpecificatioS3Uri` atribut.
Fitur yang dipilih harus terkandung dalam file JSON dalam format berikut:
```
{ "FeatureAttributeNames":["col1", "col2", ...] }
```
Nilai yang tercantum dalam `["col1", "col2", ...]` peka huruf besar/kecil. Mereka harus berupa daftar string yang berisi nilai unik yang merupakan himpunan bagian dari nama kolom dalam data input.
**catatan**
Daftar kolom yang disediakan sebagai fitur tidak dapat menyertakan kolom target.
------
#### [ CreateAutoMLJobV2 ]
Untuk data tabular, Anda harus memilih `[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` sebagai jenis. `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`
Anda dapat mengatur URL ke fitur yang Anda pilih dengan `[TabularJobConfig.FeatureSpecificationS3Uri](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` parameter.
------
#### [ CreateAutoMLJob ]
Anda dapat mengatur `FeatureSpecificatioS3Uri` atribut [Auto MLCandidate GenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html) dalam [CreateAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html)API dengan format berikut:
```
{
"[AutoMLJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-AutoMLJobConfig)": {
"[CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobConfig.html#sagemaker-Type-AutoMLJobConfig-CandidateGenerationConfig)": {
"[FeatureSpecificationS3Uri](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html#sagemaker-Type-AutoMLCandidateGenerationConfig-FeatureSpecificationS3Uri)":"string"
},
}
}
```
------
#### Pemilihan algoritma
Secara default, pekerjaan Autopilot Anda menjalankan daftar algoritme yang telah ditentukan sebelumnya pada kumpulan data Anda untuk melatih kandidat model. Daftar algoritma tergantung pada mode pelatihan (`ENSEMBLING`atau`HYPERPARAMETER_TUNING`) yang digunakan oleh pekerjaan.
Anda dapat memberikan subset dari pemilihan algoritme default.
------
#### [ CreateAutoMLJobV2 ]
Untuk data tabular, Anda harus memilih `[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` sebagai jenis. `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`
Anda dapat menentukan array yang dipilih `AutoMLAlgorithms` dalam `AlgorithmsConfig` atribut [CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html).
Berikut ini adalah contoh `AlgorithmsConfig` atribut yang mencantumkan tepat tiga algoritma (“xgboost”, “fasai”, “catboost”) di `AutoMLAlgorithms` bidangnya untuk mode pelatihan ensembling.
```
{
"[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)": {
"[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)": {
"[Mode](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)": "ENSEMBLING",
"[CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html)": {
"[AlgorithmsConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html#sagemaker-Type-CandidateGenerationConfig-AlgorithmsConfig)":[
{"[AutoMLAlgorithms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html)":["xgboost", "fastai", "catboost"]}
]
},
},
},
}
```
------
#### [ CreateAutoMLJob ]
Anda dapat menentukan array yang dipilih `AutoMLAlgorithms` dalam `AlgorithmsConfig` atribut [Auto MLCandidate GenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html).
Berikut ini adalah contoh `AlgorithmsConfig` atribut yang mencantumkan tepat tiga algoritma (“xgboost”, “fasai”, “catboost”) di `AutoMLAlgorithms` bidangnya untuk mode pelatihan ensembling.
```
{
"[AutoMLJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-AutoMLJobConfig)": {
"[CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobConfig.html#sagemaker-Type-AutoMLJobConfig-CandidateGenerationConfig)": {
"[AlgorithmsConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html#sagemaker-Type-AutoMLCandidateGenerationConfig-AlgorithmsConfig)":[
{"[AutoMLAlgorithms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html#sagemaker-Type-AutoMLAlgorithmConfig-AutoMLAlgorithms)":["xgboost", "fastai", "catboost"]}
]
},
"Mode": "ENSEMBLING"
}
```
------
Untuk daftar algoritma yang tersedia per pelatihan`Mode`, lihat [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html#sagemaker-Type-AutoMLAlgorithmConfig-AutoMLAlgorithms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html#sagemaker-Type-AutoMLAlgorithmConfig-AutoMLAlgorithms). Untuk detail tentang setiap algoritma, lihat[Mode pelatihan dan dukungan algoritma](autopilot-model-support-validation.md).
### Cara menentukan kumpulan data pelatihan dan validasi pekerjaan AutoML
Anda dapat memberikan kumpulan data validasi dan rasio pemisahan data khusus Anda sendiri, atau membiarkan Autopilot membagi kumpulan data secara otomatis.
------
#### [ CreateAutoMLJobV2 ]
Setiap [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)objek (lihat parameter yang diperlukan [Auto MLJob InputDataConfig](https://docs.aws.amazon.com/sagemaker-api/src/AWSSageMakerAPIDoc/build/server-root/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)) memiliki`ChannelType`, yang dapat diatur ke salah satu `training` atau `validation` nilai yang menentukan bagaimana data akan digunakan saat membangun model pembelajaran mesin. Setidaknya satu sumber data harus disediakan dan maksimal dua sumber data diperbolehkan: satu untuk data pelatihan dan satu untuk data validasi.
Bagaimana Anda membagi data menjadi kumpulan data pelatihan dan validasi tergantung pada apakah Anda memiliki satu atau dua sumber data.
+ Jika Anda hanya memiliki **satu sumber data**, `ChannelType` diatur ke secara `training` default dan harus memiliki nilai ini.
+ Jika `ValidationFraction` nilai dalam tidak [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html)disetel, 0.2 (20%) data dari sumber ini digunakan untuk validasi secara default.
+ Jika `ValidationFraction` diatur ke nilai antara 0 dan 1, dataset dibagi berdasarkan nilai yang ditentukan, di mana nilai menentukan fraksi dari dataset yang digunakan untuk validasi.
+ Jika Anda memiliki **dua sumber data**, `ChannelType` salah satu `AutoMLJobChannel` objek harus diatur ke`training`, nilai default. Sumber data lainnya harus diatur ke`validation`. `ChannelType` Kedua sumber data harus memiliki format yang sama, baik CSV atau Parket, dan skema yang sama. Anda tidak boleh menetapkan nilai untuk `ValidationFraction` dalam kasus ini karena semua data dari setiap sumber digunakan untuk pelatihan atau validasi. Menyetel nilai ini menyebabkan kesalahan.
------
#### [ CreateAutoMLJob ]
Setiap [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html)objek (lihat parameter yang diperlukan [InputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-InputDataConfig)) memiliki`ChannelType`, yang dapat diatur ke salah satu `training` atau `validation` nilai yang menentukan bagaimana data akan digunakan saat membangun model pembelajaran mesin. Setidaknya satu sumber data harus disediakan dan maksimal dua sumber data diperbolehkan: satu untuk data pelatihan dan satu untuk data validasi.
Bagaimana Anda membagi data menjadi kumpulan data pelatihan dan validasi tergantung pada apakah Anda memiliki satu atau dua sumber data.
+ Jika Anda hanya memiliki **satu sumber data**, `ChannelType` diatur ke secara `training` default dan harus memiliki nilai ini.
+ Jika `ValidationFraction` nilai dalam tidak [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html)disetel, 0.2 (20%) data dari sumber ini digunakan untuk validasi secara default.
+ Jika `ValidationFraction` diatur ke nilai antara 0 dan 1, dataset dibagi berdasarkan nilai yang ditentukan, di mana nilai menentukan fraksi dari dataset yang digunakan untuk validasi.
+ Jika Anda memiliki **dua sumber data**, `ChannelType` salah satu `AutoMLChannel` objek harus diatur ke`training`, nilai default. Sumber data lainnya harus diatur ke`validation`. `ChannelType` Kedua sumber data harus memiliki format yang sama, baik CSV atau Parket, dan skema yang sama. Anda tidak boleh menetapkan nilai untuk `ValidationFraction` dalam kasus ini karena semua data dari setiap sumber digunakan untuk pelatihan atau validasi. Menyetel nilai ini menyebabkan kesalahan.
------
Untuk informasi tentang validasi split dan cross-validasi di Autopilot lihat. [Validasi silang di Autopilot](autopilot-metrics-validation.md#autopilot-cross-validation)
### Cara mengatur jenis masalah pekerjaan AutoML
------
#### [ CreateAutoMLJobV2 ]
Untuk data tabular, Anda harus memilih `[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` sebagai jenis. `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`
Anda selanjutnya dapat menentukan jenis masalah pembelajaran yang diawasi (klasifikasi biner, klasifikasi multiclass, regresi) yang tersedia untuk kandidat model pekerjaan AutoML Anda V2 dengan parameter. `[TabularJobConfig.ProblemType](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)`
------
#### [ CreateAutoMLJob ]
Anda dapat mengatur [jenis masalah](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-datasets-problem-types.html#autopilot-problem-types) pada pekerjaan AutoML dengan parameter. `[CreateAutoPilot.ProblemType](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-ProblemType)` Ini membatasi jenis preprocessing dan algoritma yang Autopilot coba. Setelah pekerjaan selesai, jika Anda telah mengatur`[CreateAutoPilot.ProblemType](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-ProblemType)`, maka `[ResolvedAttribute.ProblemType](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ResolvedAttributes.html)` kecocokan yang `ProblemType` Anda tetapkan. Jika Anda menyimpannya kosong (atau`null`), `ProblemType` disimpulkan atas nama Anda.
------
**catatan**
Dalam beberapa kasus, Autopilot tidak dapat menyimpulkan `ProblemType` dengan kepercayaan diri yang cukup tinggi, dalam hal ini Anda harus memberikan nilai agar pekerjaan berhasil.
### Cara menambahkan bobot sampel ke pekerjaan AutoML
Anda dapat menambahkan kolom bobot sampel ke kumpulan data tabular Anda dan kemudian meneruskannya ke pekerjaan AutoML Anda untuk meminta baris kumpulan data untuk ditimbang selama pelatihan dan evaluasi.
Support untuk bobot sampel hanya tersedia dalam mode [ensembling](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html#autopilot-training-mode). Bobot Anda harus numerik dan non-negatif. Poin data dengan nilai bobot tidak valid atau tidak ada dikecualikan. Untuk informasi selengkapnya tentang metrik objektif yang tersedia, lihat[Metrik tertimbang autopilot](autopilot-metrics-validation.md#autopilot-weighted-metrics).
------
#### [ CreateAutoMLJobV2 ]
Untuk data tabular, Anda harus memilih `[TabularJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)` sebagai jenis. `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`
Untuk mengatur bobot sampel saat membuat eksperimen (lihat [CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)), Anda dapat meneruskan nama kolom bobot sampel di `SampleWeightAttributeName` atribut objek. `TabularJobConfig` Ini memastikan bahwa metrik objektif Anda menggunakan bobot untuk pelatihan, evaluasi, dan pemilihan kandidat model.
------
#### [ CreateAutoMLJob ]
Untuk mengatur bobot sampel saat membuat eksperimen (lihat [CreateAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html)), Anda dapat meneruskan nama kolom bobot sampel di `SampleWeightAttributeName` atribut objek [Otomatis MLChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html). Ini memastikan bahwa metrik objektif Anda menggunakan bobot untuk pelatihan, evaluasi, dan pemilihan kandidat model.
------
### Cara mengkonfigurasi AutoML untuk memulai pekerjaan jarak jauh di EMR Tanpa Server untuk kumpulan data besar
Anda dapat mengonfigurasi AutoML job V2 untuk secara otomatis memulai pekerjaan jarak jauh di Amazon EMR Tanpa Server saat sumber daya komputasi tambahan diperlukan untuk memproses kumpulan data besar. Dengan transisi mulus ke EMR Tanpa Server saat diperlukan, pekerjaan AutoML dapat menangani kumpulan data yang sebaliknya akan melebihi sumber daya yang disediakan sebelumnya, tanpa intervensi manual dari Anda. EMR Tanpa Server tersedia untuk jenis masalah tabular dan deret waktu. Kami merekomendasikan pengaturan opsi ini untuk kumpulan data tabular yang lebih besar dari 5 GB.
Untuk memungkinkan AutoML job V2 Anda secara otomatis beralih ke EMR Tanpa Server untuk kumpulan data besar, Anda perlu menyediakan `EmrServerlessComputeConfig` objek, yang menyertakan bidang, ke permintaan input AutoML job V2. `ExecutionRoleARN` `AutoMLComputeConfig`
`ExecutionRoleARN`Ini adalah ARN dari peran IAM yang memberikan pekerjaan AutoML V2 izin yang diperlukan untuk menjalankan pekerjaan EMR Tanpa Server.
Peran ini harus memiliki hubungan kepercayaan berikut:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "emr-serverless.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
```
------
Dan berikan izin untuk:
+ Buat, daftar, dan perbarui aplikasi EMR Tanpa Server.
+ Mulai, daftar, dapatkan, atau batalkan pekerjaan berjalan pada aplikasi EMR Tanpa Server.
+ Tandai EMR Sumber daya tanpa server.
+ Lulus peran IAM ke layanan EMR Tanpa Server untuk dieksekusi.
Dengan memberikan `iam:PassRole` izin, pekerjaan AutoML V2 dapat mengambil peran sementara dan meneruskannya `EMRServerlessRuntimeRole-*` ke layanan EMR Tanpa Server. Ini adalah peran IAM yang digunakan oleh lingkungan eksekusi pekerjaan EMR Tanpa Server untuk mengakses layanan dan sumber daya AWS lain yang diperlukan selama runtime, seperti Amazon S3 untuk akses data CloudWatch , untuk pencatatan, akses ke Katalog Data, atau layanan lain berdasarkan AWS Glue persyaratan beban kerja Anda.
Lihat Peran [runtime Job untuk Amazon EMR Tanpa Server untuk detail tentang izin peran](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/security-iam-runtime-role.html) ini.
Kebijakan IAM yang ditentukan dalam dokumen JSON yang disediakan memberikan izin tersebut:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [{
"Sid": "EMRServerlessCreateApplicationOperation",
"Effect": "Allow",
"Action": "emr-serverless:CreateApplication",
"Resource": "arn:aws:emr-serverless:*:*:/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessListApplicationOperation",
"Effect": "Allow",
"Action": "emr-serverless:ListApplications",
"Resource": "arn:aws:emr-serverless:*:*:/*",
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessApplicationOperations",
"Effect": "Allow",
"Action": [
"emr-serverless:UpdateApplication",
"emr-serverless:GetApplication"
],
"Resource": "arn:aws:emr-serverless:*:*:/applications/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessStartJobRunOperation",
"Effect": "Allow",
"Action": "emr-serverless:StartJobRun",
"Resource": "arn:aws:emr-serverless:*:*:/applications/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessListJobRunOperation",
"Effect": "Allow",
"Action": "emr-serverless:ListJobRuns",
"Resource": "arn:aws:emr-serverless:*:*:/applications/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessJobRunOperations",
"Effect": "Allow",
"Action": [
"emr-serverless:GetJobRun",
"emr-serverless:CancelJobRun"
],
"Resource": "arn:aws:emr-serverless:*:*:/applications/*/jobruns/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessTagResourceOperation",
"Effect": "Allow",
"Action": "emr-serverless:TagResource",
"Resource": "arn:aws:emr-serverless:*:*:/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "IAMPassOperationForEMRServerless",
"Effect": "Allow",
"Action": "iam:PassRole",
"Resource": "arn:aws:iam::*:role/EMRServerlessRuntimeRole-*",
"Condition": {
"StringEquals": {
"iam:PassedToService": "emr-serverless.amazonaws.com",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
}
]
}
```
------
## Migrasi CreateAuto MLJob ke V2 CreateAuto MLJob
Kami menyarankan pengguna `CreateAutoMLJob` untuk bermigrasi ke`CreateAutoMLJobV2`.
Bagian ini menjelaskan perbedaan parameter input antara [CreateAutoMLJob](https://docs.aws.amazon.com/sagemaker-api/src/AWSSageMakerAPIDoc/build/server-root/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#API_CreateAutoMLJob_RequestSyntax)dan [CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax) dengan menyoroti perubahan posisi, nama, atau struktur objek dan atribut permintaan input antara dua versi.
+ **Minta atribut yang tidak berubah antar versi.**
```
{
"AutoMLJobName": "string",
"AutoMLJobObjective": {
"MetricName": "string"
},
"ModelDeployConfig": {
"AutoGenerateEndpointName": boolean,
"EndpointName": "string"
},
"OutputDataConfig": {
"KmsKeyId": "string",
"S3OutputPath": "string"
},
"RoleArn": "string",
"Tags": [
{
"Key": "string",
"Value": "string"
}
]
}
```
+ **Minta atribut yang mengubah posisi dan struktur antar versi.**
Atribut berikut berubah posisi:`DataSplitConfig`,`Security Config`,`CompletionCriteria`,`Mode`,`FeatureSpecificationS3Uri`,`SampleWeightAttributeName`,`TargetAttributeName`.
------
#### [ CreateAutoMLJob ]
```
{
"AutoMLJobConfig": {
"Mode": "string",
"CompletionCriteria": {
"MaxAutoMLJobRuntimeInSeconds": number,
"MaxCandidates": number,
"MaxRuntimePerTrainingJobInSeconds": number
},
"DataSplitConfig": {
"ValidationFraction": number
},
"SecurityConfig": {
"EnableInterContainerTrafficEncryption": boolean,
"VolumeKmsKeyId": "string",
"VpcConfig": {
"SecurityGroupIds": [ "string" ],
"Subnets": [ "string" ]
}
},
"CandidateGenerationConfig": {
"FeatureSpecificationS3Uri": "string"
}
},
"GenerateCandidateDefinitionsOnly": boolean,
"ProblemType": "string"
}
```
------
#### [ CreateAutoMLJobV2 ]
```
{
"AutoMLProblemTypeConfig": {
"TabularJobConfig": {
"Mode": "string",
"ProblemType": "string",
"GenerateCandidateDefinitionsOnly": boolean,
"CompletionCriteria": {
"MaxAutoMLJobRuntimeInSeconds": number,
"MaxCandidates": number,
"MaxRuntimePerTrainingJobInSeconds": number
},
"FeatureSpecificationS3Uri": "string",
"SampleWeightAttributeName": "string",
"TargetAttributeName": "string"
}
},
"DataSplitConfig": {
"ValidationFraction": number
},
"SecurityConfig": {
"EnableInterContainerTrafficEncryption": boolean,
"VolumeKmsKeyId": "string",
"VpcConfig": {
"SecurityGroupIds": [ "string" ],
"Subnets": [ "string" ]
}
}
}
```
------
+ **Atribut berikut mengubah posisi dan struktur antar versi.**
JSON berikut menggambarkan bagaimana Auto [ConfigMLJob. CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobConfig.html#sagemaker-Type-AutoMLJobConfig-CandidateGenerationConfig)dari jenis [Auto MLCandidate GenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html) pindah ke [Auto MLProblemTypeConfig. TabularJobConfig. CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax)dari tipe [CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html)di V2.
------
#### [ CreateAutoMLJob ]
```
{
"AutoMLJobConfig": {
"CandidateGenerationConfig": {
"AlgorithmsConfig": [
{
"AutoMLAlgorithms": [ "string" ]
}
],
"FeatureSpecificationS3Uri": "string"
}
}
```
------
#### [ CreateAutoMLJobV2 ]
```
{
"AutoMLProblemTypeConfig": {
"TabularJobConfig": {
"CandidateGenerationConfig": {
"AlgorithmsConfig": [
{
"AutoMLAlgorithms": [ "string" ]
}
],
},
}
},
}
```
------
+ **Minta atribut yang mengubah nama dan struktur.**
JSON berikut mengilustrasikan bagaimana [InputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-InputDataConfig)(Sebuah array [AutoMLChannel) berubah menjadi Auto](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html) MLJob InputDataConfig (Sebuah array [Auto MLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig) [Channel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)) di V2. Perhatikan bahwa atribut `SampleWeightAttributeName` dan `TargetAttributeName` bergerak keluar `InputDataConfig` dan masuk`AutoMLProblemTypeConfig`.
------
#### [ CreateAutoMLJob ]
```
{
"InputDataConfig": [
{
"ChannelType": "string",
"CompressionType": "string",
"ContentType": "string",
"DataSource": {
"S3DataSource": {
"S3DataType": "string",
"S3Uri": "string"
}
},
"SampleWeightAttributeName": "string",
"TargetAttributeName": "string"
}
]
}
```
------
#### [ CreateAutoMLJobV2 ]
```
{
"AutoMLJobInputDataConfig": [
{
"ChannelType": "string",
"CompressionType": "string",
"ContentType": "string",
"DataSource": {
"S3DataSource": {
"S3DataType": "string",
"S3Uri": "string"
}
}
}
]
}
```
------
# Kumpulan data autopilot dan jenis masalah
Untuk data tabular (yaitu data di mana setiap kolom berisi fitur dengan tipe data tertentu dan setiap baris berisi pengamatan), Autopilot memberi Anda opsi untuk menentukan jenis masalah pembelajaran yang diawasi yang tersedia untuk kandidat model pekerjaan AutoML, seperti klasifikasi biner atau regresi, atau mendeteksinya atas nama Anda berdasarkan data yang Anda berikan. Autopilot juga mendukung berbagai format data dan tipe data.
**Topics**
+ [Kumpulan data autopilot, tipe data, dan format](#autopilot-datasets)
+ [Jenis masalah autopilot](#autopilot-problem-types)
## Kumpulan data autopilot, tipe data, dan format
Autopilot mendukung data tabular yang diformat sebagai file CSV atau sebagai file Parket: setiap kolom berisi fitur dengan tipe data tertentu dan setiap baris berisi pengamatan. Properti dari dua format file ini sangat berbeda.
+ **CSV** (comma-separated-values) adalah format file berbasis baris yang menyimpan data dalam teks biasa yang dapat dibaca manusia yang merupakan pilihan populer untuk pertukaran data karena didukung oleh berbagai aplikasi.
+ **Parket** adalah format file berbasis kolom di mana data disimpan dan diproses lebih efisien daripada format file berbasis baris. Ini menjadikannya pilihan yang lebih baik untuk masalah data besar.
**Tipe data** yang diterima untuk kolom termasuk numerik, kategoris, teks, dan deret waktu yang terdiri dari string angka yang dipisahkan koma. [Jika Autopilot mendeteksi itu berurusan dengan urutan **deret waktu**, ia memprosesnya melalui transformator fitur khusus yang disediakan oleh perpustakaan tsfresh.](https://tsfresh.readthedocs.io/en/latest/text/list_of_features.html) Pustaka ini mengambil deret waktu sebagai input dan output fitur seperti nilai absolut tertinggi dari deret waktu atau statistik deskriptif pada autokorelasi. Fitur keluaran ini kemudian digunakan sebagai input ke salah satu dari tiga jenis masalah.
Autopilot mendukung pembuatan model pembelajaran mesin pada kumpulan data besar hingga ratusan. GBs Untuk detail tentang batas sumber daya default untuk kumpulan data input dan cara meningkatkannya, lihat Kuota [Autopilot](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-quotas.html).
## Jenis masalah autopilot
Untuk data tabular, Anda lebih lanjut menentukan jenis masalah pembelajaran yang diawasi yang tersedia untuk kandidat model sebagai berikut:
### Regresi
Regresi memperkirakan nilai variabel target dependen berdasarkan satu atau lebih variabel atau atribut lain yang berkorelasi dengannya. Contohnya adalah prediksi harga rumah menggunakan fitur seperti jumlah kamar mandi dan kamar tidur, luas persegi rumah dan taman. Analisis regresi dapat membuat model yang mengambil satu atau lebih fitur ini sebagai masukan dan memprediksi harga rumah.
### Klasifikasi biner
Klasifikasi biner adalah jenis pembelajaran yang diawasi yang menetapkan individu ke salah satu dari dua kelas yang telah ditentukan dan saling eksklusif berdasarkan atribut mereka. Ini diawasi karena model dilatih menggunakan contoh di mana atribut disediakan dengan objek berlabel dengan benar. Diagnosis medis untuk apakah seseorang memiliki penyakit atau tidak berdasarkan hasil tes diagnostik adalah contoh klasifikasi biner.
### Klasifikasi multiclass
Klasifikasi multiclass adalah jenis pembelajaran yang diawasi yang menugaskan seorang individu ke salah satu dari beberapa kelas berdasarkan atributnya. Ini diawasi karena model dilatih menggunakan contoh di mana atribut disediakan dengan objek berlabel dengan benar. Contohnya adalah prediksi topik yang paling relevan dengan dokumen teks. Sebuah dokumen dapat diklasifikasikan sebagai tentang, katakanlah, agama atau politik atau keuangan, atau tentang salah satu dari beberapa kelas topik yang telah ditentukan sebelumnya.
# Mode pelatihan dan dukungan algoritma
Autopilot mendukung berbagai mode pelatihan dan algoritma untuk mengatasi masalah pembelajaran mesin, melaporkan metrik kualitas dan objektif, dan menggunakan validasi silang secara otomatis, bila diperlukan.
## Mode pelatihan
SageMaker Autopilot dapat secara otomatis memilih metode pelatihan berdasarkan ukuran dataset, atau Anda dapat memilihnya secara manual. Pilihannya adalah sebagai berikut:
+ **Ensembling** — Autopilot menggunakan [AutoGluon](https://auto.gluon.ai/scoredebugweight/tutorials/tabular_prediction/index.html)perpustakaan untuk melatih beberapa model dasar. Untuk menemukan kombinasi terbaik untuk kumpulan data Anda, mode ansambel menjalankan 10 uji coba dengan pengaturan model dan parameter meta yang berbeda. Kemudian Autopilot menggabungkan model-model ini menggunakan metode ansambel susun untuk membuat model prediktif yang optimal. **Untuk daftar algoritma yang didukung Autopilot dalam mode ensembling untuk data tabular, lihat bagian dukungan Algoritma berikut.**
+ **Optimasi Hyperparameter (HPO)** — Autopilot menemukan versi terbaik dari sebuah model dengan menyetel hyperparameters menggunakan optimasi Bayesian atau optimasi multi-fidelity saat menjalankan pekerjaan pelatihan pada dataset Anda. Mode HPO memilih algoritme yang paling relevan dengan kumpulan data Anda dan memilih rentang hiperparameter terbaik untuk menyetel model Anda. Untuk menyetel model Anda, mode HPO menjalankan hingga 100 uji coba (default) untuk menemukan pengaturan hiperparameter optimal dalam rentang yang dipilih. Jika ukuran dataset Anda kurang dari 100 MB, Autopilot menggunakan optimasi Bayesian. Autopilot memilih optimasi multi-fidelity jika dataset Anda lebih besar dari 100 MB.
Dalam optimasi multi-fidelity, metrik terus dipancarkan dari wadah pelatihan. Uji coba yang berkinerja buruk terhadap metrik objektif yang dipilih dihentikan lebih awal. Uji coba yang berkinerja baik dialokasikan lebih banyak sumber daya.
**Untuk daftar algoritma yang didukung Autopilot dalam mode HPO, lihat bagian dukungan Algoritma berikut.**
+ **Otomatis** — Autopilot secara otomatis memilih mode ensembling atau mode HPO berdasarkan ukuran dataset Anda. Jika dataset Anda lebih besar dari 100 MB, Autopilot memilih HPO. Jika tidak, ia memilih mode ansambel. Autopilot dapat gagal membaca ukuran kumpulan data Anda dalam kasus berikut.
+ Jika Anda mengaktifkan mode Virtual Private Cloud (VPC), untuk pekerjaan AutoML tetapi bucket S3 yang berisi kumpulan data hanya mengizinkan akses dari VPC.
+ Input [S3 DataType](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLS3DataSource.html#sagemaker-Type-AutoMLS3DataSource-S3DataType) dari dataset Anda adalah a. `ManifestFile`
+ Masukan [S3Uri](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLS3DataSource.html#sagemaker-Type-AutoMLS3DataSource-S3Uri) berisi lebih dari 1000 item.
Jika Autopilot tidak dapat membaca ukuran dataset Anda, default memilih mode HPO.
**catatan**
Untuk runtime dan kinerja yang optimal, gunakan mode pelatihan ansambel untuk kumpulan data yang lebih kecil dari 100 MB.
## Dukungan algoritma
Dalam **mode HPO**, Autopilot mendukung jenis algoritma pembelajaran mesin berikut:
+ [Linear learner](https://docs.aws.amazon.com/sagemaker/latest/dg/linear-learner.html) — Algoritma pembelajaran yang diawasi yang dapat memecahkan masalah klasifikasi atau regresi.
+ [XGBoost](https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html)— Algoritma pembelajaran yang diawasi yang mencoba memprediksi variabel target secara akurat dengan menggabungkan ansambel perkiraan dari serangkaian model yang lebih sederhana dan lebih lemah.
+ Algoritma pembelajaran mendalam — Perceptron multilayer (MLP) dan jaringan saraf tiruan feedforward. Algoritma ini dapat menangani data yang tidak dapat dipisahkan secara linier.
**catatan**
Anda tidak perlu menentukan algoritma yang akan digunakan untuk masalah pembelajaran mesin Anda. Autopilot secara otomatis memilih algoritma yang sesuai untuk dilatih.
Dalam **mode ansambel**, Autopilot mendukung jenis algoritma pembelajaran mesin berikut:
+ [LightGBM](https://docs.aws.amazon.com/sagemaker/latest/dg/lightgbm.html) - Kerangka kerja yang dioptimalkan yang menggunakan algoritma berbasis pohon dengan peningkatan gradien. Algoritma ini menggunakan pohon yang tumbuh dalam lebar, bukan kedalaman, dan sangat dioptimalkan untuk kecepatan.
+ [CatBoost](https://docs.aws.amazon.com/sagemaker/latest/dg/catboost.html)— Kerangka kerja yang menggunakan algoritme berbasis pohon dengan peningkatan gradien. Dioptimalkan untuk menangani variabel kategoris.
+ [XGBoost](https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html)— Kerangka kerja yang menggunakan algoritme berbasis pohon dengan peningkatan gradien yang tumbuh secara mendalam, bukan luasnya.
+ [Random Forest](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html) — Algoritma berbasis pohon yang menggunakan beberapa pohon keputusan pada sub-sampel acak data dengan penggantian. Pohon-pohon dibagi menjadi simpul optimal di setiap tingkat. Keputusan setiap pohon dirata-ratakan bersama untuk mencegah overfitting dan meningkatkan prediksi.
+ [Extra Trees](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.ExtraTreesClassifier.html#sklearn.ensemble.ExtraTreesClassifier) — Algoritma berbasis pohon yang menggunakan beberapa pohon keputusan pada seluruh kumpulan data. Pohon-pohon dibelah secara acak di setiap tingkat. Keputusan setiap pohon dirata-ratakan untuk mencegah overfitting dan untuk meningkatkan prediksi. Pohon tambahan menambahkan tingkat pengacakan dibandingkan dengan algoritma hutan acak.
+ [Model Linear](https://scikit-learn.org/stable/modules/classes.html#module-sklearn.linear_model) — Kerangka kerja yang menggunakan persamaan linier untuk memodelkan hubungan antara dua variabel dalam data yang diamati.
+ Obor jaringan saraf — Model jaringan saraf yang diimplementasikan menggunakan [Pytorch](https://pytorch.org/).
+ Neural network fast.ai — Model jaringan saraf yang diimplementasikan menggunakan [fast.ai](https://www.fast.ai/).
# Metrik dan validasi
Panduan ini menunjukkan metrik dan teknik validasi yang dapat Anda gunakan untuk mengukur kinerja model pembelajaran mesin. Amazon SageMaker Autopilot menghasilkan metrik yang mengukur kualitas prediktif kandidat model pembelajaran mesin. Metrik yang dihitung untuk kandidat ditentukan menggunakan array [MetricDatum](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_MetricDatum.html)tipe.
## Metrik Autopilot
Daftar berikut berisi nama-nama metrik yang saat ini tersedia untuk mengukur kinerja model dalam Autopilot.
**catatan**
Autopilot mendukung bobot sampel. Untuk mempelajari lebih lanjut tentang bobot sampel dan metrik objektif yang tersedia, lihat. [Metrik tertimbang autopilot](#autopilot-weighted-metrics)
Berikut ini adalah metrik yang tersedia.
**`Accuracy`**
Rasio jumlah item yang diklasifikasikan dengan benar dengan jumlah total item yang diklasifikasikan (benar dan salah). Ini digunakan untuk klasifikasi biner dan multiclass. Akurasi mengukur seberapa dekat nilai kelas yang diprediksi dengan nilai aktual. Nilai untuk metrik akurasi bervariasi antara nol (0) dan satu (1). Nilai 1 menunjukkan akurasi sempurna, dan 0 menunjukkan ketidakakuratan sempurna.
**`AUC`**
Metrik area under the curve (AUC) digunakan untuk membandingkan dan mengevaluasi klasifikasi biner dengan algoritma yang mengembalikan probabilitas, seperti regresi logistik. Untuk memetakan probabilitas ke dalam klasifikasi, ini dibandingkan dengan nilai ambang batas.
Kurva yang relevan adalah kurva karakteristik operasi penerima. Kurva memplot tingkat positif sebenarnya (TPR) prediksi (atau recall) terhadap tingkat positif palsu (FPR) sebagai fungsi dari nilai ambang batas, di atasnya prediksi dianggap positif. Meningkatkan ambang menghasilkan lebih sedikit positif palsu, tetapi lebih banyak negatif palsu.
AUC adalah area di bawah kurva karakteristik operasi penerima ini. Oleh karena itu, AUC memberikan ukuran agregat dari kinerja model di semua ambang batas klasifikasi yang mungkin. Skor AUC bervariasi antara 0 dan 1. Skor 1 menunjukkan akurasi sempurna, dan skor satu setengah (0,5) menunjukkan bahwa prediksi tidak lebih baik daripada pengklasifikasi acak.
**`BalancedAccuracy`**
`BalancedAccuracy`adalah metrik yang mengukur rasio prediksi akurat untuk semua prediksi. Rasio ini dihitung setelah menormalkan positif sejati (TP) dan negatif sejati (TN) dengan jumlah total nilai positif (P) dan negatif (N). Ini digunakan dalam klasifikasi biner dan multiclass dan didefinisikan sebagai berikut: 0,5\$1 ((TP/P)\$1(TN/N)), dengan nilai mulai dari 0 hingga 1. `BalancedAccuracy`memberikan ukuran akurasi yang lebih baik ketika jumlah positif atau negatif sangat berbeda satu sama lain dalam kumpulan data yang tidak seimbang, seperti ketika hanya 1% email adalah spam.
**`F1`**
`F1`Skor adalah rata-rata harmonik dari presisi dan ingatan, didefinisikan sebagai berikut: F1 = 2 \$1 (presisi \$1 recall)/(presisi \$1 recall). Ini digunakan untuk klasifikasi biner ke dalam kelas yang secara tradisional disebut sebagai positif dan negatif. Prediksi dikatakan benar ketika mereka cocok dengan kelas mereka yang sebenarnya (benar), dan salah ketika tidak.
Presisi adalah rasio prediksi positif sejati untuk semua prediksi positif, dan itu termasuk positif palsu dalam kumpulan data. Presisi mengukur kualitas prediksi ketika memprediksi kelas positif.
Ingat (atau sensitivitas) adalah rasio prediksi positif sejati untuk semua contoh positif aktual. Ingat mengukur seberapa lengkap model memprediksi anggota kelas yang sebenarnya dalam kumpulan data.
Skor F1 bervariasi antara 0 dan 1. Skor 1 menunjukkan kinerja terbaik, dan 0 menunjukkan yang terburuk.
**`F1macro`**
`F1macro`Skor tersebut menerapkan penilaian F1 untuk masalah klasifikasi multiclass. Hal ini dilakukan dengan menghitung presisi dan recall, dan kemudian mengambil mean harmonik mereka untuk menghitung skor F1 untuk setiap kelas. Terakhir, `F1macro` rata-rata skor individu untuk mendapatkan skor. `F1macro` `F1macro`Skor bervariasi antara 0 dan 1. Skor 1 menunjukkan kinerja terbaik, dan 0 menunjukkan yang terburuk.
**`InferenceLatency`**
Latensi inferensi adalah perkiraan jumlah waktu antara membuat permintaan untuk prediksi model untuk menerimanya dari titik akhir waktu nyata tempat model digunakan. Metrik ini diukur dalam hitungan detik dan hanya tersedia dalam mode ansambel.
**`LogLoss`**
Loss log, juga dikenal sebagai cross-entropy loss, adalah metrik yang digunakan untuk mengevaluasi kualitas output probabilitas, bukan output itu sendiri. Ini digunakan dalam klasifikasi biner dan multiclass dan dalam jaring saraf. Ini juga merupakan fungsi biaya untuk regresi logistik. Kehilangan log adalah metrik penting untuk menunjukkan kapan model membuat prediksi yang salah dengan probabilitas tinggi. Nilai berkisar dari 0 hingga tak terbatas. Nilai 0 mewakili model yang memprediksi data dengan sempurna.
**`MAE`**
Kesalahan absolut rata-rata (MAE) adalah ukuran seberapa berbeda nilai prediksi dan aktual, ketika dirata-ratakan pada semua nilai. MAE biasanya digunakan dalam analisis regresi untuk memahami kesalahan prediksi model. Jika ada regresi linier, MAE mewakili jarak rata-rata dari garis yang diprediksi ke nilai aktual. MAE didefinisikan sebagai jumlah kesalahan absolut dibagi dengan jumlah pengamatan. Nilai berkisar dari 0 hingga tak terhingga, dengan angka yang lebih kecil menunjukkan kecocokan model yang lebih baik dengan data.
**`MSE`**
Mean squared error (MSE) adalah rata-rata perbedaan kuadrat antara nilai prediksi dan aktual. Ini digunakan untuk regresi. Nilai MSE selalu positif. Semakin baik model dalam memprediksi nilai aktual, semakin kecil nilai MSE.
**`Precision`**
Presisi mengukur seberapa baik suatu algoritma memprediksi positif sejati (TP) dari semua hal positif yang diidentifikasi. Ini didefinisikan sebagai berikut: Presisi = TP/ (TP\$1FP), dengan nilai mulai dari nol (0) hingga satu (1), dan digunakan dalam klasifikasi biner. Presisi adalah metrik penting ketika biaya positif palsu tinggi. Misalnya, biaya positif palsu sangat tinggi jika sistem keselamatan pesawat secara keliru dianggap aman untuk terbang. Positif palsu (FP) mencerminkan prediksi positif yang sebenarnya negatif dalam data.
**`PrecisionMacro`**
Makro presisi menghitung presisi untuk masalah klasifikasi multiclass. Ini dilakukan dengan menghitung presisi untuk setiap kelas dan skor rata-rata untuk mendapatkan presisi untuk beberapa kelas. `PrecisionMacro`Skor berkisar dari nol (0) hingga satu (1). Skor yang lebih tinggi mencerminkan kemampuan model untuk memprediksi positif sejati (TP) dari semua positif yang diidentifikasi, dirata-ratakan di beberapa kelas.
**`R2`**
R 2, juga dikenal sebagai koefisien determinasi, digunakan dalam regresi untuk mengukur seberapa banyak model dapat menjelaskan varians variabel dependen. Nilai berkisar dari satu (1) ke negatif (-1). Angka yang lebih tinggi menunjukkan fraksi yang lebih tinggi dari variabilitas yang dijelaskan. `R2`nilai mendekati nol (0) menunjukkan bahwa sangat sedikit variabel dependen yang dapat dijelaskan oleh model. Nilai negatif menunjukkan kecocokan yang buruk dan bahwa model tersebut dikalahkan oleh fungsi konstan. Untuk regresi linier, ini adalah garis horizontal.
**`Recall`**
Ingat mengukur seberapa baik algoritme memprediksi dengan benar semua positif sejati (TP) dalam kumpulan data. Positif sejati adalah prediksi positif yang juga merupakan nilai positif aktual dalam data. Recall didefinisikan sebagai berikut: Recall = TP/ (TP\$1FN), dengan nilai mulai dari 0 hingga 1. Skor yang lebih tinggi mencerminkan kemampuan model yang lebih baik untuk memprediksi positif sejati (TP) dalam data. Ini digunakan dalam klasifikasi biner.
Ingat penting ketika menguji kanker karena digunakan untuk menemukan semua hal positif yang sebenarnya. False negative (FN) mencerminkan prediksi negatif yang sebenarnya positif dalam data. Seringkali tidak cukup untuk mengukur hanya ingatan, karena memprediksi setiap output sebagai positif sejati menghasilkan skor ingatan yang sempurna.
**`RecallMacro`**
`RecallMacro`Menghitung penarikan kembali untuk masalah klasifikasi multiclass dengan menghitung recall untuk setiap kelas dan skor rata-rata untuk mendapatkan recall untuk beberapa kelas. `RecallMacro`skor berkisar dari 0 hingga 1. Skor yang lebih tinggi mencerminkan kemampuan model untuk memprediksi positif sejati (TP) dalam kumpulan data, sedangkan positif sejati mencerminkan prediksi positif yang juga merupakan nilai positif aktual dalam data. Seringkali tidak cukup untuk mengukur hanya ingatan, karena memprediksi setiap output sebagai positif sejati akan menghasilkan skor ingatan yang sempurna.
**`RMSE`**
Kesalahan kuadrat rata-rata akar (RMSE) mengukur akar kuadrat dari perbedaan kuadrat antara nilai prediksi dan aktual, dan dirata-ratakan pada semua nilai. Ini digunakan dalam analisis regresi untuk memahami kesalahan prediksi model. Ini adalah metrik penting untuk menunjukkan adanya kesalahan model besar dan outlier. Nilai berkisar dari nol (0) hingga tak terhingga, dengan angka yang lebih kecil menunjukkan kecocokan model yang lebih baik dengan data. RMSE tergantung pada skala, dan tidak boleh digunakan untuk membandingkan kumpulan data dengan ukuran yang berbeda.
Metrik yang dihitung secara otomatis untuk kandidat model ditentukan oleh jenis masalah yang ditangani.
Lihat [dokumentasi referensi Amazon SageMaker API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobObjective.html) untuk daftar metrik yang tersedia yang didukung oleh Autopilot.
## Metrik tertimbang autopilot
**catatan**
Autopilot mendukung bobot sampel dalam mode ansambel hanya untuk semua [metrik yang tersedia](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-metrics-validation.html#autopilot-metrics) dengan pengecualian dan. `Balanced Accuracy` `InferenceLatency` `BalanceAccuracy`dilengkapi dengan skema pembobotannya sendiri untuk kumpulan data yang tidak seimbang yang tidak memerlukan bobot sampel. `InferenceLatency`tidak mendukung bobot sampel. Baik objektif `Balanced Accuracy` maupun `InferenceLatency` metrik mengabaikan bobot sampel yang ada saat melatih dan mengevaluasi model.
Pengguna dapat menambahkan kolom bobot sampel ke data mereka untuk memastikan bahwa setiap pengamatan yang digunakan untuk melatih model pembelajaran mesin diberi bobot yang sesuai dengan persepsi pentingnya model. Ini sangat berguna dalam skenario di mana pengamatan dalam kumpulan data memiliki berbagai tingkat kepentingan, atau di mana kumpulan data berisi jumlah sampel yang tidak proporsional dari satu kelas dibandingkan dengan yang lain. Menetapkan bobot untuk setiap pengamatan berdasarkan pentingnya atau kepentingan yang lebih besar bagi kelas minoritas dapat membantu kinerja keseluruhan model, atau memastikan bahwa model tidak bias terhadap kelas mayoritas.
Untuk informasi tentang cara meneruskan bobot sampel saat membuat eksperimen di UI Studio Classic, lihat *Langkah 7* di [Membuat eksperimen Autopilot](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-create-experiment.html) menggunakan Studio Classic.
[Untuk informasi tentang cara meneruskan bobot sampel secara terprogram saat membuat eksperimen Autopilot menggunakan API, lihat *Cara menambahkan bobot sampel ke pekerjaan AutoML di Membuat eksperimen Autopilot secara* terprogram.](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-create-experiment.html)
## Validasi silang di Autopilot
Validasi silang digunakan untuk mengurangi overfitting dan bias dalam pemilihan model. Hal ini juga digunakan untuk menilai seberapa baik model dapat memprediksi nilai-nilai dari dataset validasi yang tak terlihat, jika dataset validasi diambil dari populasi yang sama. Metode ini sangat penting saat melatih kumpulan data yang memiliki jumlah instance pelatihan terbatas.
Autopilot menggunakan validasi silang untuk membangun model dalam optimasi hyperparameter (HPO) dan mode pelatihan ensemble. Langkah pertama dalam proses validasi silang Autopilot adalah membagi data menjadi k-folds.
### Pemisahan K-lipat
K-fold splitting adalah metode yang memisahkan dataset pelatihan input menjadi beberapa kumpulan data pelatihan dan validasi. Dataset dibagi menjadi sub-sampel `k` berukuran sama yang disebut lipatan. Model kemudian dilatih pada `k-1` lipatan dan diuji terhadap lipatan k th yang tersisa, yang merupakan kumpulan data validasi. Proses ini diulang `k` kali menggunakan kumpulan data yang berbeda untuk validasi.
Gambar berikut menggambarkan pemisahan k-fold dengan k = 4 lipatan. Setiap lipatan direpresentasikan sebagai baris. Kotak berwarna gelap mewakili bagian-bagian dari data yang digunakan dalam pelatihan. Kotak berwarna terang yang tersisa menunjukkan kumpulan data validasi.
![\[Pemisahan K-fold dengan 4 lipatan digambarkan sebagai kotak: gelap untuk data yang digunakan; terang untuk kumpulan data validasi.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-metrics-kfold-splits.png)
Autopilot menggunakan validasi silang k-fold untuk mode optimasi hiperparameter (HPO) dan mode ansambel.
Anda dapat menerapkan model Autopilot yang dibuat menggunakan validasi silang seperti yang Anda lakukan dengan model Autopilot atau AI lainnya. SageMaker
### Modus HPO
Validasi silang K-fold menggunakan metode pemisahan k-fold untuk validasi silang. Dalam mode HPO, Autopilot secara otomatis mengimplementasikan validasi silang k-fold untuk kumpulan data kecil dengan 50.000 instans pelatihan atau lebih sedikit. Melakukan validasi silang sangat penting saat melatih kumpulan data kecil karena melindungi terhadap overfitting dan bias seleksi.
Mode HPO menggunakan nilai *k* 5 pada masing-masing algoritma kandidat yang digunakan untuk memodelkan dataset. Beberapa model dilatih pada split yang berbeda, dan model disimpan secara terpisah. Ketika pelatihan selesai, metrik validasi untuk masing-masing model dirata-ratakan untuk menghasilkan metrik estimasi tunggal. Terakhir, Autopilot menggabungkan model dari uji coba dengan metrik validasi terbaik ke dalam model ansambel. Autopilot menggunakan model ansambel ini untuk membuat prediksi.
Metrik validasi untuk model yang dilatih oleh Autopilot disajikan sebagai metrik objektif di papan peringkat model. Autopilot menggunakan metrik validasi default untuk setiap jenis masalah yang ditangani, kecuali jika Anda menentukan sebaliknya. Untuk daftar semua metrik yang digunakan Autopilot, lihat. [Metrik Autopilot](#autopilot-metrics)
Misalnya, [dataset Perumahan Boston](http://lib.stat.cmu.edu/datasets/boston) hanya berisi 861 sampel. Jika Anda membangun model untuk memprediksi harga jual rumah menggunakan dataset ini tanpa validasi silang, Anda berisiko melatih dataset yang tidak mewakili stok perumahan Boston. Jika Anda membagi data hanya sekali menjadi subset pelatihan dan validasi, lipatan pelatihan mungkin hanya berisi data terutama dari pinggiran kota. Akibatnya, Anda akan melatih data yang tidak mewakili seluruh kota. Dalam contoh ini, model Anda kemungkinan akan terlalu cocok dengan pilihan bias ini. Validasi silang K-fold dapat mengurangi risiko kesalahan semacam ini dengan memanfaatkan data yang tersedia secara penuh dan acak untuk pelatihan dan validasi.
Validasi silang dapat meningkatkan waktu pelatihan rata-rata 20%. Waktu pelatihan juga dapat meningkat secara signifikan untuk kumpulan data yang kompleks.
**catatan**
Dalam mode HPO, Anda dapat melihat metrik pelatihan dan validasi dari setiap lipatan di Log Anda. `/aws/sagemaker/TrainingJobs` CloudWatch Untuk informasi selengkapnya tentang CloudWatch Log, lihat[CloudWatch Log untuk Amazon SageMaker AI](logging-cloudwatch.md).
### Mode ansambel
**catatan**
Autopilot mendukung bobot sampel dalam mode ansambel. Untuk daftar metrik yang tersedia yang mendukung bobot sampel, lihat. [Metrik Autopilot](#autopilot-metrics)
Dalam mode ansambel, validasi silang dilakukan terlepas dari ukuran kumpulan data. Pelanggan dapat menyediakan kumpulan data validasi dan rasio pemisahan data khusus mereka sendiri, atau membiarkan Autopilot membagi kumpulan data secara otomatis menjadi rasio pemisahan 80-20%. Data pelatihan kemudian dibagi menjadi `k` -lipatan untuk validasi silang, di mana nilai `k` ditentukan oleh mesin. AutoGluon Sebuah ansambel terdiri dari beberapa model pembelajaran mesin, di mana setiap model dikenal sebagai model dasar. Model dasar tunggal dilatih pada (`k`-1) lipatan dan membuat out-of-fold prediksi pada lipatan yang tersisa. Proses ini diulang untuk semua `k` lipatan, dan prediksi out-of-fold (OOF) digabungkan untuk membentuk satu set prediksi. Semua model dasar dalam ansambel mengikuti proses yang sama untuk menghasilkan prediksi OOF.
Gambar berikut menggambarkan validasi k-fold dengan `k` = 4 lipatan. Setiap lipatan direpresentasikan sebagai baris. Kotak berwarna gelap mewakili bagian-bagian dari data yang digunakan dalam pelatihan. Kotak berwarna terang yang tersisa menunjukkan kumpulan data validasi.
Di bagian atas gambar, di setiap lipatan, model dasar pertama membuat prediksi pada kumpulan data validasi setelah pelatihan pada kumpulan data pelatihan. Pada setiap lipatan berikutnya, kumpulan data mengubah peran. Dataset yang sebelumnya digunakan untuk pelatihan sekarang digunakan untuk validasi, dan ini juga berlaku secara terbalik. Pada akhir `k` lipatan, semua prediksi digabungkan untuk membentuk satu set prediksi yang disebut prediksi (OOF). out-of-fold Proses ini diulang untuk setiap model `n` dasar.
![\[validasi k-fold: Empat baris kotak menggambarkan 4 lipatan yang menghasilkan deretan prediksi OOF.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-metrics-kfold.PNG)
Prediksi OOF untuk setiap model dasar kemudian digunakan sebagai fitur untuk melatih model susun. Model susun mempelajari bobot penting untuk setiap model dasar. Bobot ini digunakan untuk menggabungkan prediksi OOF untuk membentuk prediksi akhir. Kinerja pada dataset validasi menentukan basis atau model susun mana yang terbaik, dan model ini dikembalikan sebagai model akhir.
Dalam mode ansambel, Anda dapat menyediakan kumpulan data validasi Anda sendiri atau membiarkan Autopilot membagi kumpulan data input secara otomatis menjadi kumpulan data 80% dan kumpulan data validasi 20%. Data pelatihan kemudian dibagi menjadi `k` -lipatan untuk validasi silang dan menghasilkan prediksi OOF dan model dasar untuk setiap lipatan.
Prediksi OOF ini digunakan sebagai fitur untuk melatih model susun, yang secara bersamaan mempelajari bobot untuk setiap model dasar. Bobot ini digunakan untuk menggabungkan prediksi OOF untuk membentuk prediksi akhir. Kumpulan data validasi untuk setiap lipatan digunakan untuk penyetelan hiperparameter dari semua model dasar dan model susun. Kinerja pada kumpulan data validasi menentukan model basis atau susun mana yang merupakan model terbaik, dan model ini dikembalikan sebagai model akhir.
# Penyebaran dan prediksi model autopilot
Panduan SageMaker Autopilot Amazon ini mencakup langkah-langkah untuk penerapan model, menyiapkan inferensi waktu nyata, dan menjalankan inferensi dengan pekerjaan batch.
Setelah Anda melatih model Autopilot Anda, Anda dapat menerapkannya untuk mendapatkan prediksi dengan salah satu dari dua cara:
1. Gunakan [Terapkan model untuk inferensi waktu nyata](autopilot-deploy-models-realtime.md) untuk mengatur titik akhir dan mendapatkan prediksi secara interaktif. Inferensi waktu nyata ideal untuk beban kerja inferensi di mana Anda memiliki persyaratan waktu nyata, interaktif, dan latensi rendah.
1. Gunakan [Jalankan pekerjaan inferensi batch](autopilot-deploy-models-batch.md) untuk membuat prediksi secara paralel pada batch pengamatan pada seluruh kumpulan data. Inferensi Batch adalah pilihan yang baik untuk kumpulan data besar atau jika Anda tidak memerlukan respons langsung terhadap permintaan prediksi model.
**catatan**
Untuk menghindari biaya yang tidak perlu: Setelah titik akhir dan sumber daya yang dibuat dari penerapan model tidak lagi diperlukan, Anda dapat menghapusnya. Untuk informasi tentang penetapan harga instans menurut Wilayah, lihat [ SageMaker Harga Amazon](https://aws.amazon.com/sagemaker/pricing/).
# Terapkan model untuk inferensi waktu nyata
Inferensi waktu nyata ideal untuk beban kerja inferensi di mana Anda memiliki persyaratan waktu nyata, interaktif, dan latensi rendah. Bagian ini menunjukkan bagaimana Anda dapat menggunakan inferensi waktu nyata untuk mendapatkan prediksi secara interaktif dari model Anda.
Untuk menerapkan model yang menghasilkan metrik validasi terbaik dalam eksperimen Autopilot, Anda memiliki beberapa opsi. Misalnya, saat menggunakan Autopilot di SageMaker Studio Classic, Anda dapat menerapkan model secara otomatis atau manual. Anda juga dapat menggunakan SageMaker APIs untuk menyebarkan model Autopilot secara manual.
Tab berikut menunjukkan tiga opsi untuk menerapkan model Anda. Instruksi ini mengasumsikan bahwa Anda telah membuat model di Autopilot. Jika Anda tidak memiliki model, lihat[Membuat Pekerjaan Regresi atau Klasifikasi untuk Data Tabular Menggunakan AutoML API](autopilot-automate-model-development-create-experiment.md). Untuk melihat contoh untuk setiap opsi, buka setiap tab.
## Terapkan menggunakan Antarmuka Pengguna Autopilot (UI)
UI Autopilot berisi menu tarik-turun yang bermanfaat, sakelar, tooltips, dan lainnya untuk membantu Anda menavigasi penerapan model. Anda dapat menggunakan salah satu dari prosedur berikut: Otomatis atau Manual.
+ **Automatic Deployment**: Untuk secara otomatis menerapkan model terbaik dari eksperimen Autopilot ke titik akhir
1. [Buat eksperimen](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-create-experiment.html) di SageMaker Studio Classic.
1. **Alihkan nilai **penerapan Otomatis ke Ya**.**
**catatan**
**Penerapan otomatis akan gagal jika kuota sumber daya default atau kuota pelanggan Anda untuk instans titik akhir di Wilayah terlalu terbatas.** Dalam mode optimasi hyperparameter (HPO), Anda harus memiliki setidaknya dua instance ml.m5.2xlarge. Dalam mode ensembling, Anda harus memiliki setidaknya satu instance ml.m5.12xlarge. Jika Anda mengalami kegagalan terkait kuota, Anda dapat [meminta peningkatan batas layanan untuk instance](https://docs.aws.amazon.com/servicequotas/latest/userguide/request-quota-increase.html) titik akhir SageMaker AI.
+ **Penerapan Manual**: Untuk menerapkan model terbaik secara manual dari eksperimen Autopilot ke titik akhir
1. [Buat eksperimen](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-create-experiment.html) di SageMaker Studio Classic.
1. **Alihkan nilai **Auto deploy ke No**.**
1. Pilih model yang ingin Anda gunakan di bawah **Nama model**.
1. Pilih tombol **Deployment dan pengaturan lanjutan** berwarna oranye yang terletak di sebelah kanan papan peringkat. Ini membuka tab baru.
1. Konfigurasikan nama titik akhir, jenis instance, dan informasi opsional lainnya.
1. Pilih **model Deploy** oranye untuk menyebarkan ke titik akhir.
1. Periksa kemajuan proses pembuatan titik akhir di bagian [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)dengan menavigasi ke bagian Endpoints. Bagian itu terletak di menu tarik-turun **Inferensi** di panel navigasi.
1. Setelah status endpoint berubah dari **Creating** menjadi **InService**, seperti yang ditunjukkan di bawah ini, kembali ke Studio Classic dan panggil endpoint.
![\[SageMaker Konsol AI: Halaman titik akhir untuk membuat titik akhir atau memeriksa status titik akhir.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-check-progress.PNG)
## Menyebarkan menggunakan SageMaker APIs
Anda juga dapat memperoleh inferensi real-time dengan menerapkan model Anda menggunakan panggilan **API**. Bagian ini menunjukkan lima langkah proses ini menggunakan AWS Command Line Interface (AWS CLI) cuplikan kode.
Untuk contoh kode lengkap untuk kedua AWS CLI perintah dan AWS SDK untuk Python (boto3), buka tab langsung mengikuti langkah-langkah ini.
1. **Dapatkan definisi kandidat**
Dapatkan definisi wadah kandidat dari [InferenceContainers](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-InferenceContainers). Definisi kandidat ini digunakan untuk membuat model SageMaker AI.
Contoh berikut menggunakan [DescribeAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html)API untuk mendapatkan definisi kandidat untuk kandidat model terbaik. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker describe-auto-ml-job --auto-ml-job-name --region
```
1. **Daftar kandidat**
Contoh berikut menggunakan [ListCandidatesForAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidatesForAutoMLJob.html)API untuk mencantumkan semua kandidat. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker list-candidates-for-auto-ml-job --auto-ml-job-name --region
```
1. **Buat model SageMaker AI**
Gunakan definisi container dari langkah sebelumnya untuk membuat model SageMaker AI dengan menggunakan [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker create-model --model-name '' \
--containers [', , ]' \
--execution-role-arn '' --region '
```
1. **Buat konfigurasi titik akhir**
Contoh berikut menggunakan [CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API untuk membuat konfigurasi endpoint. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker create-endpoint-config --endpoint-config-name '' \
--production-variants '' \
--region ''
```
1. **Buat titik akhir**
AWS CLI Contoh berikut menggunakan [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API untuk membuat titik akhir.
```
aws sagemaker create-endpoint --endpoint-name '' \
--endpoint-config-name '' \
--region ''
```
Periksa kemajuan penerapan titik akhir Anda dengan menggunakan API. [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html) Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker describe-endpoint —endpoint-name '' —region
```
Setelah `EndpointStatus` perubahan`InService`, titik akhir siap digunakan untuk inferensi waktu nyata.
1. **Memanggil titik akhir**
Struktur perintah berikut memanggil titik akhir untuk inferensi real-time.
```
aws sagemaker invoke-endpoint --endpoint-name '' \
--region '' --body '' [--content-type] ''
```
Tab berikut berisi contoh kode lengkap untuk menerapkan model dengan AWS SDK untuk Python (boto3) atau file. AWS CLI
------
#### [ AWS SDK for Python (boto3) ]
1. **Dapatkan definisi kandidat** dengan menggunakan contoh kode berikut.
```
import sagemaker
import boto3
session = sagemaker.session.Session()
sagemaker_client = boto3.client('sagemaker', region_name='us-west-2')
job_name = 'test-auto-ml-job'
describe_response = sm_client.describe_auto_ml_job(AutoMLJobName=job_name)
# extract the best candidate definition from DescribeAutoMLJob response
best_candidate = describe_response['BestCandidate']
# extract the InferenceContainers definition from the caandidate definition
inference_containers = best_candidate['InferenceContainers']
```
1. **Buat model** dengan menggunakan contoh kode berikut.
```
# Create Model
model_name = 'test-model'
sagemaker_role = 'arn:aws:iam:444455556666:role/sagemaker-execution-role'
create_model_response = sagemaker_client.create_model(
ModelName = model_name,
ExecutionRoleArn = sagemaker_role,
Containers = inference_containers
)
```
1. **Buat konfigurasi endpoint** dengan menggunakan contoh kode berikut.
```
endpoint_config_name = 'test-endpoint-config'
instance_type = 'ml.m5.2xlarge'
# for all supported instance types, see
# https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariant.html#sagemaker-Type-ProductionVariant-InstanceType # Create endpoint config
endpoint_config_response = sagemaker_client.create_endpoint_config(
EndpointConfigName=endpoint_config_name,
ProductionVariants=[
{
"VariantName": "variant1",
"ModelName": model_name,
"InstanceType": instance_type,
"InitialInstanceCount": 1
}
]
)
print(f"Created EndpointConfig: {endpoint_config_response['EndpointConfigArn']}")
```
1. **Buat titik akhir** dan gunakan model dengan contoh kode berikut.
```
# create endpoint and deploy the model
endpoint_name = 'test-endpoint'
create_endpoint_response = sagemaker_client.create_endpoint(
EndpointName=endpoint_name,
EndpointConfigName=endpoint_config_name)
print(create_endpoint_response)
```
**Periksa status pembuatan titik akhir** dengan menggunakan contoh kode berikut.
```
# describe endpoint creation status
status = sagemaker_client.describe_endpoint(EndpointName=endpoint_name)["EndpointStatus"]
```
1. **Memanggil endpoint** untuk inferensi real-time dengan menggunakan struktur perintah berikut.
```
# once endpoint status is InService, you can invoke the endpoint for inferencing
if status == "InService":
sm_runtime = boto3.Session().client('sagemaker-runtime')
inference_result = sm_runtime.invoke_endpoint(EndpointName='test-endpoint', ContentType='text/csv', Body='1,2,3,4,class')
```
------
#### [ AWS Command Line Interface (AWS CLI) ]
1. **Dapatkan definisi kandidat** dengan menggunakan contoh kode berikut.
```
aws sagemaker describe-auto-ml-job --auto-ml-job-name 'test-automl-job' --region us-west-2
```
1. **Buat model** dengan menggunakan contoh kode berikut.
```
aws sagemaker create-model --model-name 'test-sagemaker-model'
--containers '[{
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-sklearn-automl:2.5-1-cpu-py3", amzn-s3-demo-bucket1
"ModelDataUrl": "s3://amzn-s3-demo-bucket/output/model.tar.gz",
"Environment": {
"AUTOML_SPARSE_ENCODE_RECORDIO_PROTOBUF": "1",
"AUTOML_TRANSFORM_MODE": "feature-transform",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "application/x-recordio-protobuf",
"SAGEMAKER_PROGRAM": "sagemaker_serve",
"SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code"
}
}, {
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-xgboost:1.3-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/output/model.tar.gz",
"Environment": {
"MAX_CONTENT_LENGTH": "20971520",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "text/csv",
"SAGEMAKER_INFERENCE_OUTPUT": "predicted_label",
"SAGEMAKER_INFERENCE_SUPPORTED": "predicted_label,probability,probabilities"
}
}, {
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-sklearn-automl:2.5-1-cpu-py3", aws-region
"ModelDataUrl": "s3://amzn-s3-demo-bucket/output/model.tar.gz",
"Environment": {
"AUTOML_TRANSFORM_MODE": "inverse-label-transform",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "text/csv",
"SAGEMAKER_INFERENCE_INPUT": "predicted_label",
"SAGEMAKER_INFERENCE_OUTPUT": "predicted_label",
"SAGEMAKER_INFERENCE_SUPPORTED": "predicted_label,probability,labels,probabilities",
"SAGEMAKER_PROGRAM": "sagemaker_serve",
"SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code"
}
}]' \
--execution-role-arn 'arn:aws:iam::1234567890:role/sagemaker-execution-role' \
--region 'us-west-2'
```
Untuk detail tambahan, lihat [membuat model](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/sagemaker/create-model.html).
`create model`Perintah akan mengembalikan respons dalam format berikut.
```
{
"ModelArn": "arn:aws:sagemaker:us-west-2:1234567890:model/test-sagemaker-model"
}
```
1. **Buat konfigurasi endpoint** dengan menggunakan contoh kode berikut.
```
aws sagemaker create-endpoint-config --endpoint-config-name 'test-endpoint-config' \
--production-variants '[{"VariantName": "variant1",
"ModelName": "test-sagemaker-model",
"InitialInstanceCount": 1,
"InstanceType": "ml.m5.2xlarge"
}]' \
--region us-west-2
```
Perintah `create endpoint` konfigurasi akan mengembalikan respons dalam format berikut.
```
{
"EndpointConfigArn": "arn:aws:sagemaker:us-west-2:1234567890:endpoint-config/test-endpoint-config"
}
```
1. **Buat endpoint** dengan menggunakan contoh kode berikut.
```
aws sagemaker create-endpoint --endpoint-name 'test-endpoint' \
--endpoint-config-name 'test-endpoint-config' \
--region us-west-2
```
`create endpoint`Perintah akan mengembalikan respons dalam format berikut.
```
{
"EndpointArn": "arn:aws:sagemaker:us-west-2:1234567890:endpoint/test-endpoint"
}
```
Periksa kemajuan penerapan titik akhir dengan menggunakan contoh kode CLI [describe-endpoint](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/describe-endpoint.html) berikut.
```
aws sagemaker describe-endpoint --endpoint-name 'test-endpoint' --region us-west-2
```
Pemeriksaan kemajuan sebelumnya akan mengembalikan respons dalam format berikut.
```
{
"EndpointName": "test-endpoint",
"EndpointArn": "arn:aws:sagemaker:us-west-2:1234567890:endpoint/test-endpoint",
"EndpointConfigName": "test-endpoint-config",
"EndpointStatus": "Creating",
"CreationTime": 1660251167.595,
"LastModifiedTime": 1660251167.595
}
```
Setelah `EndpointStatus` perubahan`InService`, titik akhir siap digunakan dalam inferensi waktu nyata.
1. **Memanggil endpoint** untuk inferensi real-time dengan menggunakan struktur perintah berikut.
```
aws sagemaker-runtime invoke-endpoint --endpoint-name 'test-endpoint' \
--region 'us-west-2' \
--body '1,51,3.5,1.4,0.2' \
--content-type 'text/csv' \
'/tmp/inference_output'
```
Untuk opsi lainnya, lihat [menjalankan titik akhir](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/sagemaker-runtime/invoke-endpoint.html).
------
## Terapkan model dari akun yang berbeda
Anda dapat menerapkan model Autopilot dari akun yang berbeda dari akun asli tempat model dibuat. Untuk menerapkan penerapan model lintas akun, bagian ini menunjukkan cara melakukan hal berikut: Berikan izin untuk mengambil peran ke akun yang ingin Anda gunakan (akun pembuat). Lakukan panggilan ke `DescribeAutoMLJob` dari akun penyebaran untuk mendapatkan informasi model. Berikan hak akses ke artefak model dari akun pembuat.
1. **Berikan izin ke akun penerapan**
Untuk mengambil peran dalam akun pembangkit, Anda harus memberikan izin ke akun penyebaran. Ini memungkinkan akun penyebaran untuk menjelaskan pekerjaan Autopilot di akun pembangkit.
Contoh berikut menggunakan akun penghasil dengan `sagemaker-role` entitas tepercaya. Contoh menunjukkan cara memberikan akun penerapan dengan izin ID 111122223333 untuk mengambil peran akun pembangkit.
```
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": [
"sagemaker.amazonaws.com"
],
"AWS": [ "111122223333"]
},
"Action": "sts:AssumeRole"
}
```
Akun baru dengan ID 111122223333 sekarang dapat mengambil peran untuk akun pembangkit.
Selanjutnya, panggil `DescribeAutoMLJob` API dari akun penerapan untuk mendapatkan deskripsi pekerjaan yang dibuat oleh akun pembuat.
Contoh kode berikut menjelaskan model dari akun penyebaran.
```
import sagemaker
import boto3
session = sagemaker.session.Session()
sts_client = boto3.client('sts')
sts_client.assume_role
role = 'arn:aws:iam::111122223333:role/sagemaker-role'
role_session_name = "role-session-name"
_assumed_role = sts_client.assume_role(RoleArn=role, RoleSessionName=role_session_name)
credentials = _assumed_role["Credentials"]
access_key = credentials["AccessKeyId"]
secret_key = credentials["SecretAccessKey"]
session_token = credentials["SessionToken"]
session = boto3.session.Session()
sm_client = session.client('sagemaker', region_name='us-west-2',
aws_access_key_id=access_key,
aws_secret_access_key=secret_key,
aws_session_token=session_token)
# now you can call describe automl job created in account A
job_name = "test-job"
response= sm_client.describe_auto_ml_job(AutoMLJobName=job_name)
```
1. **Berikan akses ke akun penyebaran** ke artefak model di akun pembangkit.
Akun penerapan hanya memerlukan akses ke artefak model di akun pembuat untuk menerapkannya. Ini terletak di [S3 OutputPath](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html#sagemaker-Type-AutoMLOutputDataConfig-S3OutputPath) yang ditentukan dalam panggilan `CreateAutoMLJob` API asli selama pembuatan model.
Untuk memberikan akses akun penyebaran ke artefak model, pilih salah satu opsi berikut:
1. [Berikan akses](https://aws.amazon.com/premiumsupport/knowledge-center/cross-account-access-s3/) ke `ModelDataUrl` dari akun pembangkit ke akun penyebaran.
Selanjutnya, Anda perlu memberikan izin akun penerapan untuk mengambil peran tersebut. ikuti langkah-langkah [inferensi waktu nyata](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-deploy-models.html#autopilot-deploy-models-realtime) untuk menerapkan.
1. [Salin artefak model](https://aws.amazon.com/premiumsupport/knowledge-center/copy-s3-objects-account/) dari [S3](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html#sagemaker-Type-AutoMLOutputDataConfig-S3OutputPath) asli akun pembuat OutputPath ke akun pembuat.
Untuk memberikan akses ke artefak model, Anda harus menentukan `best_candidate` model dan menetapkan ulang wadah model ke akun baru.
Contoh berikut menunjukkan bagaimana mendefinisikan `best_candidate` model dan menetapkan kembali. `ModelDataUrl`
```
best_candidate = automl.describe_auto_ml_job()['BestCandidate']
# reassigning ModelDataUrl for best_candidate containers below
new_model_locations = ['new-container-1-ModelDataUrl', 'new-container-2-ModelDataUrl', 'new-container-3-ModelDataUrl']
new_model_locations_index = 0
for container in best_candidate['InferenceContainers']:
container['ModelDataUrl'] = new_model_locations[new_model_locations_index++]
```
Setelah penugasan kontainer ini, ikuti langkah-langkah [Menyebarkan menggunakan SageMaker APIs](#autopilot-deploy-models-api) untuk menerapkan.
Untuk membuat payload dalam inferensi real-time, lihat contoh notebook untuk [menentukan payload pengujian](https://aws.amazon.com/getting-started/hands-on/machine-learning-tutorial-automatically-create-models). Untuk membuat payload dari file CSV dan menjalankan endpoint, lihat bagian **Predict with your model di [Create a machine](https://aws.amazon.com/getting-started/hands-on/create-machine-learning-model-automatically-sagemaker-autopilot/#autopilot-cr-room) learning model** secara otomatis.
# Jalankan pekerjaan inferensi batch
Batch inferencing, juga dikenal sebagai inferensi offline, menghasilkan prediksi model pada batch pengamatan. Inferensi Batch adalah pilihan yang baik untuk kumpulan data besar atau jika Anda tidak memerlukan respons langsung terhadap permintaan prediksi model. Sebaliknya, inferensi online (inferensi [waktu nyata](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-deploy-models.html#autopilot-deploy-models-realtime)) menghasilkan prediksi secara real time. Anda dapat membuat kesimpulan batch dari model Autopilot menggunakan [SageMaker Python SDK, antarmuka pengguna Autopilot (UI), SDK AWS](https://sagemaker.readthedocs.io/en/stable/) [untuk](https://aws.amazon.com/sdk-for-python/) Python (boto3), atau (). AWS Command Line Interface [AWS CLI](https://docs.aws.amazon.com/cli/)
Tab berikut menampilkan tiga opsi untuk menerapkan model Anda: Menggunakan APIs, Autopilot UI, atau menggunakan APIs untuk menyebarkan dari akun yang berbeda. Instruksi ini mengasumsikan bahwa Anda telah membuat model di Autopilot. Jika Anda tidak memiliki model, lihat[Membuat Pekerjaan Regresi atau Klasifikasi untuk Data Tabular Menggunakan AutoML API](autopilot-automate-model-development-create-experiment.md). Untuk melihat contoh untuk setiap opsi, buka setiap tab.
## Menerapkan model menggunakan Autopilot UI
UI Autopilot berisi menu tarik-turun yang bermanfaat, sakelar, tooltips, dan lainnya untuk membantu Anda menavigasi penerapan model.
Langkah-langkah berikut menunjukkan cara menerapkan model dari eksperimen Autopilot untuk prediksi batch.
1. Masuk [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)dan pilih **Studio** dari panel navigasi.
1. Di panel navigasi kiri, pilih **Studio**.
1. Di bawah **Memulai**, pilih Domain tempat Anda ingin meluncurkan aplikasi Studio. Jika profil pengguna Anda hanya milik satu Domain, Anda tidak melihat opsi untuk memilih Domain.
1. Pilih profil pengguna yang ingin Anda luncurkan aplikasi Studio Classic. Jika tidak ada profil pengguna di domain, pilih **Buat profil pengguna**. Untuk informasi selengkapnya, lihat [Menambahkan profil pengguna](https://docs.aws.amazon.com/sagemaker/latest/dg/domain-user-profile-add.html).
1. Pilih **Launch Studio**. Jika profil pengguna milik ruang bersama, pilih **Open Spaces**.
1. Saat konsol SageMaker Studio Classic terbuka, pilih tombol **Launch SageMaker Studio**.
1. Pilih **AutoML** dari panel navigasi kiri.
1. Di bawah **Nama**, pilih eksperimen Autopilot yang sesuai dengan model yang ingin Anda gunakan. Ini membuka tab **AUTOPILOT** JOB baru.
1. Di bagian **Nama model**, pilih model yang ingin Anda gunakan.
1. Pilih **model Deploy**. Ini membuka tab baru.
1. Pilih **Buat prediksi batch** di bagian atas halaman.
1. Untuk **konfigurasi pekerjaan transformasi Batch**, masukkan **tipe Instance**, **jumlah Instance**, dan informasi opsional lainnya.
1. Di bagian **Input data configuration**, buka menu dropdown.
1. Untuk **tipe data S3**, pilih **ManifestFile**atau **S3Prefix**.
1. **Untuk **tipe Split**, pilih **Line**, **RecorDio**, **TFRecord**atau None.**
1. Untuk **Kompresi**, pilih **Gzip** atau **Tidak Ada**.
1. Untuk **lokasi S3**, masukkan lokasi bucket Amazon S3 dari data input dan informasi opsional lainnya.
1. Di bawah **Konfigurasi data keluaran**, masukkan bucket S3 untuk data keluaran, dan pilih cara [merakit output](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TransformOutput.html#sagemaker-Type-TransformOutput-AssembleWith) pekerjaan Anda.
1. Untuk **konfigurasi Tambahan (opsional)**, Anda dapat memasukkan tipe MIME dan kunci **Enkripsi S3**.
1. Untuk **penyaringan input/output dan gabungan data (opsional)**, Anda memasukkan JSONpath ekspresi untuk memfilter data input Anda, menggabungkan data sumber input dengan data output Anda, dan memasukkan JSONpath ekspresi untuk memfilter data keluaran Anda.
1. Untuk contoh untuk setiap jenis filter, lihat [DataProcessing API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DataProcessing.html#sagemaker-Type-DataProcessing-InputFilter).
1. Untuk melakukan prediksi batch pada kumpulan data input Anda, pilih **Buat pekerjaan transformasi batch**. Tab **Batch Transform Jobs** baru muncul.
1. Di tab **Batch Transform Jobs**: Temukan nama pekerjaan Anda di bagian **Status**. Kemudian periksa kemajuan pekerjaan.
## Menyebarkan menggunakan SageMaker APIs
Untuk menggunakan inferensi batch SageMaker APIs for, ada tiga langkah:
1. **Dapatkan definisi kandidat**
Definisi kandidat dari [InferenceContainers](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-InferenceContainers)digunakan untuk membuat model SageMaker AI.
Contoh berikut menunjukkan cara menggunakan [DescribeAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html)API untuk mendapatkan definisi kandidat untuk kandidat model terbaik. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker describe-auto-ml-job --auto-ml-job-name --region
```
Gunakan [ListCandidatesForAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidatesForAutoMLJob.html)API untuk mencantumkan semua kandidat. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker list-candidates-for-auto-ml-job --auto-ml-job-name --region
```
1. **Buat model SageMaker AI**
Untuk membuat model SageMaker AI menggunakan [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API, gunakan definisi container dari langkah sebelumnya. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker create-model --model-name '' \
--containers [', , ]' \
--execution-role-arn '' --region '
```
1. **Buat pekerjaan transformasi SageMaker AI**
Contoh berikut membuat pekerjaan transformasi SageMaker AI dengan [CreateTransformJob](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-transform-job.html)API. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker create-transform-job --transform-job-name '' --model-name ''\
--transform-input '{
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": ""
}
},
"ContentType": "text/csv",
"SplitType": "Line"
}'\
--transform-output '{
"S3OutputPath": "",
"AssembleWith": "Line"
}'\
--transform-resources '{
"InstanceType": "",
"InstanceCount": 1
}' --region ''
```
Periksa kemajuan pekerjaan transformasi Anda menggunakan [DescribeTransformJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeTransformJob.html)API. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker describe-transform-job --transform-job-name '' --region
```
Setelah pekerjaan selesai, hasil yang diprediksi akan tersedia di``.
Nama file output memiliki format berikut:`.out`. Sebagai contoh, jika file input Anda`text_x.csv`, nama output akan menjadi`text_x.csv.out`.
Tab berikut menunjukkan contoh kode untuk SageMaker Python SDK, AWS SDK untuk Python (boto3), dan file. AWS CLI
------
#### [ SageMaker Python SDK ]
Contoh berikut menggunakan **[SageMaker Python SDK](https://sagemaker.readthedocs.io/en/stable/overview.html)** untuk membuat prediksi dalam batch.
```
from sagemaker import AutoML
sagemaker_session= sagemaker.session.Session()
job_name = 'test-auto-ml-job' # your autopilot job name
automl = AutoML.attach(auto_ml_job_name=job_name)
output_path = 's3://test-auto-ml-job/output'
input_data = 's3://test-auto-ml-job/test_X.csv'
# call DescribeAutoMLJob API to get the best candidate definition
best_candidate = automl.describe_auto_ml_job()['BestCandidate']
best_candidate_name = best_candidate['CandidateName']
# create model
model = automl.create_model(name=best_candidate_name,
candidate=best_candidate)
# create transformer
transformer = model.transformer(instance_count=1,
instance_type='ml.m5.2xlarge',
assemble_with='Line',
output_path=output_path)
# do batch transform
transformer.transform(data=input_data,
split_type='Line',
content_type='text/csv',
wait=True)
```
------
#### [ AWS SDK for Python (boto3) ]
Contoh berikut menggunakan **AWS SDK untuk Python (boto3**) untuk membuat prediksi dalam batch.
```
import sagemaker
import boto3
session = sagemaker.session.Session()
sm_client = boto3.client('sagemaker', region_name='us-west-2')
role = 'arn:aws:iam::1234567890:role/sagemaker-execution-role'
output_path = 's3://test-auto-ml-job/output'
input_data = 's3://test-auto-ml-job/test_X.csv'
best_candidate = sm_client.describe_auto_ml_job(AutoMLJobName=job_name)['BestCandidate']
best_candidate_containers = best_candidate['InferenceContainers']
best_candidate_name = best_candidate['CandidateName']
# create model
reponse = sm_client.create_model(
ModelName = best_candidate_name,
ExecutionRoleArn = role,
Containers = best_candidate_containers
)
# Lauch Transform Job
response = sm_client.create_transform_job(
TransformJobName=f'{best_candidate_name}-transform-job',
ModelName=model_name,
TransformInput={
'DataSource': {
'S3DataSource': {
'S3DataType': 'S3Prefix',
'S3Uri': input_data
}
},
'ContentType': "text/csv",
'SplitType': 'Line'
},
TransformOutput={
'S3OutputPath': output_path,
'AssembleWith': 'Line',
},
TransformResources={
'InstanceType': 'ml.m5.2xlarge',
'InstanceCount': 1,
},
)
```
Pekerjaan inferensi batch mengembalikan respons dalam format berikut.
```
{'TransformJobArn': 'arn:aws:sagemaker:us-west-2:1234567890:transform-job/test-transform-job',
'ResponseMetadata': {'RequestId': '659f97fc-28c4-440b-b957-a49733f7c2f2',
'HTTPStatusCode': 200,
'HTTPHeaders': {'x-amzn-requestid': '659f97fc-28c4-440b-b957-a49733f7c2f2',
'content-type': 'application/x-amz-json-1.1',
'content-length': '96',
'date': 'Thu, 11 Aug 2022 22:23:49 GMT'},
'RetryAttempts': 0}}
```
------
#### [ AWS Command Line Interface (AWS CLI) ]
1. **Dapatkan definisi kandidat** dengan menggunakan contoh kode berikut.
```
aws sagemaker describe-auto-ml-job --auto-ml-job-name 'test-automl-job' --region us-west-2
```
1. **Buat model** dengan menggunakan contoh kode berikut.
```
aws sagemaker create-model --model-name 'test-sagemaker-model'
--containers '[{
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-sklearn-automl:2.5-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/out/test-job1/data-processor-models/test-job1-dpp0-1-e569ff7ad77f4e55a7e549a/output/model.tar.gz",
"Environment": {
"AUTOML_SPARSE_ENCODE_RECORDIO_PROTOBUF": "1",
"AUTOML_TRANSFORM_MODE": "feature-transform",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "application/x-recordio-protobuf",
"SAGEMAKER_PROGRAM": "sagemaker_serve",
"SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code"
}
}, {
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-xgboost:1.3-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/out/test-job1/tuning/flicdf10v2-dpp0-xgb/test-job1E9-244-7490a1c0/output/model.tar.gz",
"Environment": {
"MAX_CONTENT_LENGTH": "20971520",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "text/csv",
"SAGEMAKER_INFERENCE_OUTPUT": "predicted_label",
"SAGEMAKER_INFERENCE_SUPPORTED": "predicted_label,probability,probabilities"
}
}, {
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-sklearn-automl:2.5-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/out/test-job1/data-processor-models/test-job1-dpp0-1-e569ff7ad77f4e55a7e549a/output/model.tar.gz",
"Environment": {
"AUTOML_TRANSFORM_MODE": "inverse-label-transform",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "text/csv",
"SAGEMAKER_INFERENCE_INPUT": "predicted_label",
"SAGEMAKER_INFERENCE_OUTPUT": "predicted_label",
"SAGEMAKER_INFERENCE_SUPPORTED": "predicted_label,probability,labels,probabilities",
"SAGEMAKER_PROGRAM": "sagemaker_serve",
"SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code"
}
}]' \
--execution-role-arn 'arn:aws:iam::1234567890:role/sagemaker-execution-role' \
--region 'us-west-2'
```
1. **Buat pekerjaan transformasi** dengan menggunakan contoh kode berikut.
```
aws sagemaker create-transform-job --transform-job-name 'test-tranform-job'\
--model-name 'test-sagemaker-model'\
--transform-input '{
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3://amzn-s3-demo-bucket/data.csv"
}
},
"ContentType": "text/csv",
"SplitType": "Line"
}'\
--transform-output '{
"S3OutputPath": "s3://amzn-s3-demo-bucket/output/",
"AssembleWith": "Line"
}'\
--transform-resources '{
"InstanceType": "ml.m5.2xlarge",
"InstanceCount": 1
}'\
--region 'us-west-2'
```
1. **Periksa kemajuan pekerjaan transformasi** dengan menggunakan contoh kode berikut.
```
aws sagemaker describe-transform-job --transform-job-name 'test-tranform-job' --region us-west-2
```
Berikut ini adalah respons dari pekerjaan transformasi.
```
{
"TransformJobName": "test-tranform-job",
"TransformJobArn": "arn:aws:sagemaker:us-west-2:1234567890:transform-job/test-tranform-job",
"TransformJobStatus": "InProgress",
"ModelName": "test-model",
"TransformInput": {
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3://amzn-s3-demo-bucket/data.csv"
}
},
"ContentType": "text/csv",
"CompressionType": "None",
"SplitType": "Line"
},
"TransformOutput": {
"S3OutputPath": "s3://amzn-s3-demo-bucket/output/",
"AssembleWith": "Line",
"KmsKeyId": ""
},
"TransformResources": {
"InstanceType": "ml.m5.2xlarge",
"InstanceCount": 1
},
"CreationTime": 1662495635.679,
"TransformStartTime": 1662495847.496,
"DataProcessing": {
"InputFilter": "$",
"OutputFilter": "$",
"JoinSource": "None"
}
}
```
Setelah `TransformJobStatus` perubahan`Completed`, Anda dapat memeriksa hasil inferensi di. `S3OutputPath`
------
## Terapkan model dari akun yang berbeda
Untuk membuat pekerjaan inferensi batch di akun yang berbeda dari yang dibuat model, ikuti instruksi di[Terapkan model dari akun yang berbeda](autopilot-deploy-models-realtime.md#autopilot-deploy-models-realtime-across-accounts). Kemudian Anda dapat membuat model dan mengubah pekerjaan dengan mengikuti[Menyebarkan menggunakan SageMaker APIs](#autopilot-deploy-models-batch-steps).
# Lihat detail model
Autopilot menghasilkan detail tentang model kandidat yang dapat Anda peroleh. Rincian ini meliputi:
+ Plot nilai SHAP agregat yang menunjukkan pentingnya setiap fitur. Ini membantu menjelaskan prediksi model Anda.
+ Ringkasan statistik untuk berbagai metrik pelatihan dan validasi, termasuk metrik objektif.
+ Daftar hyperparameters yang digunakan untuk melatih dan menyetel model.
Untuk melihat detail model setelah menjalankan pekerjaan Autopilot, ikuti langkah-langkah berikut:
1. Pilih ikon **Beranda** (![\[Black square icon representing a placeholder or empty image.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/studio/icons/house.png)) dari panel navigasi kiri untuk melihat menu navigasi **Amazon SageMaker Studio Classic** tingkat atas.
1. Pilih kartu **AutoML** dari area kerja utama. Ini membuka tab **Autopilot** baru.
1. Di bagian **Nama**, pilih pekerjaan Autopilot yang memiliki detail yang ingin Anda periksa. Ini membuka tab pekerjaan **Autopilot** baru.
1. **Panel **pekerjaan Autopilot** mencantumkan nilai metrik termasuk metrik **Objektif** untuk setiap model di bawah nama Model.** **Model Terbaik** tercantum di bagian atas daftar di bawah **nama Model** dan juga disorot di tab **Model**.
1. Untuk meninjau detail model, pilih model yang Anda minati dan pilih **Lihat detail model**. Ini membuka tab **Detail Model** baru.
1. Tab **Detail Model** dibagi menjadi empat subbagian.
1. Bagian atas tab **Explainability** berisi plot nilai SHAP agregat yang menunjukkan pentingnya setiap fitur. Berikut itu adalah metrik dan nilai hyperparameter untuk model ini.
1. Tab **Performance** berisi statistik metrik matriks kebingungan.
1. Tab **Artefak** berisi informasi tentang input model, output, dan hasil antara.
1. Tab **Jaringan** merangkum pilihan isolasi dan enkripsi jaringan Anda.
**catatan**
Kepentingan fitur dan informasi di tab **Performance** hanya dihasilkan untuk **model Terbaik**.
Untuk informasi lebih lanjut tentang bagaimana nilai SHAP membantu menjelaskan prediksi berdasarkan kepentingan fitur, lihat whitepaper [Memahami](https://pages.awscloud.com/rs/112-TZM-766/images/Amazon.AI.Fairness.and.Explainability.Whitepaper.pdf) penjelasan model. Informasi tambahan juga tersedia dalam [Penjelasan Model](clarify-model-explainability.md) topik di Panduan Pengembang SageMaker AI.
# Lihat laporan kinerja model Autopilot
Laporan kualitas model SageMaker AI Amazon (juga disebut sebagai laporan kinerja) memberikan wawasan dan informasi kualitas untuk kandidat model terbaik yang dihasilkan oleh pekerjaan AutoML. Ini termasuk informasi tentang detail pekerjaan, jenis masalah model, fungsi tujuan, dan informasi lain yang terkait dengan jenis masalah. Panduan ini menunjukkan cara melihat metrik kinerja Amazon SageMaker Autopilot secara grafis, atau melihat metrik sebagai data mentah dalam file JSON.
Misalnya, dalam masalah klasifikasi, laporan kualitas model meliputi yang berikut:
+ Matriks kebingungan
+ Area di bawah kurva karakteristik operasi penerima (AUC)
+ Informasi untuk memahami positif palsu dan negatif palsu
+ Pengorbanan antara positif benar dan positif palsu
+ Pengorbanan antara presisi dan penarikan kembali
Autopilot juga menyediakan metrik kinerja untuk semua model kandidat Anda. Metrik ini dihitung menggunakan semua data pelatihan dan digunakan untuk memperkirakan kinerja model. Area kerja utama mencakup metrik ini secara default. Jenis metrik ditentukan oleh jenis masalah yang ditangani.
Lihat [dokumentasi referensi Amazon SageMaker API](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobObjective.html) untuk daftar metrik yang tersedia yang didukung oleh Autopilot.
Anda dapat mengurutkan kandidat model Anda dengan metrik yang relevan untuk membantu Anda memilih dan menerapkan model yang memenuhi kebutuhan bisnis Anda. Untuk definisi metrik ini, lihat topik metrik kandidat [Autopilot](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-metrics-validation.html#autopilot-metrics).
Untuk melihat laporan kinerja dari pekerjaan Autopilot, ikuti langkah-langkah berikut:
1. Pilih ikon **Beranda** (![\[Black square icon representing a placeholder or empty image.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/studio/icons/house.png)) dari panel navigasi kiri untuk melihat menu navigasi **Amazon SageMaker Studio Classic** tingkat atas.
1. Pilih kartu **AutoML** dari area kerja utama. Ini membuka tab **Autopilot** baru.
1. Di bagian **Nama**, pilih pekerjaan Autopilot yang memiliki detail yang ingin Anda periksa. Ini membuka tab pekerjaan **Autopilot** baru.
1. **Panel **pekerjaan Autopilot** mencantumkan nilai metrik termasuk metrik **Objektif** untuk setiap model di bawah nama Model.** **Model Terbaik** tercantum di bagian atas daftar di bawah **nama Model** dan disorot di tab **Model**.
1. Untuk meninjau detail model, pilih model yang Anda minati dan pilih **Lihat dalam detail model**. Ini membuka tab **Detail Model** baru.
1. Pilih tab **Performance** antara tab **Explainability** dan **Artefacts**.
1. Di bagian kanan atas tab, pilih panah bawah pada tombol **Unduh Laporan Kinerja**.
1. Panah bawah menyediakan dua opsi untuk melihat metrik kinerja Autopilot:
1. Anda dapat mengunduh PDF laporan kinerja untuk melihat metrik secara grafis.
1. Anda dapat melihat metrik sebagai data mentah dan mengunduhnya sebagai file JSON.
Untuk petunjuk tentang cara membuat dan menjalankan pekerjaan AutoML di SageMaker Studio Classic, lihat. [Membuat Pekerjaan Regresi atau Klasifikasi untuk Data Tabular Menggunakan AutoML API](autopilot-automate-model-development-create-experiment.md)
Laporan kinerja berisi dua bagian. Yang pertama berisi detail tentang pekerjaan Autopilot yang menghasilkan model. Bagian kedua berisi laporan kualitas model.
## Autopilot Job Detail
Bagian pertama dari laporan ini memberikan beberapa informasi umum tentang pekerjaan Autopilot yang menghasilkan model. Rincian pekerjaan ini mencakup informasi berikut:
+ Nama kandidat autopilot
+ Nama pekerjaan Autopilot
+ Jenis masalah
+ Metrik objektif
+ Arah optimasi
## Laporan kualitas model
Informasi kualitas model dihasilkan oleh wawasan model Autopilot. Konten laporan yang dihasilkan bergantung pada jenis masalah yang ditangani: regresi, klasifikasi biner, atau klasifikasi multikelas. Laporan tersebut menentukan jumlah baris yang termasuk dalam dataset evaluasi dan waktu evaluasi terjadi.
### Tabel metrik
Bagian pertama dari laporan kualitas model berisi tabel metrik. Ini sesuai untuk jenis masalah yang ditangani model.
Gambar berikut adalah contoh tabel metrik yang dihasilkan Autopilot untuk masalah regresi. Ini menunjukkan nama metrik, nilai, dan standar deviasi.
![\[Contoh laporan metrik regresi wawasan model SageMaker Autopilot Amazon Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-regression-metrics.png)
Gambar berikut adalah contoh tabel metrik yang dihasilkan oleh Autopilot untuk masalah klasifikasi multiclass. Ini menunjukkan nama metrik, nilai, dan standar deviasi.
![\[Contoh laporan metrik klasifikasi klasifikasi multiclass Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-multiclass-metrics-report.png)
### Informasi kinerja model grafis
Bagian kedua dari laporan kualitas model berisi informasi grafis untuk membantu Anda mengevaluasi kinerja model. Isi bagian ini tergantung pada jenis masalah yang digunakan dalam pemodelan.
#### Area di bawah kurva karakteristik operasi penerima
Area di bawah kurva karakteristik operasi penerima mewakili trade-off antara tingkat positif benar dan positif palsu. Ini adalah metrik akurasi standar industri yang digunakan untuk model klasifikasi biner. AUC (area di bawah kurva) mengukur kemampuan model untuk memprediksi skor yang lebih tinggi untuk contoh positif, dibandingkan dengan contoh negatif. Metrik AUC memberikan ukuran agregat dari kinerja model di semua ambang batas klasifikasi yang mungkin.
Metrik AUC mengembalikan nilai desimal dari 0 menjadi 1. Nilai AUC mendekati 1 menunjukkan bahwa model pembelajaran mesin sangat akurat. Nilai mendekati 0,5 menunjukkan bahwa model berkinerja tidak lebih baik daripada menebak secara acak. Nilai AUC mendekati 0 menunjukkan bahwa model telah mempelajari pola yang benar, tetapi membuat prediksi yang seakurat mungkin. Nilai mendekati nol dapat menunjukkan masalah dengan data. Untuk informasi selengkapnya tentang metrik AUC, lihat artikel [karakteristik operasi Penerima](https://en.wikipedia.org/wiki/Receiver_operating_characteristic) di Wikipedia.
Berikut ini adalah contoh area di bawah grafik kurva karakteristik operasi penerima untuk mengevaluasi prediksi yang dibuat oleh model klasifikasi biner. Garis tipis putus-putus mewakili area di bawah kurva karakteristik operasi penerima yang akan dinilai oleh model yang mengklasifikasikan no-better-than-random tebakan, dengan skor AUC 0,5. Kurva model klasifikasi yang lebih akurat terletak di atas garis dasar acak ini, di mana tingkat positif sejati melebihi tingkat positif palsu. Area di bawah kurva karakteristik operasi penerima yang mewakili kinerja model klasifikasi biner adalah garis padat yang lebih tebal.
![\[Amazon SageMaker Autopilot area di bawah contoh kurva karakteristik operasi penerima.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-receiver-operating-characteristic-curve.png)
Ringkasan komponen grafik **tingkat positif palsu (FPR) dan tingkat** **positif sejati** (TPR) didefinisikan sebagai berikut.
+ Prediksi yang benar
+ **True positive** (TP): Nilai yang diprediksi adalah 1, dan nilai sebenarnya adalah 1.
+ **Benar negatif** (TN): Nilai yang diprediksi adalah 0, dan nilai sebenarnya adalah 0.
+ Prediksi yang salah
+ **Positif palsu** (FP): Nilai yang diprediksi adalah 1, tetapi nilai sebenarnya adalah 0.
+ **False negative** (FN): Nilai yang diprediksi adalah 0, tetapi nilai sebenarnya adalah 1.
**Tingkat positif palsu** (FPR) mengukur fraksi negatif sejati (TN) yang diprediksi secara salah sebagai positif (FP), atas jumlah FP dan TN. Kisarannya adalah 0 hingga 1. Nilai yang lebih kecil menunjukkan akurasi prediksi yang lebih baik.
+ FPR = FP/ (FP\$1TN)
**Tingkat positif sejati** (TPR) mengukur fraksi positif sejati yang diprediksi dengan benar sebagai positif (TP) atas jumlah TP dan negatif palsu (FN). Kisarannya adalah 0 hingga 1. Nilai yang lebih besar menunjukkan akurasi prediksi yang lebih baik.
+ TPR = TP/ (TP\$1FN)
#### Matriks kebingungan
Matriks kebingungan menyediakan cara untuk memvisualisasikan keakuratan prediksi yang dibuat oleh model untuk klasifikasi biner dan multikelas untuk masalah yang berbeda. Matriks kebingungan dalam laporan kualitas model berisi yang berikut ini.
+ Jumlah dan persentase prediksi yang benar dan salah untuk label yang sebenarnya
+ Jumlah dan persentase prediksi akurat pada diagonal dari kiri atas ke pojok kanan bawah
+ Jumlah dan persentase prediksi yang tidak akurat pada diagonal dari kanan atas ke sudut kiri bawah
Prediksi yang salah pada matriks kebingungan adalah nilai kebingungan.
Diagram berikut adalah contoh matriks kebingungan untuk masalah klasifikasi biner. Itu berisi informasi berikut:
+ Sumbu vertikal dibagi menjadi dua baris yang berisi label aktual benar dan salah.
+ Sumbu horizontal dibagi menjadi dua kolom yang berisi label benar dan salah yang diprediksi oleh model.
+ Bilah warna memberikan nada yang lebih gelap ke sejumlah besar sampel untuk secara visual menunjukkan jumlah nilai yang diklasifikasikan dalam setiap kategori.
Dalam contoh ini, model memprediksi 2817 nilai palsu aktual dengan benar, dan 353 nilai sebenarnya sebenarnya dengan benar. Model salah memprediksi 130 nilai sebenarnya sebenarnya menjadi salah dan 33 nilai palsu aktual menjadi benar. Perbedaan nada menunjukkan bahwa dataset tidak seimbang. Ketidakseimbangan ini karena ada lebih banyak label palsu yang sebenarnya daripada label sebenarnya.
![\[Contoh matriks kebingungan biner Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-confusion-matrix-binary.png)
Diagram berikut adalah contoh matriks kebingungan untuk masalah klasifikasi multi-kelas. Matriks kebingungan dalam laporan kualitas model berisi yang berikut ini.
+ Sumbu vertikal dibagi menjadi tiga baris yang berisi tiga label aktual yang berbeda.
+ Sumbu horizontal dibagi menjadi tiga kolom yang berisi label yang diprediksi oleh model.
+ Bilah warna memberikan nada yang lebih gelap ke sejumlah besar sampel untuk secara visual menunjukkan jumlah nilai yang diklasifikasikan dalam setiap kategori.
**Dalam contoh di bawah ini, model dengan benar memprediksi 354 nilai aktual untuk label **f**, 1094 nilai untuk label **i** dan 852 nilai untuk label m.** Perbedaan nada menunjukkan bahwa kumpulan data tidak seimbang karena ada lebih banyak label untuk nilai **i** daripada untuk **f** atau **m**.
![\[Contoh matriks kebingungan multiclass Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-confusion-matrix-multiclass.png)
Matriks kebingungan dalam laporan kualitas model yang disediakan dapat mengakomodasi maksimum 15 label untuk jenis masalah klasifikasi multikelas. Jika baris yang sesuai dengan label menunjukkan `Nan` nilai, itu berarti kumpulan data validasi yang digunakan untuk memeriksa prediksi model tidak berisi data dengan label tersebut.
#### Kurva keuntungan
Dalam klasifikasi biner, kurva penguatan memprediksi manfaat kumulatif menggunakan persentase kumpulan data untuk menemukan label positif. Nilai gain dihitung selama pelatihan dengan membagi jumlah kumulatif pengamatan positif dengan jumlah total pengamatan positif dalam data, pada setiap desil. Jika model klasifikasi yang dibuat selama pelatihan mewakili data yang tidak terlihat, Anda dapat menggunakan kurva penguatan untuk memprediksi persentase data yang harus Anda targetkan untuk mendapatkan persentase label positif. Semakin besar persentase dataset yang digunakan, semakin tinggi persentase label positif yang ditemukan.
Dalam contoh grafik berikut, kurva penguatan adalah garis dengan kemiringan yang berubah. Garis lurus adalah persentase label positif yang ditemukan dengan memilih persentase data dari kumpulan data secara acak. Setelah menargetkan 20% dari kumpulan data, Anda akan menemukan lebih besar dari 40% label positif. Misalnya, Anda dapat mempertimbangkan untuk menggunakan kurva keuntungan untuk menentukan upaya Anda dalam kampanye pemasaran. Menggunakan contoh kurva keuntungan kami, untuk 83% orang di lingkungan untuk membeli cookie, Anda akan mengirim iklan ke sekitar 60% dari lingkungan sekitar.
![\[Amazon SageMaker Autopilot mendapatkan contoh kurva dengan persentase dan nilai gain.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-gain-curve.png)
#### Kurva angkat
Dalam klasifikasi biner, kurva angkat menggambarkan peningkatan menggunakan model terlatih untuk memprediksi kemungkinan menemukan label positif dibandingkan dengan tebakan acak. Nilai angkat dihitung selama pelatihan menggunakan rasio kenaikan persentase dengan rasio label positif pada setiap desil. Jika model yang dibuat selama pelatihan mewakili data yang tidak terlihat, gunakan kurva angkat untuk memprediksi manfaat menggunakan model daripada menebak secara acak.
Pada contoh grafik berikut, kurva angkat adalah garis dengan kemiringan yang berubah. Garis lurus adalah kurva angkat yang terkait dengan pemilihan persentase yang sesuai secara acak dari kumpulan data. Setelah menargetkan 40% kumpulan data dengan label klasifikasi model Anda, Anda akan menemukan sekitar 1,7 kali jumlah label positif yang akan Anda temukan dengan memilih secara acak 40% dari data yang tidak terlihat.
![\[Contoh kurva angkat Amazon SageMaker Autopilot dengan persentase dan nilai angkat.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-lift-curve.png)
#### Kurva penarikan presisi
Kurva recall presisi mewakili tradeoff antara presisi dan recall untuk masalah klasifikasi biner.
**Presisi** mengukur fraksi positif aktual yang diprediksi positif (TP) dari semua prediksi positif (TP dan positif palsu). Kisarannya adalah 0 hingga 1. Nilai yang lebih besar menunjukkan akurasi yang lebih baik dalam nilai yang diprediksi.
+ Presisi = TP/ (TP\$1FP)
**Ingat** mengukur fraksi positif aktual yang diprediksi sebagai positif (TP) dari semua prediksi positif aktual (TP dan negatif palsu). Ini juga dikenal sebagai sensitivitas atau sebagai tingkat positif sejati. Kisarannya adalah 0 hingga 1. Nilai yang lebih besar menunjukkan deteksi nilai positif yang lebih baik dari sampel.
+ Ingat = TP/ (TP\$1FN)
Tujuan dari masalah klasifikasi adalah untuk memberi label dengan benar sebanyak mungkin elemen. Sebuah sistem dengan recall tinggi tetapi presisi rendah mengembalikan persentase positif palsu yang tinggi.
Grafik berikut menggambarkan filter spam yang menandai setiap email sebagai spam. Ini memiliki daya ingat tinggi, tetapi presisi rendah, karena mengingat tidak mengukur positif palsu.
Berikan lebih banyak bobot untuk mengingat lebih presisi jika masalah Anda memiliki penalti rendah untuk nilai positif palsu, tetapi penalti tinggi karena kehilangan hasil positif yang sebenarnya. Misalnya, mendeteksi tabrakan yang akan datang di kendaraan self-driving.
![\[Contoh autopilot dari sistem penarikan tinggi dan presisi rendah, memodelkan semua sampel sebagai positif.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-high-recall-low-precision.PNG)
Sebaliknya, sistem dengan presisi tinggi, tetapi penarikan rendah, mengembalikan persentase negatif palsu yang tinggi. Filter spam yang menandai setiap email sebagai diinginkan (bukan spam) memiliki presisi tinggi tetapi penarikan rendah karena presisi tidak mengukur negatif palsu.
Jika masalah Anda memiliki penalti rendah untuk nilai negatif palsu, tetapi penalti tinggi karena kehilangan hasil negatif yang sebenarnya, berikan bobot lebih pada presisi daripada mengingat. Misalnya, menandai filter mencurigakan untuk audit pajak.
Grafik berikut menggambarkan filter spam yang memiliki presisi tinggi tetapi daya ingat rendah, karena presisi tidak mengukur negatif palsu.
![\[Contoh autopilot sistem presisi tinggi dan penarikan rendah, memodelkan semua sampel sebagai negatif.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-high-precision-low-recall.PNG)
Model yang membuat prediksi dengan presisi tinggi dan ingatan tinggi menghasilkan sejumlah besar hasil berlabel dengan benar. Untuk informasi lebih lanjut, lihat artikel [Presisi dan ingat](https://en.wikipedia.org/wiki/Precision_and_recall) di Wikipedia.
#### Area di bawah kurva penarikan presisi (AUPRC)
Untuk masalah klasifikasi biner, Amazon SageMaker Autopilot menyertakan grafik area di bawah kurva penarikan presisi (AUPRC). Metrik AUPRC memberikan ukuran agregat dari kinerja model di semua ambang klasifikasi yang mungkin dan menggunakan presisi dan penarikan. AUPRC tidak memperhitungkan jumlah negatif sejati. Oleh karena itu, dapat berguna untuk mengevaluasi kinerja model dalam kasus di mana ada sejumlah besar negatif sejati dalam data. Misalnya, untuk memodelkan gen yang mengandung mutasi langka.
Grafik berikut adalah contoh grafik AUPRC. Presisi pada nilai tertinggi adalah 1, dan recall pada 0. Di sudut kanan bawah grafik, recall adalah nilai tertinggi (1) dan presisi adalah 0. Di antara dua titik ini, kurva AUPRC menggambarkan tradeoff antara presisi dan recall pada ambang batas yang berbeda.
![\[Kurva recall presisi menggambarkan tradeoff antara presisi dan recall pada ambang batas yang berbeda.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-binary-precision-recall.png)
#### Aktual terhadap plot yang diprediksi
Plot aktual terhadap prediksi menunjukkan perbedaan antara nilai model aktual dan prediksi. Dalam contoh grafik berikut, garis padat adalah garis linier yang paling cocok. Jika modelnya 100% akurat, setiap titik yang diprediksi akan sama dengan titik aktual yang sesuai dan terletak pada garis yang paling cocok ini. Jarak jauh dari garis yang paling cocok adalah indikasi visual kesalahan model. Semakin besar jarak dari garis yang paling cocok, semakin tinggi kesalahan model.
![\[Contoh dengan garis linier yang paling cocok, plot aktual dan prediksi yang berbeda, dan kesalahan model.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-actual-vs-predicted-plot.png)
#### Plot residu standar
Plot residu standar menggabungkan istilah statistik berikut:
**`residual`**
Sisa (mentah) menunjukkan perbedaan antara aktual dan nilai yang diprediksi oleh model Anda. Semakin besar perbedaannya, semakin besar nilai residu.
**`standard deviation`**
Standar deviasi adalah ukuran bagaimana nilai bervariasi dari nilai rata-rata. Standar deviasi yang tinggi menunjukkan bahwa banyak nilai sangat berbeda dari nilai rata-ratanya. Standar deviasi yang rendah menunjukkan bahwa banyak nilai mendekati nilai rata-ratanya.
**`standardized residual`**
Residu standar membagi residu mentah dengan standar deviasi mereka. Residu standar memiliki satuan standar deviasi dan berguna dalam mengidentifikasi outlier dalam data terlepas dari perbedaan skala residu mentah. Jika residu standar jauh lebih kecil atau lebih besar daripada residu standar lainnya, ini menunjukkan bahwa model tersebut tidak sesuai dengan pengamatan ini dengan baik.
Plot residu standar mengukur kekuatan perbedaan antara nilai yang diamati dan yang diharapkan. Nilai prediksi aktual ditampilkan pada sumbu x. Titik dengan nilai lebih besar dari nilai absolut 3 umumnya dianggap sebagai outlier.
Contoh grafik berikut menunjukkan bahwa sejumlah besar residu standar dikelompokkan sekitar 0 pada sumbu horizontal. Nilai mendekati nol menunjukkan bahwa model cocok dengan titik-titik ini dengan baik. Titik-titik ke arah atas dan bawah plot tidak diprediksi dengan baik oleh model.
![\[Contoh plot residu standar Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-standardized-residual.png)
#### Histogram sisa
Histogram residual menggabungkan istilah statistik berikut:
**`residual`**
Sisa (mentah) menunjukkan perbedaan antara aktual dan nilai yang diprediksi oleh model Anda. Semakin besar perbedaannya, semakin besar nilai residu.
**`standard deviation`**
Standar deviasi adalah ukuran seberapa banyak nilai bervariasi dari nilai rata-rata. Standar deviasi yang tinggi menunjukkan bahwa banyak nilai sangat berbeda dari nilai rata-ratanya. Standar deviasi yang rendah menunjukkan bahwa banyak nilai mendekati nilai rata-ratanya.
**`standardized residual`**
Residu standar membagi residu mentah dengan standar deviasi mereka. Residu standar memiliki satuan standar deviasi. Ini berguna dalam mengidentifikasi outlier dalam data terlepas dari perbedaan skala residu mentah. Jika residu standar jauh lebih kecil atau lebih besar daripada residu standar lainnya, itu akan menunjukkan bahwa model tersebut tidak sesuai dengan pengamatan ini dengan baik.
**`histogram`**
Histogram adalah grafik yang menunjukkan seberapa sering suatu nilai terjadi.
Histogram residu menunjukkan distribusi nilai residu standar. Histogram yang didistribusikan dalam bentuk lonceng dan berpusat pada nol menunjukkan bahwa model tidak secara sistematis memprediksi atau meremehkan rentang nilai target tertentu.
Dalam grafik berikut, nilai residu standar menunjukkan bahwa model tersebut sesuai dengan data dengan baik. Jika grafik menunjukkan nilai yang jauh dari nilai pusat, itu akan menunjukkan bahwa nilai-nilai tersebut tidak sesuai dengan model dengan baik.
![\[Nilai residu standar mendekati nol, menunjukkan bahwa model cocok dengan data dengan baik.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-residual-histogram.png)
# Notebook autopilot dihasilkan untuk mengelola tugas AutoML
Amazon SageMaker Autopilot mengelola tugas-tugas utama dalam proses pembelajaran mesin otomatis (AutoML) menggunakan pekerjaan AutoML. Pekerjaan AutoML membuat tiga laporan berbasis notebook yang menggambarkan rencana yang diikuti Autopilot untuk menghasilkan model kandidat.
Model kandidat terdiri dari pasangan (pipeline, algoritma). Pertama, ada buku catatan **eksplorasi data** yang menjelaskan apa yang dipelajari Autopilot tentang data yang Anda berikan. Kedua, ada buku catatan **definisi kandidat**, yang menggunakan informasi tentang data untuk menghasilkan kandidat. Ketiga, laporan **wawasan model** yang dapat membantu merinci karakteristik kinerja model terbaik di papan peringkat eksperimen Autopilot.
**Topics**
+ [Laporan eksplorasi data autopilot](autopilot-data-exploration-report.md)
+ [Temukan dan jalankan buku catatan definisi kandidat](autopilot-candidate-generation-notebook.md)
Anda dapat menjalankan notebook ini di Amazon SageMaker AI, atau secara lokal, jika Anda telah menginstal Amazon [Python SageMaker ](https://sagemaker.readthedocs.io/en/stable) SDK. Anda dapat berbagi notebook seperti notebook SageMaker Studio Classic lainnya. Notebook dibuat untuk Anda melakukan eksperimen. Misalnya, Anda dapat mengedit item berikut di buku catatan:
+ Preprocessors yang digunakan pada data
+ Jumlah optimasi hyperparameter (HPO) berjalan dan paralelismenya
+ Algoritma untuk dicoba
+ Jenis instans yang digunakan untuk pekerjaan HPO
+ Rentang hiperparameter
Modifikasi buku catatan definisi kandidat didorong sebagai alat pembelajaran. Dengan kemampuan ini, Anda mempelajari bagaimana keputusan yang dibuat selama proses pembelajaran mesin memengaruhi hasil Anda.
**catatan**
Ketika Anda menjalankan notebook dalam instance default Anda, Anda dikenakan biaya dasar. Namun, ketika Anda menjalankan pekerjaan HPO dari notebook kandidat, pekerjaan ini menggunakan sumber daya komputasi tambahan yang menimbulkan biaya tambahan.
# Laporan eksplorasi data autopilot
Amazon SageMaker Autopilot membersihkan dan memproses kumpulan data Anda secara otomatis. Data berkualitas tinggi meningkatkan efisiensi pembelajaran mesin dan menghasilkan model yang membuat prediksi yang lebih akurat.
Ada masalah dengan kumpulan data yang disediakan pelanggan yang tidak dapat diperbaiki secara otomatis tanpa manfaat dari beberapa pengetahuan domain. Nilai outlier besar di kolom target untuk masalah regresi, misalnya, dapat menyebabkan prediksi suboptimal untuk nilai non-outlier. Outlier mungkin perlu dihapus tergantung pada tujuan pemodelan. Jika kolom target dimasukkan secara tidak sengaja sebagai salah satu fitur input, model akhir akan memvalidasi dengan baik, tetapi memiliki nilai kecil untuk prediksi masa depan.
Untuk membantu pelanggan menemukan masalah semacam ini, Autopilot menyediakan laporan eksplorasi data yang berisi wawasan tentang potensi masalah dengan data mereka. Laporan ini juga menyarankan bagaimana menangani masalah.
Buku catatan eksplorasi data yang berisi laporan dibuat untuk setiap pekerjaan Autopilot. Laporan disimpan dalam bucket Amazon S3 dan dapat diakses dari jalur keluaran Anda. Jalur laporan eksplorasi data biasanya mengikuti pola berikut.
```
[s3 output path]/[name of the automl job]/sagemaker-automl-candidates/[name of processing job used for data analysis]/notebooks/SageMaker AIAutopilotDataExplorationNotebook.ipynb
```
Lokasi notebook eksplorasi data dapat diperoleh dari Autopilot API menggunakan respons [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html)operasi, yang disimpan di. [DataExplorationNotebookLocation](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobArtifacts.html#sagemaker-Type-AutoMLJobArtifacts-DataExplorationNotebookLocation)
Saat menjalankan Autopilot dari SageMaker Studio Classic, Anda dapat membuka laporan eksplorasi data menggunakan langkah-langkah berikut:
1. Pilih ikon **Beranda** ![\[Black square icon representing a placeholder or empty image.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/studio/icons/house.png) dari *panel navigasi kiri untuk melihat menu navigasi* **Amazon SageMaker Studio Classic** tingkat atas.
1. Pilih kartu **AutoML** dari area kerja utama. Ini membuka tab **Autopilot** baru.
1. Di bagian **Nama**, pilih pekerjaan Autopilot yang memiliki buku catatan eksplorasi data yang ingin Anda periksa. Ini membuka tab pekerjaan **Autopilot** baru.
1. Pilih **Buka buku catatan eksplorasi data** dari bagian kanan atas tab pekerjaan **Autopilot**.
Laporan eksplorasi data dihasilkan dari data Anda sebelum proses pelatihan dimulai. Ini memungkinkan Anda untuk menghentikan pekerjaan Autopilot yang mungkin mengarah pada hasil yang tidak berarti. Demikian juga, Anda dapat mengatasi masalah atau peningkatan apa pun dengan kumpulan data Anda sebelum menjalankan ulang Autopilot. Dengan cara ini, Anda dapat menggunakan keahlian domain Anda untuk meningkatkan kualitas data secara manual, sebelum Anda melatih model pada kumpulan data yang dikuratori dengan lebih baik.
Laporan data hanya berisi penurunan harga statis dan dapat dibuka di lingkungan Jupyter apa pun. Notebook yang berisi laporan dapat dikonversi ke format lain, seperti PDF atau HTML. Untuk informasi selengkapnya tentang konversi, lihat [Menggunakan skrip nbconvert untuk mengonversi buku catatan Jupyter ke format lain](https://nbconvert.readthedocs.io/en/latest/usage.html ). .
**Topics**
+ [Ringkasan Dataset](#autopilot-data-exploration-report-dataset-summary)
+ [Analisis Target](#autopilot-data-exploration-report-target-analysis)
+ [Sampel Data](#autopilot-data-exploration-report-data-sample)
+ [Baris duplikat](#autopilot-data-exploration-report-duplicate-rows)
+ [Korelasi kolom silang](#autopilot-data-exploration-report-cross-column-correlations)
+ [Baris Anomali](#autopilot-data-exploration-report-cross-anomolous-rows)
+ [Nilai yang hilang, kardinalitas, dan statistik deskriptif](#autopilot-data-exploration-report-description-statistics-and-values)
## Ringkasan Dataset
**Ringkasan Set Data** ini menyediakan statistik utama yang mengkarakterisasi kumpulan data Anda termasuk jumlah baris, kolom, persen baris duplikat, dan nilai target yang hilang. Ini dimaksudkan untuk memberi Anda peringatan cepat ketika ada masalah dengan kumpulan data Anda yang terdeteksi Amazon SageMaker Autopilot dan yang kemungkinan memerlukan intervensi Anda. Wawasan muncul sebagai peringatan yang diklasifikasikan sebagai tingkat keparahan “tinggi” atau “rendah”. Klasifikasi tergantung pada tingkat kepercayaan bahwa masalah tersebut akan berdampak buruk pada kinerja model.
Wawasan tingkat keparahan tinggi dan rendah muncul dalam ringkasan sebagai pop-up. Untuk sebagian besar wawasan, rekomendasi ditawarkan untuk cara mengonfirmasi bahwa ada masalah dengan kumpulan data yang memerlukan perhatian Anda. Proposal juga disediakan untuk cara menyelesaikan masalah.
Autopilot memberikan statistik tambahan tentang nilai target yang hilang atau tidak valid dalam kumpulan data kami untuk membantu Anda mendeteksi masalah lain yang mungkin tidak ditangkap oleh wawasan tingkat keparahan tinggi. Jumlah kolom yang tidak terduga dari jenis tertentu mungkin menunjukkan bahwa beberapa kolom yang ingin Anda gunakan mungkin hilang dari kumpulan data. Ini juga bisa menunjukkan bahwa ada masalah dengan bagaimana data disiapkan atau disimpan. Memperbaiki masalah data yang dibawa ke perhatian Anda oleh Autopilot dapat meningkatkan kinerja model pembelajaran mesin yang dilatih pada data Anda.
Wawasan tingkat keparahan tinggi ditampilkan di bagian ringkasan dan di bagian lain yang relevan dalam laporan. Contoh wawasan tingkat keparahan tinggi dan rendah biasanya diberikan tergantung pada bagian laporan data.
## Analisis Target
Berbagai wawasan tingkat keparahan tinggi dan rendah ditampilkan di bagian ini terkait dengan distribusi nilai di kolom target. Periksa apakah kolom target berisi nilai yang benar. Nilai yang salah di kolom target kemungkinan akan menghasilkan model pembelajaran mesin yang tidak melayani tujuan bisnis yang dimaksudkan. Beberapa wawasan data tingkat keparahan tinggi dan rendah hadir di bagian ini. Berikut adalah beberapa contoh tanda.
+ **Nilai target outlier** - Distribusi target miring atau tidak biasa untuk regresi, seperti target berekor berat.
+ **Kardinalitas target tinggi atau rendah** - Jumlah label kelas yang jarang atau sejumlah besar kelas unik untuk klasifikasi.
Untuk jenis masalah regresi dan klasifikasi, nilai yang tidak valid seperti tak terhingga numerik, `NaN` atau ruang kosong di kolom target muncul. Tergantung pada jenis masalah, statistik dataset yang berbeda disajikan. Distribusi nilai kolom target untuk masalah regresi memungkinkan Anda memverifikasi apakah distribusi sesuai dengan yang Anda harapkan.
Tangkapan layar berikut menunjukkan laporan data Autopilot, yang mencakup statistik seperti rata-rata, median, minimum, maksimum, persentase outlier dalam kumpulan data Anda. Tangkapan layar juga menyertakan histogram yang menunjukkan distribusi label di kolom target. Histogram menunjukkan **Nilai Kolom Target** pada sumbu horizontal dan **Hitung** pada sumbu vertikal. Sebuah kotak menyoroti bagian **Persentase Outliers** pada tangkapan layar untuk menunjukkan di mana statistik ini muncul.
![\[Laporan data autopilot tentang distribusi nilai kolom target.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-data-report-target-analysis.png)
Beberapa statistik ditampilkan mengenai nilai target dan distribusinya. Jika salah satu outlier, bukan nilai yang valid, atau persentase yang hilang lebih besar dari nol, nilai ini muncul sehingga Anda dapat menyelidiki mengapa data Anda berisi nilai target yang tidak dapat digunakan. Beberapa nilai target yang tidak dapat digunakan disorot sebagai peringatan wawasan tingkat keparahan rendah.
Pada tangkapan layar berikut, simbol `ditambahkan secara tidak sengaja ke kolom target, yang mencegah nilai numerik target diurai. **Wawasan tingkat keparahan rendah: Peringatan “Nilai target tidak valid” muncul.** Peringatan dalam contoh ini menyatakan "0,14% label di kolom target tidak dapat dikonversi ke nilai numerik. Nilai non-numerik yang paling umum adalah: [” -3.8e-05",” -9-05",” -4.7e-05",” -1.4999999999999999e-05",” -4.3e-05"]. Itu biasanya menunjukkan bahwa ada masalah dengan pengumpulan atau pemrosesan data. Amazon SageMaker Autopilot mengabaikan semua pengamatan dengan label target yang tidak valid.
![\[Data autopilot melaporkan peringatan tingkat keparahan rendah tentang nilai target yang tidak valid.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-data-report-target-analysis-invalid-target-values.png)
Autopilot juga menyediakan histogram yang menunjukkan distribusi label untuk klasifikasi.
Tangkapan layar berikut menunjukkan contoh statistik yang diberikan untuk kolom target Anda termasuk jumlah kelas, nilai yang hilang atau tidak valid. Histogram dengan **Label Target** pada sumbu horizontal dan **Frekuensi** pada sumbu vertikal menunjukkan distribusi setiap kategori label.
![\[Data autopilot melaporkan kardinalitas tinggi untuk klasifikasi.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-data-report-target-analysis-invalid-classification.png)
**catatan**
Anda dapat menemukan definisi dari semua istilah yang disajikan dalam bagian ini dan lainnya di bagian **Definisi** di bagian bawah buku catatan laporan.
## Sampel Data
Autopilot menyajikan sampel aktual data Anda untuk membantu Anda menemukan masalah dengan kumpulan data Anda. Tabel sampel bergulir secara horizontal. Periksa data sampel untuk memverifikasi bahwa semua kolom yang diperlukan ada dalam kumpulan data.
Autopilot juga menghitung ukuran daya prediksi, yang dapat digunakan untuk mengidentifikasi hubungan linier atau nonlinier antara fitur dan variabel target. Nilai `0` menunjukkan bahwa fitur tersebut tidak memiliki nilai prediktif dalam memprediksi variabel target. Nilai `1` menunjukkan daya prediksi tertinggi untuk variabel target. Untuk informasi lebih lanjut tentang kekuatan prediksi, lihat bagian **Definisi**.
**catatan**
Tidak disarankan Anda menggunakan kekuatan prediksi sebagai pengganti kepentingan fitur. Gunakan hanya jika Anda yakin bahwa kekuatan prediksi adalah ukuran yang tepat untuk kasus penggunaan Anda.
Tangkapan layar berikut menunjukkan contoh sampel data. Baris atas berisi kekuatan prediksi setiap kolom dalam kumpulan data Anda. Baris kedua berisi tipe data kolom. Baris berikutnya berisi label. Kolom berisi kolom target diikuti oleh setiap kolom fitur. Setiap kolom fitur memiliki kekuatan prediksi terkait, disorot dalam tangkapan layar ini, dengan sebuah kotak. Dalam contoh ini, kolom yang berisi fitur `x51` memiliki kekuatan prediksi `0.68` untuk variabel `y` target. Fitur `x55` ini sedikit kurang prediktif dengan kekuatan prediksi. `0.59`
![\[Data autopilot melaporkan kekuatan prediksi sampel data.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-data-report-data-sample-prediction.png)
## Baris duplikat
Jika baris duplikat ada dalam kumpulan data, Amazon SageMaker Autopilot menampilkan sampelnya.
**catatan**
Tidak disarankan untuk menyeimbangkan kumpulan data dengan up-sampling sebelum memberikannya ke Autopilot. Hal ini dapat mengakibatkan skor validasi yang tidak akurat untuk model yang dilatih oleh Autopilot, dan model yang diproduksi mungkin tidak dapat digunakan.
## Korelasi kolom silang
Autopilot menggunakan koefisien korelasi Pearson, ukuran korelasi linier antara dua fitur, untuk mengisi matriks korelasi. Dalam matriks korelasi, fitur numerik diplot pada sumbu horizontal dan vertikal, dengan koefisien korelasi Pearson diplot di persimpangan mereka. Semakin tinggi korelasi antara dua fitur, semakin tinggi koefisiennya, dengan nilai maksimum. `|1|`
+ Nilai `-1` menunjukkan bahwa fitur berkorelasi negatif sempurna.
+ Nilai`1`, yang terjadi ketika suatu fitur berkorelasi dengan dirinya sendiri, menunjukkan korelasi positif yang sempurna.
Anda dapat menggunakan informasi dalam matriks korelasi untuk menghapus fitur yang sangat berkorelasi. Sejumlah kecil fitur mengurangi kemungkinan overfitting model dan dapat mengurangi biaya produksi dengan dua cara. Ini mengurangi runtime Autopilot yang dibutuhkan dan, untuk beberapa aplikasi, dapat membuat prosedur pengumpulan data lebih murah.
Tangkapan layar berikut menunjukkan contoh matriks korelasi antar `7` fitur. Setiap fitur ditampilkan dalam matriks pada sumbu horizontal dan vertikal. Koefisien korelasi Pearson ditampilkan di persimpangan antara dua fitur. Setiap persimpangan fitur memiliki nada warna yang terkait dengannya. Semakin tinggi korelasinya, semakin gelap nadanya. Nada paling gelap menempati diagonal matriks, di mana setiap fitur berkorelasi dengan dirinya sendiri, mewakili korelasi sempurna.
![\[Data autopilot melaporkan matriks korelasi silang data.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-data-report-data-cross-column-statistics.png)
## Baris Anomali
Amazon SageMaker Autopilot mendeteksi baris mana dalam kumpulan data Anda yang mungkin anomali. Kemudian memberikan skor anomali untuk setiap baris. Baris dengan skor anomali negatif dianggap anomali.
Tangkapan layar berikut menunjukkan output dari analisis Autopilot untuk baris yang berisi anomali. Kolom yang berisi skor anomali muncul di sebelah kolom dataset untuk setiap baris.
![\[Dataset autopilot dengan baris anomali, menunjukkan skor anomali negatif.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-data-report-data-anomalous-rows.png)
## Nilai yang hilang, kardinalitas, dan statistik deskriptif
Amazon SageMaker Autopilot memeriksa dan melaporkan properti masing-masing kolom kumpulan data Anda. Di setiap bagian laporan data yang menyajikan analisis ini, konten disusun secara berurutan. Ini agar Anda dapat memeriksa nilai yang paling “mencurigakan” terlebih dahulu. Dengan menggunakan statistik ini Anda dapat meningkatkan konten kolom individual, dan meningkatkan kualitas model yang dihasilkan oleh Autopilot.
Autopilot menghitung beberapa statistik pada nilai kategoris dalam kolom yang berisi mereka. Ini termasuk jumlah entri unik dan, untuk teks, jumlah kata unik.
Autopilot menghitung beberapa statistik standar pada nilai numerik dalam kolom yang berisi mereka. Gambar berikut menggambarkan statistik ini, termasuk nilai rata-rata, median, minimum dan maksimum, dan persentase jenis numerik dan nilai outlier.
![\[Data autopilot melaporkan statistik pada kolom dengan nilai numerik.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-data-report-data-descriptive-statistics.png)
# Temukan dan jalankan buku catatan definisi kandidat
Notebook definisi kandidat berisi setiap langkah preprocessing yang disarankan, algoritma, dan rentang hyperparameter.
Anda dapat memilih kandidat mana yang akan dilatih dan disetel dengan dua cara. Yang pertama, dengan menjalankan bagian notebook. Kedua, dengan menjalankan seluruh notebook untuk mengoptimalkan semua kandidat untuk mengidentifikasi kandidat terbaik. Jika Anda menjalankan seluruh buku catatan, hanya kandidat terbaik yang ditampilkan setelah pekerjaan selesai.
Untuk menjalankan Autopilot dari SageMaker Studio Classic, buka notebook definisi kandidat dengan mengikuti langkah-langkah berikut:
1. Pilih ikon **Beranda** ![\[Black square icon representing a placeholder or empty image.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/studio/icons/house.png) dari panel navigasi kiri untuk melihat menu navigasi **Amazon SageMaker Studio Classic** tingkat atas.
1. Pilih kartu **AutoML** dari area kerja utama. Ini membuka tab **Autopilot** baru.
1. Di bagian **Nama**, pilih pekerjaan Autopilot yang memiliki buku catatan definisi kandidat yang ingin Anda periksa. Ini membuka tab pekerjaan **Autopilot** baru.
1. Pilih **Buka buku catatan generasi kandidat** dari bagian kanan atas tab pekerjaan **Autopilot**. Ini membuka pratinjau hanya-baca baru dari Notebook Definisi Kandidat **Amazon SageMaker Autopilot**.
Untuk menjalankan buku catatan definisi kandidat, ikuti langkah-langkah berikut:
1. Pilih **Impor buku catatan** di kanan atas tab Notebook **Definisi Kandidat Amazon SageMaker Autopilot**. Ini membuka tab untuk mengatur lingkungan notebook baru untuk menjalankan notebook.
1. Pilih SageMaker **Gambar** yang ada atau gunakan **Gambar Kustom**.
1. Pilih **Kernel**, **tipe Instance**, dan skrip **Start-up** opsional.
Anda sekarang dapat menjalankan notebook di lingkungan baru ini.
# Konfigurasikan output inferensi dalam wadah yang dihasilkan
Autopilot menghasilkan daftar yang diurutkan. [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ContainerDefinition.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ContainerDefinition.html) Ini dapat digunakan untuk membangun model untuk diterapkan dalam pipa pembelajaran mesin. Model ini dapat digunakan untuk hosting online dan inferensi.
Pelanggan dapat membuat daftar definisi kontainer inferensi dengan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidateForAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidateForAutoMLJob.html)API. Daftar definisi wadah inferensi yang mewakili kandidat terbaik juga tersedia dalam [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html)tanggapan.
## Definisi wadah inferensi untuk jenis masalah regresi dan klasifikasi
Autopilot menghasilkan wadah inferensi khusus untuk [mode pelatihan](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html#autopilot-training-mode) dan [jenis masalah pekerjaan](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-datasets-problem-types.html#autopilot-problem-types).
### Definisi wadah untuk mode optimasi hyperparameter (HPO)
+ **Regresi**: HPO menghasilkan dua kontainer:
1. Wadah rekayasa fitur yang mengubah fitur asli menjadi fitur yang dapat dilatih oleh algoritme regresi.
1. Wadah algoritme yang mengubah fitur dan menghasilkan skor regresi untuk kumpulan data.
+ **Klasifikasi**: HPO menghasilkan tiga kontainer:
1. Wadah rekayasa fitur yang mengubah fitur asli menjadi fitur yang dapat dilatih oleh algoritma klasifikasi.
1. Sebuah wadah algoritma yang menghasilkan `predicted_label` dengan probabilitas tertinggi. Wadah ini juga dapat menghasilkan berbagai probabilitas yang terkait dengan hasil klasifikasi dalam respons inferensi.
1. Sebuah wadah rekayasa fitur yang melakukan pasca-pemrosesan prediksi algoritma. Misalnya, ia dapat melakukan transformasi terbalik pada label yang diprediksi dan mengubahnya ke label asli.
### Definisi wadah untuk mode ansambel
Dalam mode ansambel, tipe masalah regresi dan klasifikasi hanya memiliki satu wadah inferensi. Wadah inferensi ini mengubah fitur dan menghasilkan prediksi berdasarkan jenis masalah.
## Respons inferensi per jenis masalah
### Respons inferensi untuk model klasifikasi
Untuk wadah inferensi klasifikasi, Anda dapat memilih konten respons inferensi dengan menggunakan empat kunci yang telah ditentukan:
+ `predicted_label`: Label dengan probabilitas tertinggi untuk memprediksi label yang benar, sebagaimana ditentukan oleh Autopilot.
+ `probability`:
+ **Model HPO:** Probabilitas `True` kelas untuk klasifikasi biner. Probabilitas `predicted_label` untuk klasifikasi multiclass.
+ **Model ansambel:** Probabilitas klasifikasi biner dan multikelas. `predicted_label`
+ `probabilities`: Daftar probabilitas untuk semua kelas yang sesuai.
+ `labels`: Daftar semua label.
Misalnya, untuk masalah klasifikasi biner, jika Anda melewatkan kunci respons inferensi `['predicted_label', 'probability', 'probabilities', 'labels']` dan respons keluaran muncul sebagai`[1, 0.1, "[0.9, 0.1]", "['1', '0']"]`, Anda harus menafsirkannya sebagai berikut:
1. `predicted_label`sama `1` karena label “1" memiliki probabilitas yang lebih tinggi (`0.9`dalam hal ini).
1. Untuk model HPO, `probability` sama dengan `0.1` probabilitas `positive_class` (`0`dalam hal ini) yang dipilih oleh Autopilot.
Untuk model Ensemble, `probability` sama dengan `0.9` yang merupakan probabilitas dari. `predicted_label`
1. `probabilities`daftar `probability` setiap label di`labels`.
1. `labels`adalah label unik dalam kumpulan data, di mana label kedua (“0" dalam kasus ini) `positive_class` dipilih oleh Autopilot.
Secara default, kontainer inferensi dikonfigurasi untuk menghasilkan hanya file. `predicted_label` Untuk memilih konten inferensi tambahan, Anda dapat memperbarui `inference_response_keys` parameter untuk menyertakan hingga tiga variabel lingkungan ini:
+ `SAGEMAKER_INFERENCE_SUPPORTED`: Ini diatur untuk memberikan petunjuk kepada Anda tentang konten apa yang didukung setiap wadah.
+ `SAGEMAKER_INFERENCE_INPUT`: Ini harus diatur ke kunci yang diharapkan kontainer dalam muatan input.
+ `SAGEMAKER_INFERENCE_OUTPUT`: Ini harus diisi dengan set kunci yang dikeluarkan kontainer.
### Respons inferensi untuk model klasifikasi dalam mode HPO
Bagian ini menunjukkan cara mengonfigurasi respons inferensi dari model klasifikasi menggunakan mode optimasi hyperparameter (HPO).
Untuk memilih konten respons inferensi dalam mode HPO: Tambahkan `SAGEMAKER_INFERENCE_OUTPUT` variabel `SAGEMAKER_INFERENCE_INPUT` dan ke wadah kedua dan ketiga yang dihasilkan dalam mode HPO untuk masalah klasifikasi.
Kunci yang didukung oleh wadah kedua (algoritma) adalah predicted\$1label, probabilitas, dan probabilitas. Perhatikan `labels` bahwa sengaja tidak ditambahkan ke`SAGEMAKER_INFERENCE_SUPPORTED`.
Kunci yang didukung oleh wadah model klasifikasi ketiga adalah`predicted_label`,`labels`,`probability`, dan`probabilities`. Oleh karena itu, `SAGEMAKER_INFERENCE_SUPPORTED` lingkungan menyertakan nama-nama kunci ini.
Untuk memperbarui definisi wadah inferensi untuk menerima `predicted_label` dan`probability`, gunakan contoh kode berikut.
```
containers[1]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probability'})
containers[2]['Environment'].update({'SAGEMAKER_INFERENCE_INPUT': 'predicted_label, probability'})
containers[2]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probability'})
```
Contoh kode berikut memperbarui definisi wadah inferensi untuk menerima`predicted_label`,`probabilities`, dan`labels`. Jangan meneruskan `labels` ke wadah kedua (wadah algoritma), karena dihasilkan oleh wadah ketiga secara independen.
```
containers[1]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label,probabilities'})
containers[2]['Environment'].update({'SAGEMAKER_INFERENCE_INPUT': 'predicted_label,probabilities'})
containers[2]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probabilities,labels'})
```
Bagian yang dapat dilipat berikut memberikan contoh kode untuk AWS SDK untuk Python (Boto3) dan untuk SageMaker SDK untuk Python. Setiap bagian menunjukkan cara memilih konten tanggapan inferensi dalam mode HPO untuk contoh kode masing-masing.
#### AWS SDK untuk Python (Boto3)
```
import boto3
sm_client = boto3.client('sagemaker', region_name='')
role = ''
input_data = ''
output_path = ''
best_candidate = sm_client.describe_auto_ml_job(AutoMLJobName='')['BestCandidate']
best_candidate_containers = best_candidate['InferenceContainers']
best_candidate_name = best_candidate['CandidateName']
best_candidate_containers[1]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probability'})
best_candidate_containers[2]['Environment'].update({'SAGEMAKER_INFERENCE_INPUT': 'predicted_label, probability'})
best_candidate_containers[2]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probability'})
# create model
reponse = sm_client.create_model(
ModelName = '',
ExecutionRoleArn = role,
Containers = best_candidate_containers
)
# Lauch Transform Job
response = sm_client.create_transform_job(
TransformJobName='',
ModelName='',
TransformInput={
'DataSource': {
'S3DataSource': {
'S3DataType': 'S3Prefix',
'S3Uri': input_data
}
},
'ContentType': "text/CSV",
'SplitType': 'Line'
},
TransformOutput={
'S3OutputPath': output_path,
'AssembleWith': 'Line',
},
TransformResources={
'InstanceType': 'ml.m4.xlarge',
'InstanceCount': 1,
},
)
```
#### SageMaker SDK untuk Python
```
from sagemaker import AutoML
aml = AutoML.attach(auto_ml_job_name='')
aml_best_model = aml.create_model(name='',
candidate=None,
inference_response_keys**=['probabilities', 'labels'])
aml_transformer = aml_best_model.transformer(accept='text/csv',
assemble_with='Line',
instance_type='ml.m5.xlarge',
instance_count=1,)
aml_transformer.transform('',
content_type='text/csv',
split_type='Line',
job_name='',
wait=True)
```
### Respons inferensi untuk model klasifikasi dalam mode ansambel
Bagian ini menunjukkan cara mengonfigurasi respons inferensi dari model klasifikasi menggunakan mode ansambel.
Dalam **mode ansambel**, untuk memilih konten respons inferensi, perbarui variabel lingkungan. `SAGEMAKER_INFERENCE_OUTPUT`
Kunci yang didukung oleh wadah model klasifikasi adalah`predicted_label`,`labels`,`probability`, dan`probabilities`. Kunci-kunci ini termasuk dalam `SAGEMAKER_INFERENCE_SUPPORTED` lingkungan.
Untuk memperbarui definisi kontainer inferensi untuk menerima `predicted_label` dan`probability`, lihat contoh kode berikut.
```
containers[0]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probability'})
```
Bagian yang dapat dilipat berikut memberikan contoh kode untuk memilih konten respons inferensi dalam mode ansambel. Contoh menggunakan AWS SDK untuk Python (Boto3).
#### AWS SDK untuk Python (Boto3)
```
import boto3
sm_client = boto3.client('sagemaker', region_name='')
role = ''
input_data = ''
output_path = ''
best_candidate = sm_client.describe_auto_ml_job(AutoMLJobName='')['BestCandidate']
best_candidate_containers = best_candidate['InferenceContainers']
best_candidate_name = best_candidate['CandidateName']
*best_candidate_containers[0]['Environment'].update({'SAGEMAKER_INFERENCE_OUTPUT': 'predicted_label, probability'})
*
# create model
reponse = sm_client.create_model(
ModelName = '',
ExecutionRoleArn = role,
Containers = best_candidate_containers
)
# Lauch Transform Job
response = sm_client.create_transform_job(
TransformJobName='',
ModelName='',
TransformInput={
'DataSource': {
'S3DataSource': {
'S3DataType': 'S3Prefix',
'S3Uri': input_data
}
},
'ContentType': "text/CSV",
'SplitType': 'Line'
},
TransformOutput={
'S3OutputPath': output_path,
'AssembleWith': 'Line',
},
TransformResources={
'InstanceType': 'ml.m4.xlarge',
'InstanceCount': 1,
},
)
```
Bagian collapsible berikut memberikan contoh kode yang identik dengan SageMaker SDK untuk contoh Python untuk HPO. Ini termasuk untuk kenyamanan Anda.
#### SageMaker SDK untuk Python
Contoh kode HPO berikut menggunakan SageMaker SDK untuk Python.
```
from sagemaker import AutoML
aml = AutoML.attach(auto_ml_job_name='')
aml_best_model = aml.create_model(name='',
candidate=None,
*inference_response_keys**=['probabilities', 'labels'])*
aml_transformer = aml_best_model.transformer(accept='text/csv',
assemble_with='Line',
instance_type='ml.m5.xlarge',
instance_count=1,)
aml_transformer.transform('',
content_type='text/csv',
split_type='Line',
job_name='',
wait=True)
```
# Membuat Job Klasifikasi Gambar menggunakan AutoML API
[Petunjuk berikut menunjukkan cara membuat pekerjaan Amazon SageMaker Autopilot sebagai percobaan percontohan untuk jenis masalah klasifikasi gambar menggunakan SageMaker Referensi API.](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html)
**catatan**
[Tugas seperti klasifikasi teks dan gambar, peramalan deret waktu, dan penyempurnaan model bahasa besar tersedia secara eksklusif melalui API REST AutoML versi 2.](autopilot-reference.md) Jika bahasa pilihan Anda adalah Python, Anda dapat merujuk ke [AWS SDK untuk Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_auto_ml_job_v2.html)atau [MLV2 objek Auto](https://sagemaker.readthedocs.io/en/stable/api/training/automlv2.html#sagemaker.automl.automlv2.AutoMLV2) dari Amazon SageMaker Python SDK secara langsung.
Pengguna yang lebih menyukai kenyamanan antarmuka pengguna dapat menggunakan [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas-getting-started.html) untuk mengakses model pra-terlatih dan model dasar AI generatif, atau membuat model khusus yang disesuaikan untuk teks tertentu, klasifikasi gambar, kebutuhan peramalan, atau AI generatif.
Anda dapat membuat eksperimen klasifikasi gambar Autopilot secara terprogram dengan memanggil tindakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)API dalam bahasa apa pun yang didukung oleh Amazon Autopilot atau. SageMaker AWS CLI
Untuk informasi tentang cara tindakan API ini diterjemahkan ke dalam fungsi dalam bahasa pilihan Anda, lihat bagian [Lihat Juga](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_SeeAlso) `CreateAutoMLJobV2` dan pilih SDK. Sebagai contoh, untuk pengguna Python, lihat sintaks permintaan lengkap dari in. `[create\$1auto\$1ml\$1job\$1v2](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_auto_ml_job_v2)` AWS SDK untuk Python (Boto3)
Berikut ini adalah kumpulan parameter permintaan input wajib dan opsional untuk tindakan `CreateAutoMLJobV2` API yang digunakan dalam klasifikasi gambar.
## Parameter yang diperlukan
Saat menelepon `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)` untuk membuat eksperimen Autopilot untuk klasifikasi gambar, Anda harus memberikan nilai berikut:
+ An `[AutoMLJobName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax)` untuk menentukan nama pekerjaan Anda.
+ Setidaknya satu `[AutoMLJobChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)` `[AutoMLJobInputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)` untuk menentukan sumber data Anda.
+ Sebuah `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)` tipe`[ImageClassificationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ImageClassificationJobConfig.html)`.
+ `[OutputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)`Untuk menentukan jalur keluaran Amazon S3 untuk menyimpan artefak pekerjaan AutoML Anda.
+ A `[RoleArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-RoleArn)` untuk menentukan ARN dari peran yang digunakan untuk mengakses data Anda.
Semua parameter lainnya adalah opsional.
## Parameter opsional
Bagian berikut memberikan rincian beberapa parameter opsional yang dapat Anda berikan ke pekerjaan AutoML klasifikasi gambar Anda.
### Cara menentukan kumpulan data pelatihan dan validasi pekerjaan AutoML
Anda dapat memberikan kumpulan data validasi dan rasio pemisahan data khusus Anda sendiri, atau membiarkan Autopilot membagi kumpulan data secara otomatis.
Setiap [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)objek (lihat parameter yang diperlukan [Auto MLJob InputDataConfig](https://docs.aws.amazon.com/sagemaker-api/src/AWSSageMakerAPIDoc/build/server-root/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)) memiliki`ChannelType`, yang dapat diatur ke salah satu `training` atau `validation` nilai yang menentukan bagaimana data akan digunakan saat membangun model pembelajaran mesin.
Setidaknya satu sumber data harus disediakan dan maksimal dua sumber data diperbolehkan: satu untuk data pelatihan dan satu untuk data validasi. Bagaimana Anda membagi data menjadi kumpulan data pelatihan dan validasi tergantung pada apakah Anda memiliki satu atau dua sumber data.
Bagaimana Anda membagi data menjadi kumpulan data pelatihan dan validasi tergantung pada apakah Anda memiliki satu atau dua sumber data.
+ Jika Anda hanya memiliki **satu sumber data**, `ChannelType` diatur ke secara `training` default dan harus memiliki nilai ini.
+ Jika `ValidationFraction` nilai dalam tidak [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html)disetel, 0.2 (20%) data dari sumber ini digunakan untuk validasi secara default.
+ Jika `ValidationFraction` diatur ke nilai antara 0 dan 1, dataset dibagi berdasarkan nilai yang ditentukan, di mana nilai menentukan fraksi dari dataset yang digunakan untuk validasi.
+ Jika Anda memiliki **dua sumber data**, `ChannelType` salah satu `AutoMLJobChannel` objek harus diatur ke`training`, nilai default. Sumber data lainnya harus diatur ke`validation`. `ChannelType` Kedua sumber data harus memiliki format yang sama, baik CSV atau Parket, dan skema yang sama. Anda tidak boleh menetapkan nilai untuk `ValidationFraction` dalam kasus ini karena semua data dari setiap sumber digunakan untuk pelatihan atau validasi. Menyetel nilai ini menyebabkan kesalahan.
### Cara menentukan konfigurasi penerapan model otomatis untuk pekerjaan AutoML
Untuk mengaktifkan penerapan otomatis untuk kandidat model terbaik dari pekerjaan AutoML, sertakan `[ModelDeployConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-ModelDeployConfig)` a dalam permintaan pekerjaan AutoML. Ini akan memungkinkan penerapan model terbaik ke titik akhir SageMaker AI. Di bawah ini adalah konfigurasi yang tersedia untuk kustomisasi.
+ Untuk membiarkan Autopilot menghasilkan nama titik akhir, setel ke. `[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)` `True`
+ Untuk memberikan nama Anda sendiri untuk titik akhir, atur`[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents) to False and provide a name of your choice in [EndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)`.
# Format kumpulan data dan metrik objektif untuk klasifikasi gambar
Pada bagian ini kita belajar tentang format yang tersedia untuk kumpulan data yang digunakan dalam klasifikasi gambar serta metrik objektif yang digunakan untuk mengevaluasi kualitas prediktif kandidat model pembelajaran mesin. Metrik yang dihitung untuk kandidat ditentukan menggunakan array [MetricDatum](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_MetricDatum.html)tipe.
## Format kumpulan data
Autopilot mendukung format gambar.png, .jpg, dan .jpeg. Jika dataset Anda berisi semua gambar.png gunakan`image/png`, jika berisi semua gambar.jpg atau .jpeg gunakan`image/jpeg`, dan jika dataset Anda berisi campuran format gambar gunakan. `image/*`
## Metrik obyektif
Daftar berikut berisi nama-nama metrik yang saat ini tersedia untuk mengukur kinerja model untuk klasifikasi gambar.
**`Accuracy`**
Rasio jumlah item yang diklasifikasikan dengan benar dengan jumlah total item yang diklasifikasikan (benar dan salah). Akurasi mengukur seberapa dekat nilai kelas yang diprediksi dengan nilai aktual. Nilai untuk metrik akurasi bervariasi antara nol (0) dan satu (1). Nilai 1 menunjukkan akurasi sempurna, dan 0 menunjukkan ketidakakuratan sempurna.
# Terapkan model Autopilot untuk inferensi waktu nyata
Setelah Anda melatih model Amazon SageMaker Autopilot Anda, Anda dapat mengatur titik akhir dan mendapatkan prediksi secara interaktif. Bagian berikut menjelaskan langkah-langkah untuk menerapkan model Anda ke titik akhir inferensi real-time SageMaker AI untuk mendapatkan prediksi dari model Anda.
## Inferensiasi waktu nyata
Inferensi waktu nyata ideal untuk beban kerja inferensi di mana Anda memiliki persyaratan waktu nyata, interaktif, dan latensi rendah. Bagian ini menunjukkan bagaimana Anda dapat menggunakan inferensi real-time untuk mendapatkan prediksi secara interaktif dari model Anda.
Anda dapat menggunakan SageMaker APIs untuk menyebarkan model secara manual yang menghasilkan metrik validasi terbaik dalam eksperimen Autopilot sebagai berikut.
Atau, Anda dapat memilih opsi penerapan otomatis saat membuat eksperimen Autopilot Anda. Untuk informasi tentang pengaturan penerapan otomatis model, lihat `[ModelDeployConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-ModelDeployConfig)` di parameter permintaan. `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestParameters)` Ini menciptakan titik akhir secara otomatis.
**catatan**
Untuk menghindari biaya yang tidak perlu, Anda dapat menghapus titik akhir yang tidak diperlukan dan sumber daya yang dibuat dari penerapan model. Untuk informasi tentang penetapan harga instans menurut Wilayah, lihat [ SageMaker Harga Amazon](https://aws.amazon.com/sagemaker/pricing/).
1. **Dapatkan definisi wadah kandidat**
Dapatkan definisi wadah kandidat dari [InferenceContainers](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-InferenceContainers). Definisi kontainer untuk inferensi mengacu pada lingkungan kontainer yang dirancang untuk menerapkan dan menjalankan model SageMaker AI terlatih Anda untuk membuat prediksi.
Contoh AWS CLI perintah berikut menggunakan [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) API untuk mendapatkan definisi kandidat untuk kandidat model terbaik.
```
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region
```
1. **Daftar kandidat**
Contoh AWS CLI perintah berikut menggunakan [ListCandidatesForAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidatesForAutoMLJob.html)API untuk mencantumkan semua kandidat model.
```
aws sagemaker list-candidates-for-auto-ml-job --auto-ml-job-name --region
```
1. **Buat model SageMaker AI**
Gunakan definisi container dari langkah sebelumnya dan kandidat pilihan Anda untuk membuat model SageMaker AI dengan menggunakan [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker create-model --model-name '' \
--containers [', , ]' \
--execution-role-arn '' --region '
```
1. **Buat konfigurasi titik akhir**
Contoh AWS CLI perintah berikut menggunakan [CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API untuk membuat konfigurasi endpoint.
```
aws sagemaker create-endpoint-config --endpoint-config-name '' \
--production-variants '' \
--region ''
```
1. **Buat titik akhir**
AWS CLI Contoh berikut menggunakan [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API untuk membuat titik akhir.
```
aws sagemaker create-endpoint --endpoint-name '' \
--endpoint-config-name '' \
--region ''
```
Periksa kemajuan penerapan titik akhir Anda dengan menggunakan API. [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html) Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker describe-endpoint —endpoint-name '' —region
```
Setelah `EndpointStatus` perubahan`InService`, titik akhir siap digunakan untuk inferensi waktu nyata.
1. **Memanggil titik akhir**
Struktur perintah berikut memanggil titik akhir untuk inferensi real-time.
```
aws sagemaker invoke-endpoint --endpoint-name '' \
--region '' --body '' [--content-type] ''
```
# Laporan penjelasan
Amazon SageMaker Autopilot menyediakan laporan penjelasan untuk membantu menjelaskan bagaimana kandidat model terbaik membuat prediksi untuk masalah klasifikasi gambar. Laporan ini dapat membantu insinyur, manajer produk, dan pemangku kepentingan internal lainnya dalam memahami karakteristik model. Baik konsumen maupun regulator mengandalkan transparansi dalam pembelajaran mesin untuk mempercayai dan menafsirkan keputusan yang dibuat berdasarkan prediksi model. Anda dapat menggunakan penjelasan ini untuk mengaudit dan memenuhi persyaratan peraturan, membangun kepercayaan pada model, mendukung pengambilan keputusan manusia, dan men-debug dan meningkatkan kinerja model.
Fungsionalitas penjelasan Autopilot untuk klasifikasi gambar menggunakan pendekatan peta aktivasi kelas visual (CAM) yang menghasilkan peta panas di mana distribusi dan intensitas setiap warna menyoroti area gambar yang paling berkontribusi pada prediksi tertentu. Pendekatan ini bergantung pada komponen utama yang berasal dari implementasi [EIGEN-CAM](https://arxiv.org/ftp/arxiv/papers/2008/2008.00299.pdf).
Autopilot menghasilkan laporan penjelasan sebagai file JSON. Laporan tersebut mencakup rincian analisis yang didasarkan pada dataset validasi. Setiap gambar yang digunakan untuk menghasilkan laporan berisi informasi berikut:
+ `input_image_uri`: URI Amazon S3 ke gambar input yang diambil sebagai input untuk peta panas.
+ `heatmap_image_uri`: URI Amazon S3 ke gambar peta panas yang dihasilkan oleh Autopilot.
+ `predicted_label`: Kelas label diprediksi oleh model terbaik yang dilatih oleh Autopilot.
+ `probability`: Keyakinan yang `predicted_label` diprediksi.
Anda dapat menemukan awalan Amazon S3 untuk artefak penjelasan yang dihasilkan untuk kandidat terbaik dalam menanggapi at. `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` `[BestCandidate.CandidateProperties.CandidateArtifactLocations.Explainability](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-Explainability)`
Contoh berikut menggambarkan seperti apa peta panas pada beberapa sampel dari [Oxford-IIit](https://www.robots.ox.ac.uk/~vgg/data/pets/) Pet Dataset. Gambar peta panas menampilkan gradien warna yang menunjukkan kepentingan relatif dari berbagai fitur dalam gambar. Warna merah mewakili daerah dengan kepentingan yang lebih besar dalam memprediksi “predicted\$1label” dari gambar input dibandingkan dengan fitur yang diwakili oleh warna biru.
****
| Input Gambar | Gambar Heatmap |
| --- | --- |
| ![\[Gambar asli seekor anjingnya.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-image-classification-explainability-img1-input.png) | ![\[Seekor kucing dengan peta panas menyoroti daerah dengan kontribusi yang lebih besar pada label yang diprediksi.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-image-classification-explainability-img1-output.png) |
| ![\[Gambar asli kucing.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-image-classification-explainability-img2-input.png) | ![\[Seekor kucing dengan peta panas menyoroti daerah dengan kontribusi yang lebih besar pada label yang diprediksi.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-image-classification-explainability-img2-output.png) |
# Laporan kinerja model
Laporan kualitas model SageMaker AI Amazon (juga disebut sebagai laporan kinerja) memberikan wawasan dan informasi kualitas untuk kandidat model terbaik yang dihasilkan oleh pekerjaan AutoML. Ini termasuk informasi tentang detail pekerjaan, jenis masalah model, fungsi objektif, dan berbagai metrik. Bagian ini merinci konten laporan kinerja untuk masalah klasifikasi gambar dan menjelaskan cara mengakses metrik sebagai data mentah dalam file JSON.
Anda dapat menemukan awalan Amazon S3 untuk artefak laporan kualitas model yang dihasilkan untuk kandidat terbaik dalam menanggapi at. `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` `[BestCandidate.CandidateProperties.CandidateArtifactLocations.ModelInsights](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-ModelInsights)`
Laporan kinerja berisi dua bagian:
+ Bagian pertama berisi rincian tentang pekerjaan Autopilot yang menghasilkan model.
+ Bagian kedua berisi laporan kualitas model dengan berbagai metrik kinerja.
## Detail pekerjaan Autopilot
Bagian pertama dari laporan ini memberikan beberapa informasi umum tentang pekerjaan Autopilot yang menghasilkan model. Rincian ini mencakup informasi berikut:
+ Nama kandidat autopilot: Nama kandidat model terbaik.
+ Nama pekerjaan autopilot: Nama pekerjaan.
+ Jenis masalah: Jenis masalah. Dalam kasus kami, *klasifikasi gambar*.
+ Metrik objektif: Metrik objektif yang digunakan untuk mengoptimalkan kinerja model. Dalam kasus kami, *Akurasi*.
+ Arah optimasi: Menunjukkan apakah akan meminimalkan atau memaksimalkan metrik objektif.
## Laporan kualitas model
Informasi kualitas model dihasilkan oleh wawasan model Autopilot. Konten laporan yang dihasilkan bergantung pada jenis masalah yang ditangani. Laporan tersebut menentukan jumlah baris yang termasuk dalam dataset evaluasi dan waktu evaluasi terjadi.
### Tabel metrik
Bagian pertama dari laporan kualitas model berisi tabel metrik. Ini sesuai untuk jenis masalah yang ditangani model.
Gambar berikut adalah contoh tabel metrik yang dihasilkan oleh Autopilot untuk masalah klasifikasi gambar atau teks. Ini menunjukkan nama metrik, nilai, dan standar deviasi.
![\[Contoh laporan metrik klasifikasi gambar atau klasifikasi teks Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-multiclass-metrics-report.png)
### Informasi kinerja model grafis
Bagian kedua dari laporan kualitas model berisi informasi grafis untuk membantu Anda mengevaluasi kinerja model. Isi bagian ini tergantung pada jenis masalah yang dipilih.
#### Matriks kebingungan
Matriks kebingungan menyediakan cara untuk memvisualisasikan keakuratan prediksi yang dibuat oleh model untuk klasifikasi biner dan multikelas untuk masalah yang berbeda.
Ringkasan komponen grafik **tingkat positif palsu (FPR) dan tingkat** **positif sejati** (TPR) didefinisikan sebagai berikut.
+ Prediksi yang benar
+ **True positive** (TP): Nilai yang diprediksi adalah 1, dan nilai sebenarnya adalah 1.
+ **Benar negatif** (TN): Nilai yang diprediksi adalah 0, dan nilai sebenarnya adalah 0.
+ Prediksi yang salah
+ **Positif palsu** (FP): Nilai yang diprediksi adalah 1, tetapi nilai sebenarnya adalah 0.
+ **False negative** (FN): Nilai yang diprediksi adalah 0, tetapi nilai sebenarnya adalah 1.
Matriks kebingungan dalam laporan kualitas model berisi yang berikut ini.
+ Jumlah dan persentase prediksi yang benar dan salah untuk label yang sebenarnya
+ Jumlah dan persentase prediksi akurat pada diagonal dari kiri atas ke pojok kanan bawah
+ Jumlah dan persentase prediksi yang tidak akurat pada diagonal dari kanan atas ke sudut kiri bawah
Prediksi yang salah pada matriks kebingungan adalah nilai kebingungan.
Diagram berikut adalah contoh matriks kebingungan untuk masalah klasifikasi multi-kelas. Matriks kebingungan dalam laporan kualitas model berisi yang berikut ini.
+ Sumbu vertikal dibagi menjadi tiga baris yang berisi tiga label aktual yang berbeda.
+ Sumbu horizontal dibagi menjadi tiga kolom yang berisi label yang diprediksi oleh model.
+ Bilah warna memberikan nada yang lebih gelap ke sejumlah besar sampel untuk secara visual menunjukkan jumlah nilai yang diklasifikasikan dalam setiap kategori.
**Dalam contoh di bawah ini, model dengan benar memprediksi 354 nilai aktual untuk label **f**, 1094 nilai untuk label **i** dan 852 nilai untuk label m.** Perbedaan nada menunjukkan bahwa kumpulan data tidak seimbang karena ada lebih banyak label untuk nilai **i** daripada untuk **f** atau **m**.
![\[Contoh matriks kebingungan multiclass Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-confusion-matrix-multiclass.png)
Matriks kebingungan dalam laporan kualitas model yang disediakan dapat mengakomodasi maksimum 15 label untuk jenis masalah klasifikasi multikelas. Jika baris yang sesuai dengan label menunjukkan `Nan` nilai, itu berarti kumpulan data validasi yang digunakan untuk memeriksa prediksi model tidak berisi data dengan label tersebut.
# Membuat pekerjaan AutoML untuk klasifikasi teks menggunakan API
[Petunjuk berikut menunjukkan cara membuat pekerjaan Amazon SageMaker Autopilot sebagai percobaan percobaan untuk jenis masalah klasifikasi teks menggunakan SageMaker Referensi API.](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html)
**catatan**
[Tugas seperti klasifikasi teks dan gambar, peramalan deret waktu, dan fine-tuning model bahasa besar tersedia secara eksklusif melalui API REST AutoML versi 2.](autopilot-reference.md) Jika bahasa pilihan Anda adalah Python, Anda dapat merujuk ke [AWS SDK untuk Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_auto_ml_job_v2.html)atau [MLV2 objek Auto](https://sagemaker.readthedocs.io/en/stable/api/training/automlv2.html#sagemaker.automl.automlv2.AutoMLV2) dari Amazon SageMaker Python SDK secara langsung.
Pengguna yang lebih menyukai kenyamanan antarmuka pengguna dapat menggunakan [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas-getting-started.html) untuk mengakses model pra-terlatih dan model dasar AI generatif, atau membuat model khusus yang disesuaikan untuk teks tertentu, klasifikasi gambar, kebutuhan peramalan, atau AI generatif.
Anda dapat membuat eksperimen klasifikasi teks Autopilot secara terprogram dengan memanggil tindakan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)API dalam bahasa apa pun yang didukung oleh Amazon Autopilot atau. SageMaker AWS CLI
Untuk informasi tentang cara tindakan API ini diterjemahkan ke dalam fungsi dalam bahasa pilihan Anda, lihat bagian [Lihat Juga](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_SeeAlso) `CreateAutoMLJobV2` dan pilih SDK. Sebagai contoh, untuk pengguna Python, lihat sintaks permintaan lengkap dari in. `[create\$1auto\$1ml\$1job\$1v2](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_auto_ml_job_v2)` AWS SDK untuk Python (Boto3)
Berikut ini adalah kumpulan parameter permintaan input wajib dan opsional untuk tindakan `CreateAutoMLJobV2` API yang digunakan dalam klasifikasi teks.
## Parameter yang diperlukan
Saat menelepon `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)` untuk membuat eksperimen Autopilot untuk klasifikasi teks, Anda harus memberikan nilai berikut:
+ An `[AutoMLJobName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax)` untuk menentukan nama pekerjaan Anda.
+ Setidaknya satu `[AutoMLJobChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)` `[AutoMLJobInputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)` untuk menentukan sumber data Anda.
+ Sebuah `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)` tipe`[TextClassificationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextClassificationJobConfig.html)`.
+ `[OutputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)`Untuk menentukan jalur keluaran Amazon S3 untuk menyimpan artefak pekerjaan AutoML Anda.
+ A `[RoleArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-RoleArn)` untuk menentukan ARN dari peran yang digunakan untuk mengakses data Anda.
Semua parameter lainnya adalah opsional.
## Parameter opsional
Bagian berikut memberikan rincian beberapa parameter opsional yang dapat Anda teruskan ke tugas AutoML klasifikasi teks Anda.
### Cara menentukan kumpulan data pelatihan dan validasi pekerjaan AutoML
Anda dapat memberikan kumpulan data validasi dan rasio pemisahan data khusus Anda sendiri, atau membiarkan Autopilot membagi kumpulan data secara otomatis.
Setiap [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)objek (lihat parameter yang diperlukan [Auto MLJob InputDataConfig](https://docs.aws.amazon.com/sagemaker-api/src/AWSSageMakerAPIDoc/build/server-root/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)) memiliki`ChannelType`, yang dapat diatur ke salah satu `training` atau `validation` nilai yang menentukan bagaimana data akan digunakan saat membangun model pembelajaran mesin.
Setidaknya satu sumber data harus disediakan dan maksimal dua sumber data diperbolehkan: satu untuk data pelatihan dan satu untuk data validasi. Bagaimana Anda membagi data menjadi kumpulan data pelatihan dan validasi tergantung pada apakah Anda memiliki satu atau dua sumber data.
Bagaimana Anda membagi data menjadi kumpulan data pelatihan dan validasi tergantung pada apakah Anda memiliki satu atau dua sumber data.
+ Jika Anda hanya memiliki **satu sumber data**, `ChannelType` diatur ke secara `training` default dan harus memiliki nilai ini.
+ Jika `ValidationFraction` nilai dalam tidak [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html)disetel, 0.2 (20%) data dari sumber ini digunakan untuk validasi secara default.
+ Jika `ValidationFraction` diatur ke nilai antara 0 dan 1, dataset dibagi berdasarkan nilai yang ditentukan, di mana nilai menentukan fraksi dari dataset yang digunakan untuk validasi.
+ Jika Anda memiliki **dua sumber data**, `ChannelType` salah satu `AutoMLJobChannel` objek harus diatur ke`training`, nilai default. Sumber data lainnya harus diatur ke`validation`. `ChannelType` Kedua sumber data harus memiliki format yang sama, baik CSV atau Parket, dan skema yang sama. Anda tidak boleh menetapkan nilai untuk `ValidationFraction` dalam kasus ini karena semua data dari setiap sumber digunakan untuk pelatihan atau validasi. Menyetel nilai ini menyebabkan kesalahan.
### Cara menentukan konfigurasi penerapan model otomatis untuk pekerjaan AutoML
Untuk mengaktifkan penerapan otomatis untuk kandidat model terbaik dari pekerjaan AutoML, sertakan `[ModelDeployConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-ModelDeployConfig)` a dalam permintaan pekerjaan AutoML. Ini akan memungkinkan penerapan model terbaik ke titik akhir SageMaker AI. Di bawah ini adalah konfigurasi yang tersedia untuk kustomisasi.
+ Untuk membiarkan Autopilotmenghasilkan nama titik akhir, setel ke. `[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)` `True`
+ Untuk memberikan nama Anda sendiri untuk titik akhir, atur`[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents) to False and provide a name of your choice in [EndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)`.
# Format kumpulan data dan metrik objektif untuk klasifikasi teks
Pada bagian ini kita belajar tentang format yang tersedia untuk kumpulan data yang digunakan dalam klasifikasi teks serta metrik yang digunakan untuk mengevaluasi kualitas prediktif kandidat model pembelajaran mesin. Metrik yang dihitung untuk kandidat ditentukan menggunakan array [MetricDatum](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_MetricDatum.html)tipe.
## Format kumpulan data
Autopilot mendukung data tabular yang diformat sebagai file CSV atau sebagai file Parket. Untuk data tabular, setiap kolom berisi fitur dengan tipe data tertentu dan setiap baris berisi pengamatan. Sifat-sifat dari dua format file ini sangat berbeda.
+ **CSV** (comma-separated-values) adalah format file berbasis baris yang menyimpan data dalam teks biasa yang dapat dibaca manusia yang merupakan pilihan populer untuk pertukaran data karena didukung oleh berbagai aplikasi.
+ **Parket** adalah format file berbasis kolom di mana data disimpan dan diproses lebih efisien daripada format file berbasis baris. Ini membuat mereka menjadi pilihan yang lebih baik untuk masalah data besar.
**Tipe data** yang diterima untuk kolom termasuk numerik, kategoris, teks.
Autopilot mendukung pembuatan model pembelajaran mesin pada kumpulan data besar hingga ratusan. GBs Untuk detail tentang batas sumber daya default untuk kumpulan data input dan cara meningkatkannya, lihat kuota [Amazon SageMaker Autopilot](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-quotas.html).
## Metrik obyektif
Daftar berikut berisi nama-nama metrik yang saat ini tersedia untuk mengukur kinerja model untuk klasifikasi teks.
**`Accuracy`**
Rasio jumlah item yang diklasifikasikan dengan benar dengan jumlah total item yang diklasifikasikan (benar dan salah). Akurasi mengukur seberapa dekat nilai kelas yang diprediksi dengan nilai aktual. Nilai untuk metrik akurasi bervariasi antara nol (0) dan satu (1). Nilai 1 menunjukkan akurasi sempurna, dan 0 menunjukkan ketidakakuratan sempurna.
# Terapkan model Autopilot untuk inferensi waktu nyata
Setelah Anda melatih model Amazon SageMaker Autopilot Anda, Anda dapat mengatur titik akhir dan mendapatkan prediksi secara interaktif. Bagian berikut menjelaskan langkah-langkah untuk menerapkan model Anda ke titik akhir inferensi real-time SageMaker AI untuk mendapatkan prediksi dari model Anda.
## Inferensiasi waktu nyata
Inferensi waktu nyata ideal untuk beban kerja inferensi di mana Anda memiliki persyaratan waktu nyata, interaktif, dan latensi rendah. Bagian ini menunjukkan bagaimana Anda dapat menggunakan inferensi real-time untuk mendapatkan prediksi secara interaktif dari model Anda.
Anda dapat menggunakan SageMaker APIs untuk menyebarkan model secara manual yang menghasilkan metrik validasi terbaik dalam eksperimen Autopilot sebagai berikut.
Atau, Anda dapat memilih opsi penerapan otomatis saat membuat eksperimen Autopilot Anda. Untuk informasi tentang pengaturan penerapan otomatis model, lihat `[ModelDeployConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-ModelDeployConfig)` di parameter permintaan. `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestParameters)` Ini menciptakan titik akhir secara otomatis.
**catatan**
Untuk menghindari biaya yang tidak perlu, Anda dapat menghapus titik akhir yang tidak diperlukan dan sumber daya yang dibuat dari penerapan model. Untuk informasi tentang penetapan harga instans menurut Wilayah, lihat [ SageMaker Harga Amazon](https://aws.amazon.com/sagemaker/pricing/).
1. **Dapatkan definisi wadah kandidat**
Dapatkan definisi wadah kandidat dari [InferenceContainers](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-InferenceContainers). Definisi kontainer untuk inferensi mengacu pada lingkungan kontainer yang dirancang untuk menerapkan dan menjalankan model SageMaker AI terlatih Anda untuk membuat prediksi.
Contoh AWS CLI perintah berikut menggunakan [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) API untuk mendapatkan definisi kandidat untuk kandidat model terbaik.
```
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region
```
1. **Daftar kandidat**
Contoh AWS CLI perintah berikut menggunakan [ListCandidatesForAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidatesForAutoMLJob.html)API untuk mencantumkan semua kandidat model.
```
aws sagemaker list-candidates-for-auto-ml-job --auto-ml-job-name --region
```
1. **Buat model SageMaker AI**
Gunakan definisi container dari langkah sebelumnya dan kandidat pilihan Anda untuk membuat model SageMaker AI dengan menggunakan [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API. Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker create-model --model-name '' \
--containers [', , ]' \
--execution-role-arn '' --region '
```
1. **Buat konfigurasi titik akhir**
Contoh AWS CLI perintah berikut menggunakan [CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API untuk membuat konfigurasi endpoint.
```
aws sagemaker create-endpoint-config --endpoint-config-name '' \
--production-variants '' \
--region ''
```
1. **Buat titik akhir**
AWS CLI Contoh berikut menggunakan [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API untuk membuat titik akhir.
```
aws sagemaker create-endpoint --endpoint-name '' \
--endpoint-config-name '' \
--region ''
```
Periksa kemajuan penerapan titik akhir Anda dengan menggunakan API. [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html) Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker describe-endpoint —endpoint-name '' —region
```
Setelah `EndpointStatus` perubahan`InService`, titik akhir siap digunakan untuk inferensi waktu nyata.
1. **Memanggil titik akhir**
Struktur perintah berikut memanggil titik akhir untuk inferensi real-time.
```
aws sagemaker invoke-endpoint --endpoint-name '' \
--region '' --body '' [--content-type] ''
```
# Laporan penjelasan
Amazon SageMaker Autopilot menyediakan laporan penjelasan untuk membantu menjelaskan bagaimana kandidat model terbaik membuat prediksi untuk masalah klasifikasi teks. Laporan ini dapat membantu insinyur, manajer produk, dan pemangku kepentingan internal lainnya dalam memahami karakteristik model. Baik konsumen maupun regulator mengandalkan transparansi dalam pembelajaran mesin untuk mempercayai dan menafsirkan keputusan yang dibuat berdasarkan prediksi model. Anda dapat menggunakan penjelasan ini untuk mengaudit dan memenuhi persyaratan peraturan, membangun kepercayaan pada model, mendukung pengambilan keputusan manusia, dan men-debug dan meningkatkan kinerja model.
*Fungsionalitas penjelasan Autopilot untuk klasifikasi teks menggunakan metode atribusi aksiomatik Gradien Terpadu.* Pendekatan ini bergantung pada implementasi [Atribusi Aksiomatik](https://arxiv.org/pdf/1703.01365.pdf) untuk Jaringan Dalam.
Autopilot menghasilkan laporan penjelasan sebagai file JSON. Laporan tersebut mencakup rincian analisis yang didasarkan pada dataset validasi. Setiap sampel yang digunakan untuk menghasilkan laporan berisi informasi berikut:
+ `text`: Konten teks masukan dijelaskan.
+ `token_scores`: Daftar skor untuk setiap token dalam teks.
+
+ `attribution`: Skor yang menggambarkan pentingnya token.
+ `description.partial_text`: Substring sebagian yang mewakili token.
+ `predicted_label`: Kelas label diprediksi oleh kandidat model terbaik.
+ `probability`: Keyakinan yang `predicted_label` diprediksi.
Anda dapat menemukan awalan Amazon S3 untuk artefak penjelasan yang dihasilkan untuk kandidat terbaik dalam menanggapi at. `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` `[BestCandidate.CandidateProperties.CandidateArtifactLocations.Explainability](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-Explainability)`
Berikut ini adalah contoh konten analisis yang dapat Anda temukan di artefak penjelasan.
```
{
"text": "It was a fantastic movie!",
"predicted_label": 2,
"probability": 0.9984835,
"token_scores": [
{
"attribution": 0,
"description": {
"partial_text": "It"
}
},
{
"attribution": -0.022447118861679088,
"description": {
"partial_text": "was"
}
},
{
"attribution": -0.2164326456817965,
"description": {
"partial_text": "a"
}
},
{
"attribution": 0.675,
"description": {
"partial_text": "fantastic"
}
},
{
"attribution": 0.416,
"description": {
"partial_text": "movie!"
}
}
]
}
```
Dalam sampel laporan JSON ini, fungsionalitas penjelasan mengevaluasi teks `It was a fantastic movie!` dan menilai kontribusi masing-masing tokennya ke label prediksi keseluruhan. Label yang diprediksi adalah`2`, yang merupakan sentimen positif yang kuat, dengan probabilitas 99,85%. Sampel JSON kemudian merinci kontribusi masing-masing token individu terhadap prediksi ini. Misalnya, token `fantastic` memiliki atribusi yang lebih kuat daripada token`was`. Ini adalah token yang berkontribusi paling besar pada prediksi akhir.
# Laporan kinerja model
Laporan kualitas model SageMaker AI Amazon (juga disebut sebagai laporan kinerja) memberikan wawasan dan informasi kualitas untuk kandidat model terbaik yang dihasilkan oleh pekerjaan AutoML. Ini termasuk informasi tentang detail pekerjaan, jenis masalah model, fungsi objektif, dan berbagai metrik. Bagian ini merinci konten laporan kinerja untuk masalah klasifikasi teks dan menjelaskan cara mengakses metrik sebagai data mentah dalam file JSON.
Anda dapat menemukan awalan Amazon S3 untuk artefak laporan kualitas model yang dihasilkan untuk kandidat terbaik dalam menanggapi at. `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` `[BestCandidate.CandidateProperties.CandidateArtifactLocations.ModelInsights](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-ModelInsights)`
Laporan kinerja berisi dua bagian:
+ Bagian pertama berisi rincian tentang pekerjaan Autopilot yang menghasilkan model.
+ Bagian kedua berisi laporan kualitas model dengan berbagai metrik kinerja.
## Detail pekerjaan Autopilot
Bagian pertama dari laporan ini memberikan beberapa informasi umum tentang pekerjaan Autopilot yang menghasilkan model. Rincian ini mencakup informasi berikut:
+ Nama kandidat autopilot: Nama kandidat model terbaik.
+ Nama pekerjaan autopilot: Nama pekerjaan.
+ Jenis masalah: Jenis masalah. Dalam kasus kami, *klasifikasi teks*.
+ Metrik objektif: Metrik objektif yang digunakan untuk mengoptimalkan kinerja model. Dalam kasus kami, *Akurasi*.
+ Arah optimasi: Menunjukkan apakah akan meminimalkan atau memaksimalkan metrik objektif.
## Laporan kualitas model
Informasi kualitas model dihasilkan oleh wawasan model Autopilot. Konten laporan yang dihasilkan bergantung pada jenis masalah yang ditangani. Laporan tersebut menentukan jumlah baris yang disertakan dalam dataset evaluasi dan waktu evaluasi terjadi.
### Tabel metrik
Bagian pertama dari laporan kualitas model berisi tabel metrik. Ini sesuai untuk jenis masalah yang ditangani model.
Gambar berikut adalah contoh tabel metrik yang dihasilkan oleh Autopilot untuk masalah klasifikasi gambar atau teks. Ini menunjukkan nama metrik, nilai, dan standar deviasi.
![\[Contoh laporan metrik klasifikasi gambar atau klasifikasi teks Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-multiclass-metrics-report.png)
### Informasi kinerja model grafis
Bagian kedua dari laporan kualitas model berisi informasi grafis untuk membantu Anda mengevaluasi kinerja model. Isi bagian ini tergantung pada jenis masalah yang dipilih.
#### Matriks kebingungan
Matriks kebingungan menyediakan cara untuk memvisualisasikan keakuratan prediksi yang dibuat oleh model untuk klasifikasi biner dan multikelas untuk masalah yang berbeda.
Ringkasan komponen grafik **tingkat positif palsu (FPR) dan tingkat** **positif sejati** (TPR) didefinisikan sebagai berikut.
+ Prediksi yang benar
+ **True positive** (TP): Nilai yang diprediksi adalah 1, dan nilai sebenarnya adalah 1.
+ **Benar negatif** (TN): Nilai yang diprediksi adalah 0, dan nilai sebenarnya adalah 0.
+ Prediksi yang salah
+ **Positif palsu** (FP): Nilai yang diprediksi adalah 1, tetapi nilai sebenarnya adalah 0.
+ **False negative** (FN): Nilai yang diprediksi adalah 0, tetapi nilai sebenarnya adalah 1.
Matriks kebingungan dalam laporan kualitas model berisi yang berikut ini.
+ Jumlah dan persentase prediksi yang benar dan salah untuk label yang sebenarnya
+ Jumlah dan persentase prediksi akurat pada diagonal dari kiri atas ke pojok kanan bawah
+ Jumlah dan persentase prediksi yang tidak akurat pada diagonal dari kanan atas ke sudut kiri bawah
Prediksi yang salah pada matriks kebingungan adalah nilai kebingungan.
Diagram berikut adalah contoh matriks kebingungan untuk masalah klasifikasi multi-kelas. Matriks kebingungan dalam laporan kualitas model berisi yang berikut ini.
+ Sumbu vertikal dibagi menjadi tiga baris yang berisi tiga label aktual yang berbeda.
+ Sumbu horizontal dibagi menjadi tiga kolom yang berisi label yang diprediksi oleh model.
+ Bilah warna memberikan nada yang lebih gelap ke sejumlah besar sampel untuk secara visual menunjukkan jumlah nilai yang diklasifikasikan dalam setiap kategori.
**Dalam contoh di bawah ini, model dengan benar memprediksi 354 nilai aktual untuk label **f**, 1094 nilai untuk label **i** dan 852 nilai untuk label m.** Perbedaan nada menunjukkan bahwa kumpulan data tidak seimbang karena ada lebih banyak label untuk nilai **i** daripada untuk **f** atau **m**.
![\[Contoh matriks kebingungan multiclass Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-model-insights-confusion-matrix-multiclass.png)
Matriks kebingungan dalam laporan kualitas model yang disediakan dapat mengakomodasi maksimum 15 label untuk jenis masalah klasifikasi multikelas. Jika baris yang sesuai dengan label menunjukkan `Nan` nilai, itu berarti kumpulan data validasi yang digunakan untuk memeriksa prediksi model tidak berisi data dengan label tersebut.
# Buat pekerjaan AutoML untuk peramalan deret waktu menggunakan API
Peramalan dalam pembelajaran mesin mengacu pada proses memprediksi hasil atau tren masa depan berdasarkan data dan pola historis. Dengan menganalisis data deret waktu lalu dan mengidentifikasi pola yang mendasarinya, algoritma pembelajaran mesin dapat membuat prediksi dan memberikan wawasan berharga tentang perilaku masa depan. Dalam peramalan, tujuannya adalah untuk mengembangkan model yang dapat secara akurat menangkap hubungan antara variabel input dan variabel target dari waktu ke waktu. Ini melibatkan pemeriksaan berbagai faktor seperti tren, musiman, dan pola relevan lainnya dalam data. Informasi yang dikumpulkan kemudian digunakan untuk melatih model pembelajaran mesin. Model terlatih mampu menghasilkan prediksi dengan mengambil data input baru dan menerapkan pola dan hubungan yang dipelajari. Ini dapat memberikan perkiraan untuk berbagai kasus penggunaan, seperti proyeksi penjualan, tren pasar saham, prakiraan cuaca, perkiraan permintaan, dan banyak lagi.
[Petunjuk berikut menunjukkan cara membuat pekerjaan Amazon SageMaker Autopilot sebagai percobaan percontohan untuk jenis masalah peramalan deret waktu menggunakan Referensi API. SageMaker ](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html)
**catatan**
[Tugas seperti klasifikasi teks dan gambar, peramalan deret waktu, dan fine-tuning model bahasa besar tersedia secara eksklusif melalui API REST AutoML versi 2.](autopilot-reference.md) Jika bahasa pilihan Anda adalah Python, Anda dapat merujuk ke [AWS SDK untuk Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_auto_ml_job_v2.html)atau [MLV2 objek Auto](https://sagemaker.readthedocs.io/en/stable/api/training/automlv2.html#sagemaker.automl.automlv2.AutoMLV2) dari Amazon SageMaker Python SDK secara langsung.
Pengguna yang lebih menyukai kenyamanan antarmuka pengguna dapat menggunakan [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas-getting-started.html) untuk mengakses model pra-terlatih dan model dasar AI generatif, atau membuat model khusus yang disesuaikan untuk teks tertentu, klasifikasi gambar, kebutuhan peramalan, atau AI generatif.
Anda dapat membuat eksperimen peramalan deret waktu Autopilot secara terprogram dengan memanggil API [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)dalam bahasa apa pun yang didukung oleh Amazon Autopilot atau. SageMaker AWS CLI
Untuk informasi tentang cara tindakan API ini diterjemahkan ke dalam fungsi dalam bahasa pilihan Anda, lihat bagian [Lihat Juga](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_SeeAlso) `CreateAutoMLJobV2` dan pilih SDK. Sebagai contoh, untuk pengguna Python, lihat sintaks permintaan lengkap dari in. `[create\$1auto\$1ml\$1job\$1v2](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_auto_ml_job_v2)` AWS SDK untuk Python (Boto3)
Autopilot melatih beberapa kandidat model dengan deret waktu target Anda, lalu memilih model peramalan optimal untuk metrik objektif tertentu. Ketika kandidat model Anda telah dilatih, Anda dapat menemukan metrik kandidat terbaik dalam menanggapi `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` at`[BestCandidate](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateProperties.html#sagemaker-Type-CandidateProperties-CandidateMetrics)`.
Bagian berikut menentukan parameter permintaan input wajib dan opsional untuk `CreateAutoMLJobV2` API yang digunakan dalam peramalan deret waktu.
**catatan**
Lihat [Peramalan Seri Waktu notebook dengan Amazon SageMaker Autopilot](https://github.com/aws/amazon-sagemaker-examples/blob/main/autopilot/autopilot_time_series.ipynb) untuk contoh prakiraan deret waktu yang praktis dan praktis. Di buku catatan ini, Anda menggunakan Amazon SageMaker Autopilot untuk melatih model deret waktu dan menghasilkan prediksi menggunakan model terlatih. Notebook ini memberikan instruksi untuk mengambil kumpulan data data historis tabular yang sudah jadi di Amazon S3.
## Prasyarat
Sebelum menggunakan Autopilot untuk membuat eksperimen peramalan deret waktu di SageMaker AI, pastikan untuk:
+ Siapkan kumpulan data deret waktu Anda. Persiapan dataset melibatkan pengumpulan data yang relevan dari berbagai sumber, membersihkan dan menyaringnya untuk menghilangkan noise dan inkonsistensi, dan mengaturnya ke dalam format terstruktur. Lihat [Format kumpulan data deret waktu dan metode pengisian nilai yang hilang](timeseries-forecasting-data-format.md) untuk mempelajari lebih lanjut tentang persyaratan format deret waktu di Autopilot. Secara opsional, Anda dapat melengkapi kumpulan data Anda dengan kalender hari libur nasional negara pilihan Anda untuk menangkap pola terkait. Untuk informasi lebih lanjut tentang kalender liburan, lihat[Kalender hari libur nasional](autopilot-timeseries-forecasting-holiday-calendars.md).
**catatan**
Kami merekomendasikan untuk menyediakan setidaknya 3-5 titik data historis untuk setiap 1 titik data future yang ingin Anda prediksi. Misalnya, untuk memperkirakan 7 hari ke depan (horizon 1 minggu) berdasarkan data harian, latih model Anda pada data historis minimal 21-35 hari. Pastikan untuk menyediakan data yang cukup untuk menangkap pola musiman dan berulang.
+ Tempatkan data deret waktu Anda di bucket Amazon S3.
+ Berikan akses penuh ke bucket Amazon S3 yang berisi data input Anda untuk peran eksekusi SageMaker AI yang digunakan untuk menjalankan eksperimen Anda. Setelah ini selesai, Anda dapat menggunakan ARN dari peran eksekusi ini dalam permintaan API Autopilot.
+ Untuk informasi tentang mengambil peran eksekusi SageMaker AI Anda, lihat[Dapatkan peran eksekusi Anda](sagemaker-roles.md#sagemaker-roles-get-execution-role).
+ Untuk informasi tentang pemberian izin peran eksekusi SageMaker AI untuk mengakses satu atau beberapa bucket spesifik di Amazon S3, lihat Menambahkan Izin Amazon S3 Tambahan ke *Peran* Eksekusi AI di. SageMaker [Buat peran eksekusi](sagemaker-roles.md#sagemaker-roles-create-execution-role)
## Parameter yang diperlukan
Saat menelepon `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)` untuk membuat eksperimen Autopilot untuk peramalan deret waktu, Anda harus memberikan nilai berikut:
+ An `[AutoMLJobName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax)` untuk menentukan nama pekerjaan Anda. Nama harus bertipe`string`, dan harus memiliki panjang minimal 1 karakter dan panjang maksimum 32.
+ Setidaknya satu `[AutoMLJobChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)` `[AutoMLJobInputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)` di mana Anda menentukan nama bucket Amazon S3 yang berisi data Anda. Secara opsional, Anda dapat menentukan konten (file CSV atau Parket) dan jenis kompresi (GZip).
+ `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`Jenis `[TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html)` untuk mengonfigurasi pengaturan pekerjaan peramalan deret waktu Anda. Secara khusus, Anda harus menentukan:
+ **Frekuensi** prediksi, yang mengacu pada perincian yang diinginkan (per jam, harian, bulanan, dll) dari perkiraan Anda.
Interval yang valid adalah bilangan bulat diikuti oleh `Y` (Tahun), `M` (Bulan), `W` (Minggu), `D` (Hari), `H` (Jam), dan `min` (Menit). Misalnya, `1D` menunjukkan setiap hari dan `15min` menunjukkan setiap 15 menit. Nilai frekuensi tidak boleh tumpang tindih dengan frekuensi yang lebih besar berikutnya. Misalnya, Anda harus menggunakan frekuensi `1H` alih-alih`60min`.
Nilai yang valid untuk setiap frekuensi adalah sebagai berikut:
+ Menit - 1-59
+ Jam - 1-23
+ Hari - 1-6
+ Minggu - 1-4
+ Bulan - 1-11
+ Tahun - 1
+ **Cakrawala** prediksi dalam perkiraan Anda, yang mengacu pada jumlah langkah waktu yang diprediksi model. Cakrawala ramalan juga disebut panjang prediksi. Cakrawala perkiraan maksimum adalah kurang dari 500 langkah waktu atau 1/4 langkah waktu dalam kumpulan data.
+ A [TimeSeriesConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesConfig.html)di mana Anda menentukan skema kumpulan data Anda untuk memetakan header kolom ke perkiraan Anda dengan menentukan:
+ A`TargetAttributeName`: Kolom yang berisi data historis bidang target yang akan diramalkan.
+ A`TimestampAttributeName`: Kolom yang berisi titik waktu di mana nilai target dari item tertentu dicatat.
+ A`ItemIdentifierAttributeName`: Kolom yang berisi pengidentifikasi item yang ingin Anda prediksi nilai targetnya.
Berikut ini adalah contoh parameter permintaan tersebut. Dalam contoh ini, Anda menyiapkan perkiraan harian untuk jumlah yang diharapkan atau tingkat permintaan item tertentu selama periode 20 hari.
```
"AutoMLProblemTypeConfig": {
"ForecastFrequency": "D",
"ForecastHorizon": 20,
"TimeSeriesConfig": {
"TargetAttributeName": "demand",
"TimestampAttributeName": "timestamp",
"ItemIdentifierAttributeName": "item_id"
},
```
+ `[OutputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)`Untuk menentukan jalur keluaran Amazon S3 untuk menyimpan artefak pekerjaan AutoML Anda.
+ A `[RoleArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-RoleArn)` untuk menentukan ARN dari peran yang digunakan untuk mengakses data Anda. Anda dapat menggunakan ARN dari peran eksekusi yang telah Anda berikan akses ke data Anda.
Semua parameter lainnya adalah opsional. Misalnya, Anda dapat mengatur kuantil perkiraan tertentu, memilih metode pengisian untuk nilai yang hilang dalam kumpulan data, atau menentukan cara menggabungkan data yang tidak sejajar dengan frekuensi perkiraan. Untuk mempelajari cara mengatur parameter tambahan tersebut, lihat[Parameter opsional](#timeseries-forecasting-api-optional-params).
## Parameter opsional
Bagian berikut memberikan rincian beberapa parameter opsional yang dapat Anda berikan ke pekerjaan AutoML perkiraan deret waktu Anda.
### Cara menentukan algoritma
Secara default, pekerjaan Autopilot Anda melatih daftar algoritme yang telah ditentukan sebelumnya pada kumpulan data Anda. Namun, Anda dapat memberikan subset dari pemilihan algoritme default.
Untuk peramalan deret waktu, Anda harus memilih `[TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html)` sebagai jenis. `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`
Kemudian, Anda dapat menentukan array yang dipilih `AutoMLAlgorithms` dalam `AlgorithmsConfig` atribut [CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html).
Berikut ini adalah contoh `AlgorithmsConfig` atribut yang mencantumkan tepat tiga algoritma (“cnn-qr”, “nabi”, “arima”) di bidangnya. `AutoMLAlgorithms`
```
{
"[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)": {
"[TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html)": {
"[CandidateGenerationConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html)": {
"[AlgorithmsConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html#sagemaker-Type-CandidateGenerationConfig-AlgorithmsConfig)":[
{"[AutoMLAlgorithms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html)":["cnn-qr", "prophet", "arima"]}
]
},
},
},
}
```
Untuk daftar algoritme yang tersedia untuk peramalan deret waktu, lihat. [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html#sagemaker-Type-AutoMLAlgorithmConfig-AutoMLAlgorithms](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html#sagemaker-Type-AutoMLAlgorithmConfig-AutoMLAlgorithms) Untuk detail tentang setiap algoritma, lihat[Dukungan algoritma untuk peramalan deret waktu](timeseries-forecasting-algorithms.md).
### Cara menentukan kuantil kustom
Autopilot melatih 6 kandidat model dengan deret waktu target Anda, kemudian menggabungkan model ini menggunakan metode ansambel susun untuk membuat model peramalan optimal untuk metrik objektif tertentu. Setiap model peramalan Autopilot menghasilkan perkiraan probabilistik dengan menghasilkan perkiraan pada kuantil antara P1 dan P99. Kuantil ini digunakan untuk menjelaskan ketidakpastian perkiraan. Secara default, perkiraan akan dihasilkan untuk 0.1 (`p10`), 0.5 (`p50`), dan 0.9 (`p90`). Anda dapat memilih untuk menentukan kuantil Anda sendiri.
Di Autopilot, Anda dapat menentukan hingga lima kuantil perkiraan dari 0,01 (`p1`) hingga 0,99 (`p99`), dengan penambahan 0,01 atau lebih tinggi dalam atribut. `ForecastQuantiles` [TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html)
Dalam contoh berikut, Anda menyiapkan perkiraan persentil 10, 25, 50, 75, dan 90 harian untuk kuantitas atau tingkat permintaan barang tertentu yang diharapkan selama periode 20 hari.
```
"AutoMLProblemTypeConfig": {
"ForecastFrequency": "D",
"ForecastHorizon": 20,
"ForecastQuantiles": ["p10", "p25", "p50", "p75", "p90"],
"TimeSeriesConfig": {
"TargetAttributeName": "demand",
"TimestampAttributeName": "timestamp",
"ItemIdentifierAttributeName": "item_id"
},
```
### Cara mengumpulkan data untuk frekuensi perkiraan yang berbeda
Untuk membuat model perkiraan (juga disebut sebagai kandidat model terbaik dari eksperimen Anda), Anda harus menentukan frekuensi perkiraan. Frekuensi perkiraan menentukan frekuensi prediksi dalam perkiraan Anda. Misalnya, perkiraan penjualan bulanan. Model terbaik autopilot dapat menghasilkan perkiraan untuk frekuensi data yang lebih tinggi dari frekuensi di mana data Anda direkam.
Selama pelatihan, Autopilot mengumpulkan data apa pun yang tidak selaras dengan frekuensi perkiraan yang Anda tentukan. Misalnya, Anda mungkin memiliki beberapa data harian tetapi tentukan frekuensi perkiraan mingguan. Autopilot menyelaraskan data harian berdasarkan minggu di mana ia berada. Autopilot kemudian menggabungkannya menjadi rekor tunggal untuk setiap minggu.
Selama agregasi, metode transformasi default adalah menjumlahkan data. Anda dapat mengonfigurasi agregasi saat membuat pekerjaan AutoML Anda `Transformations` di atribut. [TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html) Metode agregasi yang didukung adalah `sum` (default),,`avg`, `first``min`,`max`. Agregasi hanya didukung untuk kolom target.
Dalam contoh berikut, Anda mengonfigurasi agregasi untuk menghitung rata-rata perkiraan promo individu untuk memberikan nilai perkiraan agregat akhir.
```
"Transformations": {
"Aggregation": {
"promo": "avg"
}
}
```
### Cara menangani nilai yang hilang dalam kumpulan data input Anda
Autopilot menyediakan sejumlah metode pengisian untuk menangani nilai yang hilang di target dan kolom numerik lainnya dari kumpulan data deret waktu Anda. Untuk informasi tentang daftar metode pengisian yang didukung dan logika pengisian yang tersedia, lihat[Tangani nilai yang hilang](timeseries-forecasting-data-format.md#timeseries-missing-values).
Anda mengonfigurasi strategi pengisian Anda dalam `Transformations` atribut [TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html)saat membuat pekerjaan AutoML Anda.
Untuk mengatur metode pengisian, Anda perlu memberikan pasangan kunci-nilai:
+ Kuncinya adalah nama kolom yang ingin Anda tentukan metode pengisiannya.
+ Nilai yang terkait dengan kunci adalah objek yang mendefinisikan strategi pengisian untuk kolom itu.
Anda dapat menentukan beberapa metode pengisian untuk satu kolom.
Untuk menetapkan nilai tertentu untuk metode pengisian, Anda harus mengatur parameter isian ke nilai metode pengisian yang diinginkan (misalnya`"backfill" : "value"`), dan menentukan nilai pengisian aktual dalam parameter tambahan yang diakhiran dengan “\$1value”. Misalnya, untuk mengatur `backfill` ke nilai`2`, Anda harus menyertakan dua parameter: `"backfill": "value"` dan`"backfill_value":"2"`.
Dalam contoh berikut, Anda menentukan strategi pengisian untuk kolom data yang tidak lengkap, “harga” sebagai berikut: Semua nilai yang hilang antara titik data pertama suatu item dan yang terakhir diatur ke `0` setelah itu semua nilai yang hilang diisi dengan nilai `2` hingga tanggal akhir kumpulan data.
```
"Transformations": {
"Filling": {
"price": {
"middlefill" : "zero",
"backfill" : "value",
"backfill_value": "2"
}
}
}
```
### Cara menentukan metrik objektif
Autopilot menghasilkan metrik akurasi untuk mengevaluasi kandidat model dan membantu Anda memilih mana yang akan digunakan untuk menghasilkan perkiraan. Saat Anda menjalankan eksperimen peramalan deret waktu, Anda dapat memilih AutoML untuk membiarkan Autopilot mengoptimalkan prediktor untuk Anda, atau Anda dapat secara manual memilih algoritme untuk prediktor Anda.
Secara default, Autopilot menggunakan Average Weighted Quantile Loss. Namun, Anda dapat mengonfigurasi metrik objektif saat membuat pekerjaan AutoML Anda di `MetricName` atribut [Auto MLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobObjective.html) Objective.
Untuk daftar algoritma yang tersedia, lihat[Dukungan algoritma untuk peramalan deret waktu](timeseries-forecasting-algorithms.md).
### Cara memasukkan informasi hari libur nasional ke kumpulan data Anda
Di Autopilot, Anda dapat menggabungkan kumpulan data informasi hari libur nasional yang direkayasa fitur ke deret waktu Anda. Autopilot memberikan dukungan asli untuk kalender liburan lebih dari 250 negara. Setelah Anda memilih negara, Autopilot menerapkan kalender liburan negara tersebut ke setiap item dalam kumpulan data Anda selama pelatihan. Ini memungkinkan model untuk mengidentifikasi pola yang terkait dengan hari libur tertentu.
Anda dapat mengaktifkan featurisasi liburan saat Anda membuat pekerjaan AutoML Anda dengan meneruskan [HolidayConfigAttributes](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_HolidayConfigAttributes.html)objek ke atribut. `HolidayConfig` [TimeSeriesForecastingJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html) `HolidayConfigAttributes`Objek berisi `CountryCode` atribut dua huruf yang menentukan negara kalender hari libur nasional yang digunakan untuk menambah kumpulan data deret waktu Anda.
Lihat daftar kalender yang didukung dan kode negara yang sesuai. [Kode Negara](autopilot-timeseries-forecasting-holiday-calendars.md#holiday-country-codes)
### Cara mengaktifkan penyebaran otomatis
Autopilot memungkinkan Anda untuk secara otomatis menerapkan model perkiraan Anda ke titik akhir. Untuk mengaktifkan penerapan otomatis untuk kandidat model terbaik dari pekerjaan AutoML, sertakan `[ModelDeployConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-ModelDeployConfig)` a dalam permintaan pekerjaan AutoML. Ini memungkinkan penerapan model terbaik ke titik akhir SageMaker AI. Di bawah ini adalah konfigurasi yang tersedia untuk kustomisasi.
+ Untuk membiarkan Autopilotmenghasilkan nama titik akhir, setel ke. `[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)` `True`
+ Untuk memberikan nama Anda sendiri untuk titik akhir, atur`[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents) to False and provide a name of your choice in [EndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)`.
### Cara mengkonfigurasi AutoML untuk memulai pekerjaan jarak jauh di EMR Tanpa Server untuk kumpulan data besar
Anda dapat mengonfigurasi AutoML job V2 untuk secara otomatis memulai pekerjaan jarak jauh di Amazon EMR Tanpa Server saat sumber daya komputasi tambahan diperlukan untuk memproses kumpulan data besar. Dengan transisi mulus ke EMR Tanpa Server saat diperlukan, pekerjaan AutoML dapat menangani kumpulan data yang sebaliknya akan melebihi sumber daya yang disediakan sebelumnya, tanpa intervensi manual dari Anda. EMR Tanpa Server tersedia untuk jenis masalah tabular dan deret waktu. Sebaiknya siapkan opsi ini untuk kumpulan data deret waktu yang lebih besar dari 30 GB.
Untuk memungkinkan AutoML job V2 Anda secara otomatis beralih ke EMR Tanpa Server untuk kumpulan data besar, Anda perlu menyediakan `EmrServerlessComputeConfig` objek, yang menyertakan bidang, ke permintaan input AutoML job V2. `ExecutionRoleARN` `AutoMLComputeConfig`
`ExecutionRoleARN`Ini adalah ARN dari peran IAM yang memberikan pekerjaan AutoML V2 izin yang diperlukan untuk menjalankan pekerjaan EMR Tanpa Server.
Peran ini harus memiliki hubungan kepercayaan berikut:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "emr-serverless.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
```
------
Dan berikan izin untuk:
+ Buat, daftar, dan perbarui aplikasi EMR Tanpa Server.
+ Mulai, daftar, dapatkan, atau batalkan pekerjaan berjalan pada aplikasi EMR Tanpa Server.
+ Tandai EMR Sumber daya tanpa server.
+ Lulus peran IAM ke layanan EMR Tanpa Server untuk dieksekusi.
Dengan memberikan `iam:PassRole` izin, pekerjaan AutoML V2 dapat mengambil peran sementara dan meneruskannya `EMRServerlessRuntimeRole-*` ke layanan EMR Tanpa Server. Ini adalah peran IAM yang digunakan oleh lingkungan eksekusi pekerjaan EMR Tanpa Server untuk mengakses layanan dan sumber daya AWS lain yang diperlukan selama runtime, seperti Amazon S3 untuk akses data CloudWatch , untuk pencatatan, akses ke Katalog Data, atau layanan lain berdasarkan AWS Glue persyaratan beban kerja Anda.
Lihat Peran [runtime Job untuk Amazon EMR Tanpa Server untuk detail tentang izin peran](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/security-iam-runtime-role.html) ini.
Kebijakan IAM yang ditentukan dalam dokumen JSON yang disediakan memberikan izin tersebut:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [{
"Sid": "EMRServerlessCreateApplicationOperation",
"Effect": "Allow",
"Action": "emr-serverless:CreateApplication",
"Resource": "arn:aws:emr-serverless:*:*:/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessListApplicationOperation",
"Effect": "Allow",
"Action": "emr-serverless:ListApplications",
"Resource": "arn:aws:emr-serverless:*:*:/*",
"Condition": {
"StringEquals": {
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessApplicationOperations",
"Effect": "Allow",
"Action": [
"emr-serverless:UpdateApplication",
"emr-serverless:GetApplication"
],
"Resource": "arn:aws:emr-serverless:*:*:/applications/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessStartJobRunOperation",
"Effect": "Allow",
"Action": "emr-serverless:StartJobRun",
"Resource": "arn:aws:emr-serverless:*:*:/applications/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessListJobRunOperation",
"Effect": "Allow",
"Action": "emr-serverless:ListJobRuns",
"Resource": "arn:aws:emr-serverless:*:*:/applications/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessJobRunOperations",
"Effect": "Allow",
"Action": [
"emr-serverless:GetJobRun",
"emr-serverless:CancelJobRun"
],
"Resource": "arn:aws:emr-serverless:*:*:/applications/*/jobruns/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "EMRServerlessTagResourceOperation",
"Effect": "Allow",
"Action": "emr-serverless:TagResource",
"Resource": "arn:aws:emr-serverless:*:*:/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/sagemaker:is-canvas-resource": "True",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
},
{
"Sid": "IAMPassOperationForEMRServerless",
"Effect": "Allow",
"Action": "iam:PassRole",
"Resource": "arn:aws:iam::*:role/EMRServerlessRuntimeRole-*",
"Condition": {
"StringEquals": {
"iam:PassedToService": "emr-serverless.amazonaws.com",
"aws:ResourceAccount": "${aws:PrincipalAccount}"
}
}
}
]
}
```
------
# Format kumpulan data deret waktu dan metode pengisian nilai yang hilang
Data deret waktu mengacu pada kumpulan pengamatan atau pengukuran yang direkam selama interval waktu yang teratur. Dalam jenis data ini, setiap pengamatan dikaitkan dengan stempel waktu atau periode waktu tertentu, menciptakan urutan titik data yang diurutkan secara kronologis.
Kolom spesifik yang Anda sertakan dalam kumpulan data deret waktu bergantung pada tujuan analisis Anda dan data yang tersedia untuk Anda. Minimal, data deret waktu terdiri dari tabel 3 kolom di mana:
+ Satu kolom berisi pengidentifikasi unik yang ditugaskan ke item individual untuk merujuk nilainya pada saat tertentu.
+ Kolom lain mewakili point-in-time nilai atau **target** untuk mencatat nilai item tertentu pada saat tertentu. Setelah model dilatih pada nilai-nilai target tersebut, kolom target ini berisi nilai-nilai yang diprediksi model pada frekuensi tertentu dalam cakrawala yang ditentukan.
+ Dan kolom stempel waktu disertakan untuk mencatat tanggal dan waktu ketika nilai diukur.
+ Kolom tambahan dapat berisi faktor-faktor lain yang dapat mempengaruhi kinerja perkiraan. Misalnya, dalam kumpulan data deret waktu untuk ritel di mana targetnya adalah penjualan atau pendapatan, Anda mungkin menyertakan fitur yang memberikan informasi tentang unit yang terjual, ID produk, lokasi toko, jumlah pelanggan, tingkat inventaris, serta indikator kovariat seperti data cuaca atau informasi demografis.
**catatan**
Anda dapat menambahkan kumpulan data informasi hari libur nasional yang direkayasa fitur ke deret waktu Anda. Dengan memasukkan liburan dalam model deret waktu Anda, Anda dapat menangkap pola periodik yang dibuat liburan. Ini membantu perkiraan Anda lebih mencerminkan musim yang mendasari data Anda. Untuk informasi tentang kalender yang tersedia per negara, lihat [Kalender hari libur nasional](autopilot-timeseries-forecasting-holiday-calendars.md)
## Format kumpulan data untuk peramalan deret waktu
Autopilot mendukung tipe data numerik, kategoris, teks, dan datetime. Tipe data kolom target harus numerik.
Autopilot mendukung data deret waktu yang diformat sebagai file CSV (default) atau sebagai file Parket.
+ **CSV** (comma-separated-values) adalah format file berbasis baris yang menyimpan data dalam teks biasa yang dapat dibaca manusia yang merupakan pilihan populer untuk pertukaran data karena didukung oleh berbagai aplikasi.
+ **Parket** adalah format file berbasis kolom di mana data disimpan dan diproses lebih efisien daripada format file berbasis baris. Ini membuat mereka menjadi pilihan yang lebih baik untuk masalah data besar.
Untuk informasi selengkapnya tentang batas sumber daya pada kumpulan data deret waktu untuk peramalan di Autopilot, lihat. [Batas sumber daya perkiraan deret waktu untuk Autopilot](timeseries-forecasting-limits.md)
## Tangani nilai yang hilang
Masalah umum dalam data peramalan deret waktu adalah adanya nilai yang hilang. Data Anda mungkin berisi nilai yang hilang karena sejumlah alasan, termasuk kegagalan pengukuran, masalah pemformatan, kesalahan manusia, atau kurangnya informasi untuk direkam. Misalnya, jika Anda memperkirakan permintaan produk untuk toko ritel dan barang terjual habis atau tidak tersedia, tidak akan ada data penjualan untuk dicatat saat barang itu kehabisan stok. Jika cukup umum, nilai yang hilang dapat secara signifikan memengaruhi akurasi model.
Autopilot menyediakan sejumlah metode pengisian untuk menangani nilai yang hilang, dengan pendekatan berbeda untuk kolom target dan kolom tambahan lainnya. Pengisian adalah proses menambahkan nilai standar ke entri yang hilang dalam kumpulan data Anda.
Lihat [Cara menangani nilai yang hilang dalam kumpulan data input Anda](autopilot-create-experiment-timeseries-forecasting.md#timeseries-forecasting-fill-missing-values) untuk mempelajari cara mengatur metode untuk mengisi nilai yang hilang dalam kumpulan data deret waktu Anda.
Autopilot mendukung metode pengisian berikut:
+ **Pengisian depan: Mengisi** nilai yang hilang antara titik data tercatat paling awal di antara semua item dan titik awal setiap item (setiap item dapat dimulai pada waktu yang berbeda). Ini memastikan bahwa data untuk setiap item lengkap dan mencakup dari titik data yang direkam paling awal ke titik awal masing-masing.
+ **Pengisian tengah: Mengisi** nilai yang hilang antara tanggal mulai dan akhir item dalam kumpulan data.
+ **Pengisian kembali: Mengisi** nilai yang hilang antara titik data terakhir dari setiap item (setiap item dapat berhenti pada waktu yang berbeda) dan titik data terakhir yang direkam di antara semua item.
+ **Pengisian di masa depan: Mengisi** nilai yang hilang antara titik data terakhir yang direkam di antara semua item dan akhir cakrawala perkiraan.
Gambar berikut memberikan representasi visual dari metode pengisian yang berbeda.
![\[Metode pengisian yang berbeda untuk peramalan deret waktu di Amazon SageMaker Autopilot.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/autopilot/autopilot-forecast-filling-methods.png)
### Pilih logika pengisian
Saat memilih logika pengisian, Anda harus mempertimbangkan bagaimana logika akan ditafsirkan oleh model Anda. Misalnya, dalam skenario ritel, mencatat 0 penjualan barang yang tersedia berbeda dengan mencatat 0 penjualan barang yang tidak tersedia, karena yang terakhir tidak menyiratkan kurangnya minat pelanggan pada item tersebut. Karena itu, `0` mengisi kolom target deret waktu dapat menyebabkan prediktor menjadi kurang bias dalam prediksinya, sementara `NaN` pengisian mungkin mengabaikan kejadian aktual dari 0 item yang tersedia yang dijual dan menyebabkan prediktor menjadi terlalu bias.
### Mengisi logika
Anda dapat melakukan pengisian pada kolom target dan kolom numerik lainnya dalam kumpulan data Anda. Kolom target memiliki pedoman dan batasan pengisian yang berbeda dari kolom numerik lainnya.
Pedoman Pengisian
| Tipe kolom | Mengisi secara default? | Metode pengisian yang didukung | Logika pengisian default | Logika pengisian yang diterima |
| --- | --- | --- | --- | --- |
| Kolom target | Ya | Isi tengah dan belakang | 0 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/timeseries-forecasting-data-format.html) |
| Kolom numerik lainnya | Tidak | Pengisian tengah, belakang, dan future | Tidak ada default | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/timeseries-forecasting-data-format.html) |
**catatan**
Untuk target dan kolom numerik lainnya,, `mean``median`,`min`, dan `max` dihitung berdasarkan jendela bergulir dari 64 entri data terbaru sebelum nilai yang hilang.
# Kalender hari libur nasional
Autopilot mendukung kumpulan data informasi hari libur nasional yang direkayasa fitur yang menyediakan akses ke kalender liburan lebih dari 250 negara. Fitur kalender liburan sangat berguna dalam domain ritel, di mana hari libur nasional dapat secara signifikan mempengaruhi permintaan. Bagian berikut mencantumkan kode negara yang dapat Anda gunakan untuk mengakses kalender liburan setiap negara yang didukung.
Lihat [Cara memasukkan informasi hari libur nasional ke kumpulan data Anda](autopilot-create-experiment-timeseries-forecasting.md#timeseries-forecasting-add-holiday-calendar) untuk mempelajari cara menambahkan kalender ke kumpulan data Anda.
## Kode Negara
Autopilot memberikan dukungan asli untuk kalender hari libur umum dari negara-negara berikut. Gunakan **Kode Negara** saat menentukan negara dengan API.
| Negara | Kode Negara |
| --- | --- |
| Afghanistan | AF |
| Kepulauan Åland | AX |
| Albania | AL |
| Aljazair | DZ |
| Samoa Amerika | AS |
| Andorra | AD |
| Angola | AO |
| Anguilla | AI |
| Antartika | AQ |
| Antigua dan Barbuda | AG |
| Argentina | AR |
| Armenia | AM |
| Aruba | AW |
| Australia | AU |
| Austria | AT |
| Azerbaijan | AZ |
| Bahama | BS |
| Bahrain | BH |
| Bangladesh | BD |
| Barbados | BB |
| Belarus | BY |
| Belgium | BE |
| Belize | BZ |
| Benin | BJ |
| Bermuda | BM |
| Bhutan | BT |
| Bolivia | BO |
| Bosnia dan Herzegovina | BA |
| Botswana | BW |
| Pulau Bouvet | BV |
| Brazil | BR |
| Wilayah Samudra Hindia Britania | IO |
| Kepulauan Virgin Britania | VG |
| Brunei Darussalam | BN |
| Bulgaria | BG |
| Burkina Faso | BF |
| Burundi | BI |
| Kamboja | KH |
| Kamerun | CM |
| Kanada | CA |
| Tanjung Verde | CV |
| Karibia Belanda | BQ |
| Kepulauan Cayman | KY |
| Republik Afrika Tengah | CF |
| Chad | TD |
| Chili | CL |
| Tiongkok | CN |
| Pulau Natal | CX |
| Kepulauan Cocos (Keeling) | CC |
| Kolombia | CO |
| Komoro | KM |
| Kepulauan Cook | CK |
| Kosta Rika | CR |
| Kroasia | HR |
| Kuba | CU |
| Curacao | CW |
| Cyprus | CY |
| Ceko | CZ |
| Republik Demokrasi Kongo | CD |
| Denmark | DK |
| Djibouti | DJ |
| Dominika | DM |
| Republik Dominika | DO |
| Ekuador | EC |
| Mesir | EG |
| El Salvador | SV |
| Guinea Khatulistiwa | GQ |
| Eritrea | ER |
| Estonia | EE |
| Eswatini | SZ |
| Etiopia | ET |
| Kepulauan Falkland | FK |
| Kepulauan Faroe | FO |
| Fiji | FJ |
| Finland | FI |
| France | FR |
| Guyana Prancis | GF |
| Polinesia Prancis | PF |
| Wilayah Selatan Prancis | TF |
| Gabon | GA |
| Gambia | GM |
| Georgia | GE |
| Germany | DE |
| Ghana | GH |
| Gibraltar | GI |
| Greece | GR |
| Greenland | GL |
| Grenada | GD |
| Guadeloupe | GP |
| Guam | GU |
| Guatemala | GT |
| Guernsey | GG |
| Guinea | GN |
| Guinea-Bissau | GW |
| Guyana | GY |
| Haiti | HT |
| Pulau Heard dan McDonald Kepulauan | HM |
| Honduras | HN |
| Hong Kong | HK |
| Hungary | HU |
| Islandia | IS |
| India | IN |
| Indonesia | ID |
| Iran | IR |
| Irak | IQ |
| Irlandia | IE |
| Pulau Man | IM |
| Israel | IL |
| Italy | IT |
| Pantai Gading | CI |
| Jamaika | JM |
| Jepang | JP |
| Jersey | JE |
| Yordania | JO |
| Kazakstan | KZ |
| Kenya | KE |
| Kiribati | KI |
| Kosovo | XK |
| Kuwait | KW |
| Kirgistan | KG |
| Laos | LA |
| Latvia | LV |
| Libanon | LB |
| Lesotho | LS |
| Liberia | LR |
| Libya | LY |
| Liechtenstein | LI |
| Lithuania | LT |
| Luxembourg | LU |
| Makao | MO |
| Madagaskar | MG |
| Malawi | MW |
| Malaysia | MY |
| Maladewa | MV |
| Mali | ML |
| Malta | MT |
| Kepulauan Marshall | MH |
| Martinik | MQ |
| Mauritania | MR |
| Mauritius | MU |
| Mayotte | YT |
| Meksiko | MX |
| Mikronesia | FM |
| Moldova | MD |
| Monako | MC |
| Mongolia | MN |
| Montenegro | ME |
| Montserrat | MS |
| Maroko | MA |
| Mozambik | MZ |
| Myanmar | MM |
| Namibia | NA |
| Nauru | NR |
| Nepal | NP |
| Belanda | NL |
| Kaledonia Baru | NC |
| Selandia Baru | NZ |
| Nikaragua | NI |
| Niger | NE |
| Nigeria | NG |
| Niue | NU |
| Pulau Norfolk | NF |
| Korea Utara | KP |
| Makedonia Utara | MK |
| Kepulauan Mariana Utara | MP |
| Norwegia | NO |
| Oman | OM |
| Pakistan | PK |
| Palau | PW |
| Palestina | PS |
| Panama | PA |
| Papua Nugini | PG |
| Paraguay | PY |
| Peru | PE |
| Filipina | PH |
| Kepulauan Pitcairn | PN |
| Poland | PL |
| Portugal | PT |
| Puerto Riko | PR |
| Qatar | QA |
| Republik Kongo | CG |
| Reuni | RE |
| Romania | RO |
| Federasi Rusia | RU |
| Rwanda | RW |
| Santo Barthélemy | BL |
| “Saint Helena, Kenaikan dan Tristan da Cunha” | SH |
| Saint Kitts dan Nevis | KN |
| Saint Lucia | LC |
| Santo Martin | MF |
| Saint Pierre dan Miquelon | PM |
| Saint Vincent dan Grenadines | VC |
| Samoa | WS |
| San Marino | SM |
| Sao Tome dan Principe | ST |
| Arab Saudi | SA |
| Senegal | SN |
| Serbia | RS |
| Seychelles | SC |
| Sierra Leone | SL |
| Singapura | SG |
| Sint Maarten | SX |
| Slovakia | SK |
| Slovenia | SI |
| Kepulauan Solomon | SB |
| Somalia | SO |
| Afrika Selatan | ZA |
| Georgia Selatan dan Kepulauan Sandwich Selatan | GS |
| Korea Selatan | KR |
| Sudan Selatan | SS |
| Spain | ES |
| Sri Lanka | LK |
| Sudan | SD |
| Suriname | SR |
| Svalbard dan Jan Mayen | SJ |
| Sweden | SE |
| Swiss | CH |
| Republik Arab Suriah | SY |
| Taiwan | TW |
| Tajikistan | TJ |
| Tanzania | TZ |
| Thailand | TH |
| Timor-Leste | TL |
| Togo | TG |
| Tokelau | TK |
| Tonga | TO |
| Trinidad dan Tobago | TT |
| Tunisia | TN |
| Turki | TR |
| Turkmenistan | TM |
| Kepulauan Turks dan Caicos | TC |
| Tuvalu | TV |
| Uganda | UG |
| Ukraina | UA |
| Uni Emirat Arab | AE |
| Britania Raya | UK |
| Perserikatan Bangsa-Bangsa | UN |
| Amerika Serikat | US |
| Kepulauan Terluar Kecil Amerika Serikat | UM |
| Kepulauan Virgin Amerika Serikat | VI |
| Uruguay | UY |
| Uzbekistan | UZ |
| Vanuatu | VU |
| Kota Vatikan | VA |
| Venezuela | VE |
| Vietnam | VN |
| Wallis dan Futuna | WF |
| Sahara Barat | EH |
| Yaman | YE |
| Zambia | ZM |
| Zimbabwe | ZW |
# Metrik obyektif
Autopilot menghasilkan metrik akurasi untuk mengevaluasi kandidat model dan membantu Anda memilih mana yang akan digunakan untuk menghasilkan perkiraan. Anda dapat membiarkan Autopilot mengoptimalkan prediktor untuk Anda, atau Anda dapat secara manual memilih algoritme untuk prediktor Anda. Secara default, Autopilot menggunakan Average Weighted Quantile Loss.
Daftar berikut berisi nama-nama metrik yang saat ini tersedia untuk mengukur kinerja model untuk peramalan deret waktu.
**`RMSE`**
Kesalahan kuadrat rata-rata akar (RMSE) - Mengukur akar kuadrat dari perbedaan kuadrat antara nilai prediksi dan aktual, dan dirata-ratakan pada semua nilai. Ini adalah metrik penting untuk menunjukkan adanya kesalahan model besar dan outlier. Nilai berkisar dari nol (0) hingga tak terhingga, dengan angka yang lebih kecil menunjukkan kecocokan model yang lebih baik dengan data. RMSE tergantung pada skala, dan tidak boleh digunakan untuk membandingkan kumpulan data dengan ukuran yang berbeda.
**`wQL`**
Weighted Quantile Loss (wQL) — Menilai keakuratan perkiraan dengan mengukur perbedaan absolut tertimbang antara kuantil P10, P50, dan P90 yang diprediksi dan aktual dengan nilai yang lebih rendah yang menunjukkan kinerja yang lebih baik.
**`Average wQL (default)`**
Rata-rata Kehilangan Kuantil Tertimbang (Rata-rata wQL) - Mengevaluasi perkiraan dengan rata-rata akurasi pada kuantil P10, P50, dan P90. Nilai yang lebih rendah menunjukkan model yang lebih akurat.
**`MASE`**
Mean Absolute Scaled Error (MASE) — Kesalahan absolut rata-rata dari perkiraan dinormalisasi oleh kesalahan absolut rata-rata dari metode peramalan dasar sederhana. Nilai yang lebih rendah menunjukkan model yang lebih akurat, di mana MASE < 1 is estimated to be better than the baseline and MASE > 1 diperkirakan lebih buruk daripada baseline.
**`MAPE`**
Mean Absolute Percent Error (MAPE) — Persentase kesalahan (perbedaan persen dari nilai perkiraan rata-rata versus nilai aktual) dirata-ratakan pada semua titik waktu. Nilai yang lebih rendah menunjukkan model yang lebih akurat, di mana MAPE = 0 adalah model tanpa kesalahan.
**`WAPE`**
Weighted Absolute Percent Error (WAPE) — Jumlah kesalahan absolut yang dinormalisasi dengan jumlah target absolut, yang mengukur deviasi keseluruhan nilai yang diperkirakan dari nilai yang diamati. Nilai yang lebih rendah menunjukkan model yang lebih akurat.
# Dukungan algoritma untuk peramalan deret waktu
Autopilot melatih enam algoritma bawaan berikut dengan deret waktu target Anda. Kemudian, dengan menggunakan metode ansambel susun, ini menggabungkan kandidat model ini untuk membuat model peramalan yang optimal untuk metrik objektif tertentu.
+ **Convolutional Neural Network - Quantile Regression (CNN-QR) - CNN-QR** adalah algoritma pembelajaran mesin eksklusif untuk meramalkan deret waktu menggunakan jaringan saraf konvolusional kausal (). CNNs CNN-QR bekerja paling baik dengan kumpulan data besar yang berisi ratusan deret waktu.
+ **DeepAR\$1** — DeepAR\$1 adalah algoritma pembelajaran mesin eksklusif untuk memperkirakan deret waktu menggunakan jaringan saraf berulang (). RNNs DeepAR\$1 bekerja paling baik dengan kumpulan data besar yang berisi ratusan deret waktu fitur.
+ **Prophet** [— Prophet](https://facebook.github.io/prophet/) adalah model deret waktu struktural Bayesian lokal yang populer berdasarkan model aditif di mana tren non-linier cocok dengan musim tahunan, mingguan, dan harian. Algoritma Autopilot Prophet menggunakan [kelas Nabi](https://facebook.github.io/prophet/docs/quick_start.html#python-ap) dari implementasi Python Nabi. Ini bekerja paling baik dengan deret waktu dengan efek musiman yang kuat dan beberapa musim data historis.
+ **Non-Parametric Time Series (NPTS)** — Algoritma kepemilikan NPTS adalah peramal dasar probabilistik yang dapat diskalakan. Ini memprediksi distribusi nilai future dari deret waktu tertentu dengan mengambil sampel dari pengamatan sebelumnya. NPTS sangat berguna saat bekerja dengan deret waktu yang jarang atau intermiten.
+ **Autoregressive Integrated Moving Average (ARIMA) — ARIMA** adalah algoritma statistik yang umum digunakan untuk peramalan deret waktu. Algoritma menangkap struktur temporal standar (organisasi berpola waktu) dalam dataset input. Ini sangat berguna untuk kumpulan data sederhana dengan deret waktu di bawah 100.
+ **Exponential Smoothing (ETS)** — ETS adalah algoritma statistik yang umum digunakan untuk peramalan deret waktu. Algoritma ini sangat berguna untuk kumpulan data sederhana dengan deret waktu di bawah 100, dan kumpulan data dengan pola musiman. ETS menghitung rata-rata tertimbang atas semua pengamatan dalam kumpulan data deret waktu sebagai prediksinya, dengan bobot yang menurun secara eksponensial dari waktu ke waktu.
# Forecast model Autopilot yang digunakan
Setelah melatih model Anda menggunakan AutoML API, Anda dapat menerapkannya untuk peramalan real-time atau berbasis batch.
AutoML API melatih beberapa kandidat model untuk data deret waktu Anda dan memilih model peramalan optimal berdasarkan metrik sasaran target Anda. Setelah kandidat model Anda dilatih, Anda dapat menemukan kandidat terbaik dalam respons [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) di [BestCandidate](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-CandidateName).
Untuk mendapatkan prediksi menggunakan model berkinerja terbaik ini, Anda dapat mengatur titik akhir untuk mendapatkan perkiraan secara interaktif atau menggunakan perkiraan batch untuk membuat prediksi pada batch pengamatan.
**Pertimbangan-pertimbangan**
+ Saat memberikan data input untuk peramalan, skema data Anda harus tetap sama dengan yang digunakan untuk melatih model Anda, termasuk jumlah kolom, header kolom, dan tipe data. Anda dapat memperkirakan item yang ada atau baru IDs dalam rentang waktu yang sama atau berbeda untuk memprediksi periode waktu yang berbeda.
+ Model peramalan memprediksi titik horizon perkiraan di masa depan yang ditentukan dalam permintaan input saat pelatihan, yaitu dari tanggal akhir *target hingga tanggal akhir* *target\$1cakrawala perkiraan*. Untuk menggunakan model untuk memprediksi tanggal tertentu, Anda harus memberikan data dalam format yang sama dengan data input asli, memperpanjang hingga tanggal *akhir target* yang ditentukan. Dalam skenario ini, model akan mulai memprediksi dari tanggal akhir target baru.
Misalnya, jika dataset Anda memiliki data bulanan dari Januari hingga Juni dengan cakrawala Forecast 2, maka model akan memprediksi nilai target untuk 2 bulan ke depan, yaitu Juli dan Agustus. Jika pada bulan Agustus, Anda ingin memprediksi untuk 2 bulan ke depan, kali ini data input Anda harus dari Januari hingga Agustus dan model akan memprediksi untuk 2 bulan ke depan (September, Oktober).
+ Saat memperkirakan titik data future, tidak ada minimum yang ditetapkan untuk jumlah data historis yang akan disediakan. Sertakan data yang cukup untuk menangkap pola musiman dan berulang dalam deret waktu Anda.
**Topics**
+ [Peramalan waktu nyata](timeseries-forecasting-realtime.md)
+ [Peramalan Batch](timeseries-forecasting-batch.md)
# Peramalan waktu nyata
Peramalan waktu nyata berguna ketika Anda perlu menghasilkan prediksi on-the-fly, seperti untuk aplikasi yang memerlukan tanggapan segera atau saat memperkirakan titik data individual.
Dengan menerapkan model AutoML Anda sebagai titik akhir waktu nyata, Anda dapat menghasilkan perkiraan sesuai permintaan dan meminimalkan latensi antara menerima data baru dan mendapatkan prediksi. Ini membuat peramalan waktu nyata cocok untuk aplikasi yang membutuhkan kemampuan peramalan langsung, dipersonalisasi, atau didorong oleh peristiwa.
Untuk peramalan waktu nyata, kumpulan data harus menjadi bagian dari kumpulan data input. Titik akhir waktu nyata memiliki ukuran data input sekitar 6MB dan batasan batas waktu respons 60 detik. Kami merekomendasikan membawa satu atau beberapa item sekaligus.
Anda dapat menggunakan SageMaker APIs untuk mengambil kandidat terbaik dari pekerjaan AutoML dan kemudian membuat titik akhir AI SageMaker menggunakan kandidat tersebut.
Atau, Anda dapat memilih opsi penerapan otomatis saat membuat eksperimen Autopilot Anda. Untuk informasi tentang pengaturan penerapan otomatis model, lihat[Cara mengaktifkan penyebaran otomatis](autopilot-create-experiment-timeseries-forecasting.md#timeseries-forecasting-auto-model-deployment).
**Untuk membuat titik akhir SageMaker AI menggunakan kandidat model terbaik Anda:**
1.
**Ambil detail pekerjaan AutoML.**
Contoh AWS CLI perintah berikut menggunakan [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) API untuk mendapatkan rincian pekerjaan AutoML, termasuk informasi tentang kandidat model terbaik.
```
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region
```
1.
**Ekstrak definisi wadah dari [InferenceContainers](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-InferenceContainers)untuk kandidat model terbaik.**
Definisi kontainer adalah lingkungan kontainer yang digunakan untuk menampung model SageMaker AI terlatih untuk membuat prediksi.
```
BEST_CANDIDATE=$(aws sagemaker describe-auto-ml-job-v2 \
--auto-ml-job-name job-name
--region region \
--query 'BestCandidate.InferenceContainers[0]' \
--output json
```
Perintah ini mengekstrak definisi wadah untuk kandidat model terbaik dan menyimpannya dalam `BEST_CANDIDATE` variabel.
1.
**Buat model SageMaker AI menggunakan definisi kontainer kandidat terbaik.**
Gunakan definisi container dari langkah sebelumnya untuk membuat model SageMaker AI dengan menggunakan [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API.
```
aws sagemaker create-model \
--model-name 'your-candidate-name>' \
--primary-container "$BEST_CANDIDATE"
--execution-role-arn 'execution-role-arn>' \
--region 'region>
```
`--execution-role-arn`Parameter menentukan peran IAM yang diasumsikan SageMaker AI saat menggunakan model untuk inferensi. Untuk detail tentang izin yang diperlukan untuk peran ini, lihat [CreateModel API: Izin Peran Eksekusi](https://docs.aws.amazon.com/).
1.
**Buat konfigurasi titik akhir SageMaker AI menggunakan model.**
AWS CLI Perintah berikut menggunakan [CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API untuk membuat konfigurasi endpoint.
```
aws sagemaker create-endpoint-config \
--production-variants file://production-variants.json \
--region 'region'
```
Dimana `production-variants.json` file berisi konfigurasi model, termasuk nama model dan jenis instance.
**catatan**
Sebaiknya gunakan instans [m5.12xlarge](https://aws.amazon.com/ec2/instance-types/m5/) untuk peramalan waktu nyata.
```
[
{
"VariantName": "variant-name",
"ModelName": "model-name",
"InitialInstanceCount": 1,
"InstanceType": "m5.12xlarge"
}
]
}
```
1.
**Buat titik akhir SageMaker AI menggunakan konfigurasi titik akhir.**
AWS CLI Contoh berikut menggunakan [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API untuk membuat titik akhir.
```
aws sagemaker create-endpoint \
--endpoint-name 'endpoint-name>' \
--endpoint-config-name 'endpoint-config-name' \
--region 'region'
```
Periksa kemajuan penerapan titik akhir inferensi real-time Anda dengan menggunakan API. [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html) Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker describe-endpoint \
--endpoint-name 'endpoint-name' \
--region 'region'
```
Setelah `EndpointStatus` perubahan`InService`, titik akhir siap digunakan untuk inferensi waktu nyata.
1.
**Panggil titik akhir SageMaker AI untuk membuat prediksi.**
```
aws sagemaker invoke-endpoint \
--endpoint-name 'endpoint-name' \
--region 'region' \
--body file://input-data-in-bytes.json \
--content-type 'application/json' outfile
```
Dimana `input-data-in-bytes.json` file berisi data input untuk prediksi.
# Peramalan Batch
Peramalan Batch, juga dikenal sebagai inferensi offline, menghasilkan prediksi model pada batch pengamatan. Inferensi Batch adalah pilihan yang baik untuk kumpulan data besar atau jika Anda tidak memerlukan respons langsung terhadap permintaan prediksi model.
Sebaliknya, inferensi online (inferensi waktu nyata) menghasilkan prediksi secara real time.
Anda dapat menggunakan SageMaker APIs untuk mengambil kandidat terbaik dari pekerjaan AutoML dan kemudian mengirimkan sekumpulan data masukan untuk inferensi menggunakan kandidat tersebut.
1.
**Ambil detail pekerjaan AutoML.**
Contoh AWS CLI perintah berikut menggunakan [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) API untuk mendapatkan rincian pekerjaan AutoML, termasuk informasi tentang kandidat model terbaik.
```
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region
```
1.
**Ekstrak definisi wadah dari [InferenceContainers](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html#sagemaker-Type-AutoMLCandidate-InferenceContainers)untuk kandidat model terbaik.**
Definisi kontainer adalah lingkungan kontainer yang digunakan untuk menampung model SageMaker AI terlatih untuk membuat prediksi.
```
BEST_CANDIDATE=$(aws sagemaker describe-auto-ml-job-v2 \
--auto-ml-job-name job-name
--region region \
--query 'BestCandidate.InferenceContainers[0]' \
--output json
```
Perintah ini mengekstrak definisi wadah untuk kandidat model terbaik dan menyimpannya dalam `BEST_CANDIDATE` variabel.
1.
**Buat model SageMaker AI menggunakan definisi kontainer kandidat terbaik.**
Gunakan definisi container dari langkah sebelumnya untuk membuat model SageMaker AI dengan menggunakan [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API.
```
aws sagemaker create-model \
--model-name 'model-name' \
--primary-container "$BEST_CANDIDATE"
--execution-role-arn 'execution-role-arn>' \
--region 'region>
```
`--execution-role-arn`Parameter menentukan peran IAM yang diasumsikan SageMaker AI saat menggunakan model untuk inferensi. Untuk detail tentang izin yang diperlukan untuk peran ini, lihat [CreateModel API: Izin Peran Eksekusi](https://docs.aws.amazon.com/).
1.
**Buat pekerjaan transformasi batch.**
Contoh berikut membuat pekerjaan transformasi menggunakan [CreateTransformJob](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-transform-job.html)API.
```
aws sagemaker create-transform-job \
--transform-job-name 'transform-job-name' \
--model-name 'model-name'\
--transform-input file://transform-input.json \
--transform-output file://transform-output.json \
--transform-resources file://transform-resources.json \
--region 'region'
```
Input, output, dan rincian sumber daya didefinisikan dalam file JSON terpisah:
+ `transform-input.json`:
```
{
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3://my-input-data-bucket/path/to/input/data"
}
},
"ContentType": "text/csv",
"SplitType": "None"
}
```
+ `transform-output.json`:
```
{
"S3OutputPath": "s3://my-output-bucket/path/to/output",
"AssembleWith": "Line"
}
```
+ `transform-resources.json`:
**catatan**
Sebaiknya gunakan instans [m5.12xlarge](https://aws.amazon.com/ec2/instance-types/m5/) untuk beban kerja tujuan umum dan instance untuk tugas peramalan data besar. `m5.24xlarge`
```
{
"InstanceType": "instance-type",
"InstanceCount": 1
}
```
1.
**Pantau kemajuan pekerjaan transformasi Anda menggunakan [DescribeTransformJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeTransformJob.html)API.**
Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker describe-transform-job \
--transform-job-name 'transform-job-name' \
--region region
```
1.
**Ambil output transformasi batch.**
Setelah pekerjaan selesai, hasil prediksi tersedia di`S3OutputPath`.
Nama file output memiliki format berikut:`input_data_file_name.out`. Sebagai contoh, jika file input Anda`text_x.csv`, nama output akan menjadi`text_x.csv.out`.
```
aws s3 ls s3://my-output-bucket/path/to/output/
```
Contoh kode berikut menggambarkan penggunaan AWS SDK untuk Python (boto3) dan for batch forecasting. AWS CLI
------
#### [ AWS SDK for Python (boto3) ]
Contoh berikut menggunakan **AWS SDK untuk Python (boto3**) untuk membuat prediksi dalam batch.
```
import sagemaker
import boto3
session = sagemaker.session.Session()
sm_client = boto3.client('sagemaker', region_name='us-west-2')
role = 'arn:aws:iam::1234567890:role/sagemaker-execution-role'
output_path = 's3://test-auto-ml-job/output'
input_data = 's3://test-auto-ml-job/test_X.csv'
best_candidate = sm_client.describe_auto_ml_job_v2(AutoMLJobName=job_name)['BestCandidate']
best_candidate_containers = best_candidate['InferenceContainers']
best_candidate_name = best_candidate['CandidateName']
# create model
reponse = sm_client.create_model(
ModelName = best_candidate_name,
ExecutionRoleArn = role,
Containers = best_candidate_containers
)
# Lauch Transform Job
response = sm_client.create_transform_job(
TransformJobName=f'{best_candidate_name}-transform-job',
ModelName=model_name,
TransformInput={
'DataSource': {
'S3DataSource': {
'S3DataType': 'S3Prefix',
'S3Uri': input_data
}
},
'ContentType': "text/csv",
'SplitType': 'None'
},
TransformOutput={
'S3OutputPath': output_path,
'AssembleWith': 'Line',
},
TransformResources={
'InstanceType': 'ml.m5.2xlarge',
'InstanceCount': 1,
},
)
```
Pekerjaan inferensi batch mengembalikan respons dalam format berikut.
```
{'TransformJobArn': 'arn:aws:sagemaker:us-west-2:1234567890:transform-job/test-transform-job',
'ResponseMetadata': {'RequestId': '659f97fc-28c4-440b-b957-a49733f7c2f2',
'HTTPStatusCode': 200,
'HTTPHeaders': {'x-amzn-requestid': '659f97fc-28c4-440b-b957-a49733f7c2f2',
'content-type': 'application/x-amz-json-1.1',
'content-length': '96',
'date': 'Thu, 11 Aug 2022 22:23:49 GMT'},
'RetryAttempts': 0}}
```
------
#### [ AWS Command Line Interface (AWS CLI) ]
1. **Dapatkan definisi wadah kandidat terbaik**.
```
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name 'test-automl-job' --region us-west-2
```
1. **Buat modelnya**.
```
aws sagemaker create-model --model-name 'test-sagemaker-model'
--containers '[{
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-sklearn-automl:2.5-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/out/test-job1/data-processor-models/test-job1-dpp0-1-e569ff7ad77f4e55a7e549a/output/model.tar.gz",
"Environment": {
"AUTOML_SPARSE_ENCODE_RECORDIO_PROTOBUF": "1",
"AUTOML_TRANSFORM_MODE": "feature-transform",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "application/x-recordio-protobuf",
"SAGEMAKER_PROGRAM": "sagemaker_serve",
"SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code"
}
}, {
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-xgboost:1.3-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/out/test-job1/tuning/flicdf10v2-dpp0-xgb/test-job1E9-244-7490a1c0/output/model.tar.gz",
"Environment": {
"MAX_CONTENT_LENGTH": "20971520",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "text/csv",
"SAGEMAKER_INFERENCE_OUTPUT": "predicted_label",
"SAGEMAKER_INFERENCE_SUPPORTED": "predicted_label,probability,probabilities"
}
}, {
"Image": "348316444620.dkr.ecr.us-west-2.amazonaws.com/sagemaker-sklearn-automl:2.5-1-cpu-py3",
"ModelDataUrl": "s3://amzn-s3-demo-bucket/out/test-job1/data-processor-models/test-job1-dpp0-1-e569ff7ad77f4e55a7e549a/output/model.tar.gz",
"Environment": {
"AUTOML_TRANSFORM_MODE": "inverse-label-transform",
"SAGEMAKER_DEFAULT_INVOCATIONS_ACCEPT": "text/csv",
"SAGEMAKER_INFERENCE_INPUT": "predicted_label",
"SAGEMAKER_INFERENCE_OUTPUT": "predicted_label",
"SAGEMAKER_INFERENCE_SUPPORTED": "predicted_label,probability,labels,probabilities",
"SAGEMAKER_PROGRAM": "sagemaker_serve",
"SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code"
}
}]' \
--execution-role-arn 'arn:aws:iam::1234567890:role/sagemaker-execution-role' \
--region 'us-west-2'
```
1. **Buat pekerjaan transformasi**.
```
aws sagemaker create-transform-job --transform-job-name 'test-tranform-job'\
--model-name 'test-sagemaker-model'\
--transform-input '{
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3://amzn-s3-demo-bucket/data.csv"
}
},
"ContentType": "text/csv",
"SplitType": "None"
}'\
--transform-output '{
"S3OutputPath": "s3://amzn-s3-demo-bucket/output/",
"AssembleWith": "Line"
}'\
--transform-resources '{
"InstanceType": "ml.m5.2xlarge",
"InstanceCount": 1
}'\
--region 'us-west-2'
```
1. **Periksa kemajuan pekerjaan transformasi**.
```
aws sagemaker describe-transform-job --transform-job-name 'test-tranform-job' --region us-west-2
```
Berikut ini adalah respons dari pekerjaan transformasi.
```
{
"TransformJobName": "test-tranform-job",
"TransformJobArn": "arn:aws:sagemaker:us-west-2:1234567890:transform-job/test-tranform-job",
"TransformJobStatus": "InProgress",
"ModelName": "test-model",
"TransformInput": {
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3://amzn-s3-demo-bucket/data.csv"
}
},
"ContentType": "text/csv",
"CompressionType": "None",
"SplitType": "None"
},
"TransformOutput": {
"S3OutputPath": "s3://amzn-s3-demo-bucket/output/",
"AssembleWith": "Line",
"KmsKeyId": ""
},
"TransformResources": {
"InstanceType": "ml.m5.2xlarge",
"InstanceCount": 1
},
"CreationTime": 1662495635.679,
"TransformStartTime": 1662495847.496,
"DataProcessing": {
"InputFilter": "$",
"OutputFilter": "$",
"JoinSource": "None"
}
}
```
Setelah `TransformJobStatus` perubahan`Completed`, Anda dapat memeriksa hasil inferensi di. `S3OutputPath`
------
# Notebook eksplorasi data Amazon SageMaker Autopilot
Amazon SageMaker Autopilot membersihkan dan memproses kumpulan data Anda secara otomatis. Untuk membantu pengguna memahami data mereka, mengungkap pola, hubungan, dan anomali tentang deret **waktu, SageMaker Amazon Autopilot menghasilkan laporan statis eksplorasi data** dalam bentuk buku catatan untuk referensi pengguna.
Notebook eksplorasi data dihasilkan untuk setiap pekerjaan Autopilot. Laporan disimpan dalam bucket Amazon S3 dan dapat diakses dari jalur output pekerjaan.
Anda dapat menemukan awalan Amazon S3 ke notebook eksplorasi data dalam respons terhadap at. `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` `[AutoMLJobArtifacts.DataExplorationNotebookLocation](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html#sagemaker-DescribeAutoMLJobV2-response-AutoMLJobArtifacts)`
# Laporan yang dihasilkan oleh Amazon SageMaker Autopilot
Selain notebook eksplorasi data, Autopilot menghasilkan berbagai laporan untuk kandidat model terbaik dari setiap percobaan.
+ Laporan penjelasan memberikan wawasan tentang bagaimana model membuat prakiraan.
+ Laporan kinerja memberikan penilaian kuantitatif kemampuan peramalan model.
+ Laporan hasil backtest dihasilkan setelah menguji kinerja model pada data historis.
## Laporan penjelasan
Laporan penjelasan autopilot membantu Anda lebih memahami bagaimana atribut dalam kumpulan data memengaruhi perkiraan untuk deret waktu tertentu (kombinasi item dan dimensi) dan titik waktu. Autopilot menggunakan metrik yang disebut *Skor dampak* untuk mengukur dampak relatif dari setiap atribut dan menentukan apakah mereka meningkatkan atau menurunkan nilai perkiraan.
Misalnya, pertimbangkan skenario peramalan di mana target berada `sales` dan ada dua atribut terkait: `price` dan`color`. Autopilot mungkin menemukan bahwa warna item memiliki dampak tinggi pada penjualan untuk item tertentu, tetapi efek yang dapat diabaikan untuk item lainnya. Mungkin juga menemukan bahwa promosi di musim panas memiliki dampak tinggi pada penjualan, tetapi promosi di musim dingin memiliki sedikit efek.
Laporan penjelasan dibuat hanya jika:
+ Kumpulan data deret waktu mencakup kolom fitur tambahan atau dikaitkan dengan kalender liburan.
+ Model dasar CNN-QR dan DeepAR\$1 termasuk dalam ansambel akhir.
### Menafsirkan skor Dampak
Skor dampak mengukur atribut dampak relatif terhadap nilai perkiraan. Misalnya, jika `price` atribut memiliki skor dampak yang dua kali lebih besar dari `store location` atribut, Anda dapat menyimpulkan bahwa harga suatu item memiliki dampak dua kali lipat pada nilai perkiraan daripada lokasi penyimpanan.
Skor dampak juga memberikan informasi tentang apakah atribut meningkatkan atau menurunkan nilai perkiraan.
Skor Dampak berkisar dari -1 hingga 1, di mana tanda menunjukkan arah tumbukan. Skor 0 menunjukkan tidak ada dampak, sedangkan skor mendekati 1 atau -1 menunjukkan dampak yang signifikan.
Penting untuk dicatat bahwa Skor dampak mengukur dampak relatif atribut, bukan dampak absolut. Oleh karena itu, skor Dampak tidak dapat digunakan untuk menentukan apakah atribut tertentu meningkatkan akurasi model. Jika atribut memiliki skor Dampak rendah, itu tidak berarti bahwa ia memiliki dampak rendah pada nilai perkiraan; itu berarti bahwa ia memiliki dampak yang lebih rendah pada nilai perkiraan daripada atribut lain yang digunakan oleh prediktor.
### Temukan laporan penjelasan
Anda dapat menemukan awalan Amazon S3 untuk artefak penjelasan yang dihasilkan untuk kandidat terbaik dalam menanggapi at. `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` `[BestCandidate.CandidateProperties.CandidateArtifactLocations.Explainability](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-Explainability)`
## Laporan kinerja model
Laporan kualitas model autopilot (juga disebut sebagai laporan kinerja) memberikan wawasan dan informasi kualitas untuk kandidat model terbaik (prediktor terbaik) yang dihasilkan oleh pekerjaan AutoML. Ini termasuk informasi tentang detail pekerjaan, fungsi objektif, dan metrik akurasi (`wQL`,,`MAPE`, `WAPE``RMSE`,`MASE`).
Anda dapat menemukan awalan Amazon S3 untuk artefak laporan kualitas model yang dihasilkan untuk kandidat terbaik dalam menanggapi at. `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` `[BestCandidate.CandidateProperties.CandidateArtifactLocations.ModelInsights](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-ModelInsights)`
## Laporan hasil backtests
Hasil backtests memberikan wawasan tentang kinerja model peramalan deret waktu dengan mengevaluasi akurasi dan keandalan prediktifnya. Ini membantu analis dan ilmuwan data menilai kinerjanya pada data historis dan membantu memahami potensi kinerjanya pada data masa depan yang tidak terlihat.
Autopilot menggunakan backtesting untuk menyetel parameter dan menghasilkan metrik akurasi. Selama backtesting, Autopilot secara otomatis membagi data deret waktu Anda menjadi dua set, satu set pelatihan dan satu set pengujian. Set pelatihan digunakan untuk melatih model yang kemudian digunakan untuk menghasilkan perkiraan untuk titik data dalam set pengujian. Autopilot menggunakan dataset pengujian ini untuk mengevaluasi akurasi model dengan membandingkan nilai yang diperkirakan dengan nilai yang diamati dalam set pengujian.
Anda dapat menemukan awalan Amazon S3 untuk artefak laporan kualitas model yang dihasilkan untuk kandidat terbaik dalam menanggapi at. `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` `[BestCandidate.CandidateProperties.CandidateArtifactLocations.BacktestResults](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html#sagemaker-Type-CandidateArtifactLocations-BacktestResults)`
# Batas sumber daya perkiraan deret waktu untuk Autopilot
Tabel berikut mencantumkan batas sumber daya untuk pekerjaan peramalan deret waktu di Amazon SageMaker Autopilot dan apakah Anda dapat menyesuaikan setiap batas atau tidak.
| **Batas sumber daya** | **Batas default** | **Dapat disesuaikan** |
| --- | --- | --- |
| Ukuran dataset masukan | 30 GB | Ya |
| Ukuran satu file Parket | 2 GB | Tidak |
| Jumlah maksimum baris dalam set data | 3 miliar | Ya |
| Jumlah maksimum kolom pengelompokan | 5 | Tidak |
| Jumlah maksimum fitur numerik | 13 | Tidak |
| Jumlah maksimum fitur kategoris | 10 | Tidak |
| Jumlah maksimum deret waktu (kombinasi unik item dan kolom pengelompokan) per kumpulan data | 5.000.000 | Ya |
| Cakrawala Forecast Maksimum | 500 | Ya |
# Buat pekerjaan AutoML untuk menyempurnakan model pembuatan teks menggunakan API
Model bahasa besar (LLMs) unggul dalam beberapa tugas generatif, termasuk pembuatan teks, ringkasan, penyelesaian, menjawab pertanyaan, dan banyak lagi. Kinerja mereka dapat dikaitkan dengan ukuran signifikan dan pelatihan ekstensif pada kumpulan data yang beragam dan berbagai tugas. Namun, domain tertentu, seperti layanan kesehatan dan keuangan, mungkin memerlukan penyesuaian khusus untuk beradaptasi dengan data unik dan kasus penggunaan. Dengan menyesuaikan pelatihan mereka dengan domain khusus mereka, LLMs dapat meningkatkan kinerja mereka dan memberikan output yang lebih akurat untuk aplikasi yang ditargetkan.
Autopilot menawarkan kemampuan untuk menyempurnakan pilihan model teks generatif yang telah dilatih sebelumnya. Secara khusus, Autopilot mendukung **fine tuning berbasis instruksi** dari pilihan model bahasa besar () tujuan umum yang didukung oleh. LLMs JumpStart
**catatan**
Model pembuatan teks yang mendukung fine-tuning di Autopilot saat ini dapat diakses secara eksklusif di Wilayah yang didukung oleh Canvas. SageMaker Lihat dokumentasi SageMaker Canvas untuk [daftar lengkap Wilayah yang didukung](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html).
Penyetelan model yang telah dilatih sebelumnya memerlukan kumpulan data spesifik dari instruksi yang jelas yang memandu model tentang cara menghasilkan output atau berperilaku untuk tugas itu. Model belajar dari kumpulan data, menyesuaikan parameternya agar sesuai dengan instruksi yang diberikan. Penyetelan berbasis instruksi melibatkan penggunaan contoh berlabel yang diformat sebagai pasangan respons prompt dan diungkapkan sebagai instruksi. Untuk informasi selengkapnya tentang fine-tuning, lihat Menyempurnakan [model](https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-foundation-models-fine-tuning.html) foundation.
[Pedoman berikut menguraikan proses pembuatan pekerjaan Amazon SageMaker Autopilot sebagai percobaan percontohan untuk menyempurnakan pembuatan teks menggunakan Referensi API. LLMs SageMaker ](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html)
**catatan**
[Tugas seperti klasifikasi teks dan gambar, peramalan deret waktu, dan fine-tuning model bahasa besar tersedia secara eksklusif melalui API REST AutoML versi 2.](autopilot-reference.md) Jika bahasa pilihan Anda adalah Python, Anda dapat merujuk ke [AWS SDK untuk Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker/client/create_auto_ml_job_v2.html)atau [MLV2 objek Auto](https://sagemaker.readthedocs.io/en/stable/api/training/automlv2.html#sagemaker.automl.automlv2.AutoMLV2) dari Amazon SageMaker Python SDK secara langsung.
Pengguna yang lebih menyukai kenyamanan antarmuka pengguna dapat menggunakan [Amazon SageMaker Canvas](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas-getting-started.html) untuk mengakses model pra-terlatih dan model dasar AI generatif, atau membuat model khusus yang disesuaikan untuk teks tertentu, klasifikasi gambar, kebutuhan peramalan, atau AI generatif.
Untuk membuat eksperimen Autopilot secara terprogram untuk menyempurnakan LLM, Anda dapat memanggil API [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)dalam bahasa apa pun yang didukung oleh Amazon Autopilot atau. SageMaker AWS CLI
Untuk informasi tentang cara tindakan API ini diterjemahkan ke dalam fungsi dalam bahasa pilihan Anda, lihat bagian [Lihat Juga](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_SeeAlso) `CreateAutoMLJobV2` dan pilih SDK. Sebagai contoh, untuk pengguna Python, lihat sintaks permintaan lengkap dari in. `[create\$1auto\$1ml\$1job\$1v2](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_auto_ml_job_v2)` AWS SDK untuk Python (Boto3)
**catatan**
Autopilot menyempurnakan model bahasa besar tanpa memerlukan banyak kandidat untuk dilatih dan dievaluasi. Alih-alih, menggunakan kumpulan data Anda, Autopilot secara langsung menyempurnakan model target Anda untuk meningkatkan metrik objektif default, kehilangan lintas entropi. Model bahasa fine-tuning di Autopilot tidak memerlukan pengaturan bidang. `AutoMLJobObjective`
Setelah LLM Anda disetel dengan baik, Anda dapat mengevaluasi kinerjanya dengan mengakses berbagai ROUGE skor melalui `[BestCandidate](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateProperties.html#sagemaker-Type-CandidateProperties-CandidateMetrics)` saat melakukan panggilan API. `[DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)` Model ini juga memberikan informasi tentang pelatihan dan kehilangan validasi serta kebingungannya. Untuk daftar lengkap metrik untuk mengevaluasi kualitas teks yang dihasilkan oleh model yang disetel dengan baik, lihat. [Metrik untuk menyempurnakan model bahasa besar di Autopilot](autopilot-llms-finetuning-metrics.md)
## Prasyarat
Sebelum menggunakan Autopilot untuk membuat eksperimen fine-tuning di SageMaker AI, pastikan untuk mengambil langkah-langkah berikut:
+ (Opsional) Pilih model pra-terlatih yang ingin Anda sesuaikan.
Untuk daftar model pra-terlatih yang tersedia untuk fine-tuning di SageMaker Amazon Autopilot, lihat. [Model bahasa besar yang didukung untuk fine-tuning](autopilot-llms-finetuning-models.md) *Pemilihan model tidak wajib; jika tidak ada model yang ditentukan, Autopilot secara otomatis default ke model Falcon7. BInstruct*
+ Buat kumpulan data instruksi. Lihat [Jenis file dataset dan format data input](autopilot-llms-finetuning-data-format.md) untuk mempelajari tentang persyaratan format untuk kumpulan data berbasis instruksi Anda.
+ Tempatkan kumpulan data Anda di bucket Amazon S3.
+ Berikan akses penuh ke bucket Amazon S3 yang berisi data input Anda untuk peran eksekusi SageMaker AI yang digunakan untuk menjalankan eksperimen Anda.
+ Untuk informasi tentang mengambil peran eksekusi SageMaker AI Anda, lihat[Dapatkan peran eksekusi Anda](sagemaker-roles.md#sagemaker-roles-get-execution-role).
+ Untuk informasi tentang pemberian izin peran eksekusi SageMaker AI untuk mengakses satu atau beberapa bucket spesifik di Amazon S3, lihat Menambahkan Izin Amazon S3 Tambahan ke *Peran* Eksekusi AI di. SageMaker [Buat peran eksekusi](sagemaker-roles.md#sagemaker-roles-create-execution-role)
+ Selain itu, Anda harus memberi peran eksekusi izin yang diperlukan untuk mengakses bucket Amazon S3 penyimpanan default yang digunakan oleh. JumpStart Akses ini diperlukan untuk menyimpan dan mengambil artefak model pra-terlatih di. JumpStart Untuk memberikan akses ke bucket Amazon S3 ini, Anda harus membuat kebijakan kustom inline baru pada peran eksekusi Anda.
Berikut adalah contoh kebijakan yang dapat Anda gunakan di editor JSON Anda saat mengonfigurasi pekerjaan fine-tuning AutoML di: `us-west-2`
*JumpStartnama bucket mengikuti pola yang telah ditentukan yang bergantung pada. Wilayah AWS Anda harus menyesuaikan nama ember yang sesuai.*
```
{
"Sid": "Statement1",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:PutObject",
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::jumpstart-cache-prod-us-west-2",
"arn:aws:s3:::jumpstart-cache-prod-us-west-2/*"
]
}
```
Setelah ini selesai, Anda dapat menggunakan ARN dari peran eksekusi ini dalam permintaan API Autopilot.
## Parameter yang diperlukan
Saat menelepon `[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)` untuk membuat eksperimen Autopilot untuk fine-tuning LLM, Anda harus memberikan nilai berikut:
+ An `[AutoMLJobName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#API_CreateAutoMLJobV2_RequestSyntax)` untuk menentukan nama pekerjaan Anda. Nama harus bertipe`string`, dan harus memiliki panjang minimal 1 karakter dan panjang maksimum 32.
+ Setidaknya `[AutoMLJobChannel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)` salah satu `training` tipe di dalam`[AutoMLJobInputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)`. Saluran ini menentukan nama bucket Amazon S3 tempat dataset fine-tuning Anda berada. Anda memiliki opsi untuk menentukan `validation` saluran. Jika tidak ada saluran validasi yang disediakan, dan a `ValidationFraction` dikonfigurasi di [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html), fraksi ini digunakan untuk membagi kumpulan data pelatihan secara acak menjadi set pelatihan dan validasi. Selain itu, Anda dapat menentukan jenis konten (file CSV atau Parket) untuk kumpulan data.
+ `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`Jenis `[TextGenerationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html)` untuk mengonfigurasi pengaturan pekerjaan pelatihan Anda.
Secara khusus, Anda dapat menentukan nama model dasar untuk menyempurnakan bidang. `BaseModelName` Untuk daftar model pra-terlatih yang tersedia untuk fine-tuning di SageMaker Amazon Autopilot, lihat. [Model bahasa besar yang didukung untuk fine-tuning](autopilot-llms-finetuning-models.md)
+ `[OutputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)`Untuk menentukan jalur keluaran Amazon S3 untuk menyimpan artefak pekerjaan AutoML Anda.
+ A `[RoleArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html#sagemaker-CreateAutoMLJob-request-RoleArn)` untuk menentukan ARN dari peran yang digunakan untuk mengakses data Anda.
Berikut ini adalah contoh format permintaan lengkap yang digunakan saat membuat panggilan API `CreateAutoMLJobV2` untuk menyempurnakan model ()`Falcon7BInstruct`.
```
{
"AutoMLJobName": "",
"AutoMLJobInputDataConfig": [
{
"ChannelType": "training",
"CompressionType": "None",
"ContentType": "text/csv",
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3:///.csv"
}
}
}
],
"OutputDataConfig": {
"S3OutputPath": "s3:///output",
"KmsKeyId": "arn:aws:kms:::key/"
},
"RoleArn":"arn:aws:iam:::role/",
"AutoMLProblemTypeConfig": {
"TextGenerationJobConfig": {
"BaseModelName": "Falcon7BInstruct"
}
}
}
```
Semua parameter lainnya adalah opsional.
## Parameter opsional
Bagian berikut memberikan rincian beberapa parameter opsional yang dapat Anda berikan ke pekerjaan AutoML fine-tuning Anda.
### Cara menentukan kumpulan data pelatihan dan validasi pekerjaan AutoML
Anda dapat memberikan kumpulan data validasi dan rasio pemisahan data khusus Anda sendiri, atau membiarkan Autopilot membagi kumpulan data secara otomatis.
Setiap [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)objek (lihat parameter yang diperlukan [Auto MLJob InputDataConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLJobInputDataConfig)) memiliki`ChannelType`, yang dapat diatur ke salah satu `training` atau `validation` nilai yang menentukan bagaimana data akan digunakan saat membangun model pembelajaran mesin.
Setidaknya satu sumber data harus disediakan dan maksimal dua sumber data diperbolehkan: satu untuk data pelatihan dan satu untuk data validasi. Bagaimana Anda membagi data menjadi kumpulan data pelatihan dan validasi tergantung pada apakah Anda memiliki satu atau dua sumber data.
+ Jika Anda hanya memiliki **satu sumber data**, `ChannelType` diatur ke secara `training` default dan harus memiliki nilai ini.
+ Jika `ValidationFraction` nilai dalam tidak [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html)disetel, 0.2 (20%) data dari sumber ini digunakan untuk validasi secara default.
+ Jika `ValidationFraction` diatur ke nilai antara 0 dan 1, dataset dibagi berdasarkan nilai yang ditentukan, di mana nilai menentukan fraksi dari dataset yang digunakan untuk validasi.
+ Jika Anda memiliki **dua sumber data**, `ChannelType` salah satu `AutoMLJobChannel` objek harus diatur ke`training`, nilai default. Sumber data lainnya harus diatur ke`validation`. `ChannelType` Kedua sumber data harus memiliki format yang sama, baik CSV atau Parket, dan skema yang sama. Anda tidak boleh menetapkan nilai untuk `ValidationFraction` dalam kasus ini karena semua data dari setiap sumber digunakan untuk pelatihan atau validasi. Menyetel nilai ini menyebabkan kesalahan.
### Cara mengaktifkan penyebaran otomatis
Dengan Autopilot, Anda dapat secara otomatis menerapkan model fine-tuned Anda ke titik akhir. Untuk mengaktifkan penerapan otomatis untuk model yang disetel dengan baik, sertakan a dalam permintaan pekerjaan `[ModelDeployConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-ModelDeployConfig)` AutoML. Ini memungkinkan penerapan model yang disetel dengan baik ke titik akhir AI. SageMaker Di bawah ini adalah konfigurasi yang tersedia untuk kustomisasi.
+ Untuk membiarkan Autopilot menghasilkan nama titik akhir, setel ke. `[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)` `True`
+ Untuk memberikan nama Anda sendiri untuk titik akhir, atur`[AutoGenerateEndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents) to False and provide a name of your choice in [EndpointName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html#API_ModelDeployConfig_Contents)`.
### Cara mengatur penerimaan EULA saat menyempurnakan model menggunakan AutoML API
Untuk model yang memerlukan penerimaan perjanjian lisensi pengguna akhir sebelum fine-tuning, Anda dapat menerima EULA dengan menyetel `AcceptEula` atribut to in saat mengonfigurasi. `[ModelAccessConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelAccessConfig.html)` `True` `[TextGenerationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html)` `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`
### Cara mengatur hyperparameters untuk mengoptimalkan proses pembelajaran suatu model
Anda dapat mengoptimalkan proses pembelajaran model pembuatan teks Anda dengan menyetel nilai hyperparameter dalam `TextGenerationHyperParameters` atribut `[TextGenerationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html)` saat mengonfigurasi. `[AutoMLProblemTypeConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html#sagemaker-CreateAutoMLJobV2-request-AutoMLProblemTypeConfig)`
Autopilot memungkinkan pengaturan empat hiperparameter umum di semua model.
+ `epochCount`: Nilainya harus berupa string yang berisi nilai integer dalam kisaran `1` to`10`.
+ `batchSize`: Nilainya harus berupa string yang berisi nilai integer dalam kisaran `1` to`64`.
+ `learningRate`: Nilainya harus berupa string yang berisi nilai floating-point dalam kisaran to. `0` `1`
+ `learningRateWarmupSteps`: Nilainya harus berupa string yang berisi nilai integer dalam kisaran `0` to`250`.
Untuk detail lebih lanjut tentang setiap hyperparameter, lihat[Hyperparameters untuk mengoptimalkan proses pembelajaran model pembuatan teks Anda](autopilot-llms-finetuning-hyperparameters.md).
Contoh JSON berikut menunjukkan `TextGenerationHyperParameters` bidang yang diteruskan ke TextGenerationJobConfig tempat keempat hyperparameters dikonfigurasi.
```
"AutoMLProblemTypeConfig": {
"TextGenerationJobConfig": {
"BaseModelName": "Falcon7B",
"TextGenerationHyperParameters": {"epochCount":"5", "learningRate":"0.000001", "batchSize": "32", "learningRateWarmupSteps": "10"}
}
}
```
# Model bahasa besar yang didukung untuk fine-tuning
Menggunakan Autopilot API, pengguna dapat menyempurnakan model bahasa besar (LLMs) yang didukung oleh Amazon. SageMaker JumpStart
**catatan**
Untuk model fine-tuning yang memerlukan penerimaan perjanjian lisensi pengguna akhir, Anda harus secara eksplisit menyatakan penerimaan EULA saat membuat pekerjaan AutoML Anda. Perhatikan bahwa setelah menyempurnakan model yang telah dilatih sebelumnya, bobot model asli diubah, sehingga Anda tidak perlu menerima EULA nanti saat menerapkan model yang disetel dengan baik.
Untuk informasi tentang cara menerima EULA saat membuat pekerjaan fine-tuning menggunakan AutoML API, lihat. [Cara mengatur penerimaan EULA saat menyempurnakan model menggunakan AutoML API](autopilot-create-experiment-finetune-llms.md#autopilot-llms-finetuning-set-eula)
Anda dapat menemukan detail lengkap setiap model dengan mencari **ID JumpStart Model** Anda di [tabel model](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table) berikut, lalu mengikuti tautan di kolom **Sumber**. Detail ini mungkin termasuk bahasa yang didukung oleh model, bias yang mungkin ditunjukkannya, kumpulan data yang digunakan untuk fine-tuning, dan banyak lagi.
Tabel berikut mencantumkan JumpStart model yang didukung yang dapat Anda sesuaikan dengan pekerjaan AutoML.
| JumpStart ID Model | `BaseModelName`dalam permintaan API | Deskripsi |
| --- | --- | --- |
| huggingface-textgeneration-dolly-v2-3b-bf16 | Dolly3B | [Dolly 3B adalah 2,8 miliar parameter instruksi mengikuti model bahasa besar berdasarkan pythia-2.8b.](https://huggingface.co/EleutherAI/pythia-2.8b#pythia-28b) Ini dilatih pada dataset instruction/response fine tuning [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) dan dapat melakukan tugas-tugas termasuk brainstorming, klasifikasi, pertanyaan dan jawaban, pembuatan teks, ekstraksi informasi, dan peringkasan. |
| huggingface-textgeneration-dolly-v2-7b-bf16 | Dolly7B | [Dolly 7B adalah model bahasa besar mengikuti instruksi parameter 6,9 miliar berdasarkan pythia-6.9b.](https://huggingface.co/EleutherAI/pythia-6.9b) Ini dilatih pada dataset instruction/response fine tuning [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) dan dapat melakukan tugas-tugas termasuk brainstorming, klasifikasi, pertanyaan dan jawaban, pembuatan teks, ekstraksi informasi, dan peringkasan. |
| huggingface-textgeneration-dolly-v2-12b-bf16 | Dolly12B | [Dolly 12B adalah 12 miliar parameter instruksi mengikuti model bahasa besar berdasarkan pythia-12b.](https://huggingface.co/EleutherAI/pythia-12b) Ini dilatih pada dataset instruction/response fine tuning [databricks-dolly-15k](https://huggingface.co/datasets/databricks/databricks-dolly-15k) dan dapat melakukan tugas-tugas termasuk brainstorming, klasifikasi, pertanyaan dan jawaban, pembuatan teks, ekstraksi informasi, dan peringkasan. |
| huggingface-llm-falcon-7b-bf16 | Falcon7B | Falcon 7B adalah model bahasa besar kausal parameter 7 miliar yang dilatih pada 1.500 miliar token yang ditingkatkan dengan corpora yang dikuratori. Falcon-7B dilatih hanya pada data bahasa Inggris dan Prancis, dan tidak menggeneralisasi dengan tepat ke bahasa lain. Karena model ini dilatih pada sejumlah besar data web, ia membawa stereotip dan bias yang biasa ditemukan secara online. |
| huggingface-llm-falcon-7b-instruct-bf16 | Falcon7BInstruct | Falcon 7B Instruct adalah model bahasa besar kausal parameter 7 miliar yang dibangun di atas Falcon 7B dan disetel dengan baik pada campuran kumpulan data 250 juta token. chat/instruct Falcon 7B Instruct sebagian besar dilatih pada data bahasa Inggris, dan tidak menggeneralisasi dengan tepat ke bahasa lain. Selain itu, karena dilatih pada perwakilan korpora skala besar dari web, ia membawa stereotip dan bias yang biasa ditemui secara online. |
| huggingface-llm-falcon-40b-bf16 | Falcon40B | Falcon 40B adalah model bahasa besar kausal parameter 40 miliar yang dilatih pada 1.000 miliar token yang ditingkatkan dengan corpora yang dikuratori. Ini dilatih sebagian besar dalam bahasa Inggris, Jerman, Spanyol, dan Prancis, dengan kemampuan terbatas dalam bahasa Italia, Portugis, Polandia, Belanda, Rumania, Ceko, dan Swedia. Itu tidak menggeneralisasi dengan tepat ke bahasa lain. Selain itu, karena dilatih pada perwakilan korpora skala besar dari web, ia membawa stereotip dan bias yang biasa ditemui secara online. |
| huggingface-llm-falcon-40b-instruct-bf16 | Falcon40BInstruct | Falcon 40B Instruct adalah model bahasa besar kausal parameter 40 miliar yang dibangun di atas Falcon40B dan disetel dengan baik pada campuran Baize. Ini sebagian besar dilatih pada data bahasa Inggris dan Prancis, dan tidak menggeneralisasi dengan tepat ke bahasa lain. Selain itu, karena dilatih pada perwakilan korpora skala besar dari web, ia membawa stereotip dan bias yang biasa ditemui secara online. |
| huggingface-text2text-flan-t5-large | FlanT5L | Keluarga [https://huggingface.co/docs/transformers/model_doc/t5](https://huggingface.co/docs/transformers/model_doc/t5)model adalah seperangkat model bahasa besar yang disetel dengan baik pada banyak tugas dan dapat dilatih lebih lanjut. Model-model ini sangat cocok untuk tugas-tugas seperti terjemahan bahasa, pembuatan teks, penyelesaian kalimat, disambiguasi pengertian kata, ringkasan, atau menjawab pertanyaan. Flan T5 L adalah 780 juta parameter model bahasa besar yang dilatih pada berbagai bahasa. [Anda dapat menemukan daftar bahasa yang didukung oleh Flan T5 L dalam detail model yang diambil dari pencarian Anda berdasarkan ID model di JumpStart tabel model.](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table) |
| huggingface-text2text-flan-t5-xl | FlanT5XL | Keluarga [https://huggingface.co/docs/transformers/model_doc/t5](https://huggingface.co/docs/transformers/model_doc/t5)model adalah seperangkat model bahasa besar yang disetel dengan baik pada banyak tugas dan dapat dilatih lebih lanjut. Model-model ini sangat cocok untuk tugas-tugas seperti terjemahan bahasa, pembuatan teks, penyelesaian kalimat, disambiguasi pengertian kata, ringkasan, atau menjawab pertanyaan. Flan T5 XL adalah model bahasa besar 3 miliar parameter yang dilatih pada berbagai bahasa. [Anda dapat menemukan daftar bahasa yang didukung oleh Flan T5 XL dalam detail model yang diambil dari pencarian Anda berdasarkan ID model di JumpStart tabel model.](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table) |
| huggingface-text2text-flan-t5-xxll | FlanT5XXL | Keluarga [https://huggingface.co/docs/transformers/model_doc/t5](https://huggingface.co/docs/transformers/model_doc/t5)model adalah seperangkat model bahasa besar yang disetel dengan baik pada banyak tugas dan dapat dilatih lebih lanjut. Model-model ini sangat cocok untuk tugas-tugas seperti terjemahan bahasa, pembuatan teks, penyelesaian kalimat, disambiguasi pengertian kata, ringkasan, atau menjawab pertanyaan. Flan T5 XXL adalah model parameter 11 miliar. [Anda dapat menemukan daftar bahasa yang didukung oleh Flan T5 XXL dalam detail model yang diambil dari pencarian Anda berdasarkan ID model di JumpStart tabel model.](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table) |
| meta-textgeneration-llama-2-7b | Llama2-7B | Llama 2 adalah kumpulan model teks generatif yang telah dilatih dan disetel dengan baik, mulai dari 7 miliar hingga 70 miliar parameter. Llama2-7B adalah model parameter 7 miliar yang ditujukan untuk penggunaan bahasa Inggris dan dapat disesuaikan untuk berbagai tugas pembuatan bahasa alami. |
| meta-textgeneration-llama-2-7b-f | Llama2-7BChat | Llama 2 adalah kumpulan model teks generatif yang telah dilatih dan disetel dengan baik, mulai dari 7 miliar hingga 70 miliar parameter. Llama2-7B adalah model obrolan parameter 7 miliar yang dioptimalkan untuk kasus penggunaan dialog. |
| meta-textgeneration-llama-2-13b | Llama2-13B | Llama 2 adalah kumpulan model teks generatif yang telah dilatih dan disetel dengan baik, mulai dari 7 miliar hingga 70 miliar parameter. Llama2-13B adalah model parameter 13 miliar yang ditujukan untuk penggunaan bahasa Inggris dan dapat disesuaikan untuk berbagai tugas pembuatan bahasa alami. |
| meta-textgeneration-llama-2-13b-f | Llama2-13BChat | Llama 2 adalah kumpulan model teks generatif yang telah dilatih dan disetel dengan baik, mulai dari 7 miliar hingga 70 miliar parameter. Llama2-13B adalah model obrolan parameter 13 miliar yang dioptimalkan untuk kasus penggunaan dialog. |
| huggingface-llm-mistral-7b | Mistral7B | Mistral 7B adalah kode tujuh miliar parameter dan model pembuatan teks bahasa Inggris tujuan umum. Ini dapat digunakan dalam berbagai kasus penggunaan termasuk ringkasan teks, klasifikasi, penyelesaian teks, atau penyelesaian kode. |
| huggingface-llm-mistral-7b-instruct | Mistral7BInstruct | Mistral 7B Instruct adalah versi Mistral 7B yang disetel dengan baik untuk kasus penggunaan percakapan. Itu khusus menggunakan berbagai kumpulan data percakapan yang tersedia untuk umum dalam bahasa Inggris. |
| huggingface-textgeneration1-mpt-7b-bf16 | MPT7B | MPT 7B adalah model bahasa besar transformator gaya decoder dengan 6,7 miliar parameter, pra-dilatih dari awal pada 1 triliun token teks dan kode bahasa Inggris. Ini disiapkan untuk menangani panjang konteks yang panjang. |
| huggingface-textgeneration1-mpt-7b-instruct-bf16 | MPT7BInstruct | MPT 7B Instruct adalah model untuk instruksi bentuk pendek berikut tugas-tugas. [Ini dibangun dengan menyempurnakan MPT 7B pada kumpulan data yang berasal dari dataset yang berasal dari dataset [databricks-dolly-15k dan Anthropic Helpful and Harmware (HH-RLHF](https://huggingface.co/datasets/databricks/databricks-dolly-15k)).](https://huggingface.co/datasets/Anthropic/hh-rlhf) |
# Jenis file dataset dan format data input
Penyetelan berbasis instruksi menggunakan kumpulan data berlabel untuk meningkatkan kinerja tugas pemrosesan bahasa alami (NLP) yang telah dilatih sebelumnya LLMs . Contoh berlabel diformat sebagai pasangan prompt respons dan diungkapkan sebagai instruksi.
Untuk mempelajari jenis file kumpulan data yang didukung, lihat[Jenis file dataset yang didukung](#autopilot-llms-finetuning-dataset-format).
Untuk mempelajari tentang format data input, lihat[Format data input untuk fine-tuning berbasis instruksi](#autopilot-llms-finetuning-input-format).
## Jenis file dataset yang didukung
Autopilot mendukung kumpulan data fine-tuning berbasis instruksi yang diformat sebagai file CSV (default) atau sebagai file Parket.
+ **CSV** (nilai dipisahkan koma) adalah format file berbasis baris yang menyimpan data dalam teks biasa yang dapat dibaca manusia, yang merupakan pilihan populer untuk pertukaran data karena didukung oleh berbagai aplikasi.
+ **Parket** adalah format file biner berbasis kolom di mana data disimpan dan diproses lebih efisien daripada dalam format file yang dapat dibaca manusia seperti CSV. Ini menjadikannya pilihan yang lebih baik untuk masalah data besar.
**catatan**
Dataset dapat terdiri dari beberapa file, yang masing-masing harus mematuhi template tertentu. Untuk informasi tentang cara memformat data input Anda, lihat[Format data input untuk fine-tuning berbasis instruksi](#autopilot-llms-finetuning-input-format).
## Format data input untuk fine-tuning berbasis instruksi
Setiap file dalam kumpulan data harus mematuhi format berikut:
+ Dataset harus berisi tepat dua kolom yang dipisahkan koma dan diberi nama, dan. `input` `output` Autopilot tidak mengizinkan kolom tambahan.
+ `input`Kolom berisi petunjuk, dan yang sesuai `output` berisi jawaban yang diharapkan. Keduanya `input` dan `output` dalam format string.
Contoh berikut menggambarkan format data input untuk fine-tuning berbasis instruksi di Autopilot.
```
input,output
"",""
```
**catatan**
Kami merekomendasikan penggunaan kumpulan data dengan minimal 1000 baris untuk memastikan pembelajaran dan kinerja model yang optimal.
Selain itu, Autopilot menetapkan batas maksimum jumlah baris dalam kumpulan data dan panjang konteks berdasarkan jenis model yang digunakan.
+ Batas jumlah baris dalam kumpulan data berlaku untuk jumlah kumulatif baris di semua file dalam kumpulan data, termasuk beberapa file. Jika ada dua [jenis saluran](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html) yang ditentukan (satu untuk pelatihan dan satu untuk validasi), batas tersebut berlaku untuk jumlah total baris di semua kumpulan data dalam kedua saluran. Ketika jumlah baris melebihi ambang batas, pekerjaan gagal dengan kesalahan validasi.
+ Ketika panjang input atau output baris dalam kumpulan data melebihi batas yang ditetapkan pada konteks model bahasa, maka secara otomatis terpotong. Jika lebih dari 60% baris dalam kumpulan data terpotong, baik dalam input atau outputnya, Autopilot gagal dalam pekerjaan dengan kesalahan validasi.
Tabel berikut menyajikan batas-batas untuk setiap model.
| JumpStart ID Model | `BaseModelName`dalam permintaan API | Batas Baris | Batas Panjang Konteks |
| --- | --- | --- | --- |
| huggingface-textgeneration-dolly-v2-3b-bf16 | Dolly3B | 10.000 baris | 1024 token |
| huggingface-textgeneration-dolly-v2-7b-bf16 | Dolly7B | 10.000 baris | 1024 token |
| huggingface-textgeneration-dolly-v2-12b-bf16 | Dolly12B | 10.000 baris | 1024 token |
| huggingface-llm-falcon-7b-bf16 | Falcon7B | 1.000 baris | 1024 token |
| huggingface-llm-falcon-7b-instruct-bf16 | Falcon7BInstruct | 1.000 baris | 1024 token |
| huggingface-llm-falcon-40b-bf16 | Falcon40B | 10.000 baris | 1024 token |
| huggingface-llm-falcon-40b-instruct-bf16 | Falcon40BInstruct | 10.000 baris | 1024 token |
| huggingface-text2text-flan-t5-large | FlanT5L | 10.000 baris | 1024 token |
| huggingface-text2text-flan-t5-xl | FlanT5XL | 10.000 baris | 1024 token |
| huggingface-text2text-flan-t5-xxll | FlanT5XXL | 10.000 baris | 1024 token |
| meta-textgeneration-llama-2-7b | Llama2-7B | 10.000 baris | 2048 token |
| meta-textgeneration-llama-2-7b-f | Llama2-7BChat | 10.000 baris | 2048 token |
| meta-textgeneration-llama-2-13b | Llama2-13B | 7.000 baris | 2048 token |
| meta-textgeneration-llama-2-13b-f | Llama2-13BChat | 7.000 baris | 2048 token |
| huggingface-llm-mistral-7b | Mistral7B | 10.000 baris | 2048 token |
| huggingface-llm-mistral-7b-instruct | Mistral7BInstruct | 10.000 baris | 2048 token |
| huggingface-textgeneration1-mpt-7b-bf16 | MPT7B | 10.000 baris | 1024 token |
| huggingface-textgeneration1-mpt-7b-instruct-bf16 | MPT7BInstruct | 10.000 baris | 1024 token |
# Hyperparameters untuk mengoptimalkan proses pembelajaran model pembuatan teks Anda
Anda dapat mengoptimalkan proses pembelajaran model dasar Anda dengan menyesuaikan kombinasi apa pun dari hiperparameter berikut. Parameter ini tersedia untuk semua model.
+ **Hitungan Epoch**: `epochCount` Hyperparameter menentukan berapa kali model melewati seluruh kumpulan data pelatihan. Ini mempengaruhi durasi pelatihan dan dapat mencegah overfitting ketika diatur dengan tepat. Sejumlah besar epoch dapat meningkatkan runtime keseluruhan pekerjaan fine-tuning. Kami merekomendasikan pengaturan yang besar `MaxAutoMLJobRuntimeInSeconds` di dalam `CompletionCriteria` `[TextGenerationJobConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html)` untuk menghindari pekerjaan fine-tuning berhenti sebelum waktunya.
+ **Ukuran Batch**: `batchSize` Hyperparameter mendefinisikan jumlah sampel data yang digunakan dalam setiap iterasi pelatihan. Hal ini dapat mempengaruhi kecepatan konvergensi dan penggunaan memori. Dengan ukuran batch yang besar, risiko kesalahan out of memory (OOM) meningkat, yang mungkin muncul sebagai kesalahan server internal di Autopilot. Untuk memeriksa kesalahan tersebut, periksa grup `/aws/sagemaker/TrainingJobs` log untuk pekerjaan pelatihan yang diluncurkan oleh pekerjaan Autopilot Anda. Anda dapat mengakses log masuk tersebut CloudWatch dari konsol AWS manajemen. Pilih **Log**, lalu pilih **grup `/aws/sagemaker/TrainingJobs` log**. Untuk memperbaiki kesalahan OOM, kurangi ukuran batch.
Kami merekomendasikan memulai dengan ukuran batch 1, kemudian secara bertahap meningkatkannya sampai terjadi kesalahan di luar memori. Sebagai referensi, 10 epoch biasanya membutuhkan waktu hingga 72 jam untuk menyelesaikannya.
+ **Tingkat Pembelajaran**: `learningRate` Hyperparameter mengontrol ukuran langkah di mana parameter model diperbarui selama pelatihan. Ini menentukan seberapa cepat atau lambat parameter model diperbarui selama pelatihan. Tingkat pembelajaran yang tinggi berarti bahwa parameter diperbarui dengan ukuran langkah yang besar, yang dapat menyebabkan konvergensi lebih cepat tetapi juga dapat menyebabkan proses pengoptimalan melampaui solusi optimal dan menjadi tidak stabil. Tingkat pembelajaran yang rendah berarti bahwa parameter diperbarui dengan ukuran langkah kecil, yang dapat menyebabkan konvergensi yang lebih stabil tetapi dengan mengorbankan pembelajaran yang lebih lambat.
+ **Learning Rate Warmup Steps**: `learningRateWarmupSteps` Hyperparameter menentukan jumlah langkah pelatihan di mana tingkat pembelajaran meningkat secara bertahap sebelum mencapai target atau nilai maksimumnya. Ini membantu model bertemu lebih efektif dan menghindari masalah seperti divergensi atau konvergensi lambat yang dapat terjadi dengan tingkat pembelajaran yang awalnya tinggi.
Untuk mempelajari cara menyesuaikan hyperparameters untuk eksperimen fine-tuning Anda di Autopilot dan menemukan kemungkinan nilainya, lihat. [Cara mengatur hyperparameters untuk mengoptimalkan proses pembelajaran suatu model](autopilot-create-experiment-finetune-llms.md#autopilot-llms-finetuning-set-hyperparameters)
# Metrik untuk menyempurnakan model bahasa besar di Autopilot
Bagian berikut menjelaskan metrik yang dapat Anda gunakan untuk memahami model bahasa besar yang disetel dengan baik (). LLMs Dengan menggunakan kumpulan data Anda, Autopilot secara langsung menyempurnakan LLM target untuk meningkatkan metrik objektif default, kehilangan lintas entropi.
Kehilangan entropi silang adalah metrik yang banyak digunakan untuk menilai perbedaan antara distribusi probabilitas yang diprediksi dan distribusi kata yang sebenarnya dalam data pelatihan. Dengan meminimalkan kehilangan lintas entropi, model belajar untuk membuat prediksi yang lebih akurat dan relevan secara kontekstual, terutama dalam tugas-tugas yang berkaitan dengan pembuatan teks.
Setelah menyempurnakan LLM Anda dapat mengevaluasi kualitas teks yang dihasilkan menggunakan berbagai skor. ROUGE Selain itu, Anda dapat menganalisis kebingungan dan pelatihan lintas entropi dan kerugian validasi sebagai bagian dari proses evaluasi.
+ Kehilangan kebingungan mengukur seberapa baik model dapat memprediksi kata berikutnya dalam urutan teks, dengan nilai yang lebih rendah menunjukkan pemahaman yang lebih baik tentang bahasa dan konteks.
+ Recall-Oriented Understudy for Gisting Evaluation (ROUGE)adalah seperangkat metrik yang digunakan di bidang pemrosesan bahasa alami (NLP) dan pembelajaran mesin untuk mengevaluasi kualitas teks yang dihasilkan mesin, seperti ringkasan teks atau pembuatan teks. Ini terutama menilai kesamaan antara teks yang dihasilkan dan teks referensi kebenaran dasar (ditulis manusia) dari kumpulan data validasi. ROUGEukuran dirancang untuk menilai berbagai aspek kesamaan teks, termasuk presisi dan ingatan n-gram (urutan kata yang berdekatan) dalam teks yang dihasilkan sistem dan referensi. Tujuannya adalah untuk menilai seberapa baik model menangkap informasi yang ada dalam teks referensi.
Ada beberapa varian ROUGE metrik, tergantung pada jenis n-gram yang digunakan dan aspek spesifik dari kualitas teks yang dievaluasi.
Daftar berikut berisi nama dan deskripsi ROUGE metrik yang tersedia setelah penyempurnaan model bahasa besar di Autopilot.
**`ROUGE-1`, `ROUGE-2`**
ROUGE-N, ROUGE metrik primer, mengukur tumpang tindih n-gram antara teks yang dihasilkan sistem dan teks referensi. ROUGE-Ndapat disesuaikan dengan nilai yang berbeda dari `n` (di sini `1` atau`2`) untuk mengevaluasi seberapa baik teks yang dihasilkan sistem menangkap n-gram dari teks referensi.
**`ROUGE-L`**
ROUGE-L(ROUGE-LongestCommon Sequence) menghitung urutan umum terpanjang antara teks yang dihasilkan sistem dan teks referensi. Varian ini mempertimbangkan urutan kata selain konten tumpang tindih.
**`ROUGE-L-Sum`**
ROUGE-L-SUM(Urutan Umum Terpanjang untuk Ringkasan) dirancang untuk evaluasi sistem ringkasan teks. Ini berfokus pada pengukuran urutan umum terpanjang antara ringkasan yang dihasilkan mesin dan ringkasan referensi. ROUGE-L-SUMmemperhitungkan urutan kata dalam teks, yang penting dalam tugas ringkasan teks.
# Penyebaran dan prediksi model autopilot
Setelah menyempurnakan model bahasa besar (LLM), Anda dapat menerapkan model untuk pembuatan teks waktu nyata dengan menyiapkan titik akhir untuk mendapatkan prediksi interaktif.
**catatan**
Kami merekomendasikan menjalankan pekerjaan inferensi waktu nyata `ml.g5.12xlarge` untuk kinerja yang lebih baik. Atau, `ml.g5.8xlarge` instance cocok untuk tugas pembuatan teks Falcon-7B-Instruct dan MPT-7B-Instruct.
Anda dapat menemukan spesifikasi instans ini dalam kategori [Komputasi Akselerasi](https://aws.amazon.com/ec2/instance-types/) dalam pemilihan jenis instans yang disediakan oleh Amazon EC2.
## Pembuatan teks waktu nyata
Anda dapat menggunakan SageMaker APIs untuk menerapkan model fine-tuned Anda secara manual ke titik akhir [inferensi real-time Hosting SageMaker AI Hosting, lalu mulai membuat prediksi dengan memanggil titik akhir](https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints.html) sebagai berikut.
**catatan**
Atau, Anda dapat memilih opsi penerapan otomatis saat membuat eksperimen fine-tuning Anda di Autopilot. Untuk informasi tentang pengaturan penerapan otomatis model, lihat[Cara mengaktifkan penyebaran otomatis](autopilot-create-experiment-finetune-llms.md#autopilot-llms-finetuning-auto-model-deployment).
Anda juga dapat menggunakan SageMaker Python SDK dan `JumpStartModel` kelas untuk melakukan inferensi dengan model yang disetel dengan baik oleh Autopilot. Ini dapat dilakukan dengan menentukan lokasi khusus untuk artefak model di Amazon S3. Untuk informasi tentang mendefinisikan model Anda sebagai model dan menerapkan JumpStart model Anda untuk inferensi, lihat [Penerapan kode rendah](https://sagemaker.readthedocs.io/en/stable/overview.html#deploy-a-pre-trained-model-directly-to-a-sagemaker-endpoint) dengan kelas. JumpStartModel
1. **Dapatkan definisi wadah inferensi kandidat**
Anda dapat menemukan bagian `InferenceContainerDefinitions` dalam `BestCandidate` objek yang diambil dari respons terhadap panggilan API [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html#API_DescribeAutoMLJobV2_ResponseSyntax). Definisi kontainer untuk inferensi mengacu pada lingkungan kontainer yang dirancang untuk menerapkan dan menjalankan model terlatih Anda untuk membuat prediksi.
Contoh AWS CLI perintah berikut menggunakan [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) API untuk mendapatkan definisi kontainer yang direkomendasikan untuk nama pekerjaan Anda.
```
aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region
```
1. **Buat model SageMaker AI**
Gunakan definisi container dari langkah sebelumnya untuk membuat model SageMaker AI dengan menggunakan [CreateModel](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html)API. Lihat AWS CLI perintah berikut sebagai contoh. Gunakan `CandidateName` untuk nama model Anda.
```
aws sagemaker create-model --model-name '' \
--primary-container '' --region '
```
1. **Buat konfigurasi titik akhir**
Contoh AWS CLI perintah berikut menggunakan [CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API untuk membuat konfigurasi endpoint.
**catatan**
Untuk mencegah pembuatan titik akhir dari waktu kehabisan waktu karena unduhan model yang panjang, kami sarankan pengaturan `ModelDataDownloadTimeoutInSeconds = 3600` dan. `ContainerStartupHealthCheckTimeoutInSeconds = 3600`
```
aws sagemaker create-endpoint-config --endpoint-config-name '' \
--production-variants '' ModelDataDownloadTimeoutInSeconds=3600 ContainerStartupHealthCheckTimeoutInSeconds=3600 \
--region ''
```
1. **Buat titik akhir**
AWS CLI Contoh berikut menggunakan [CreateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpoint.html)API untuk membuat titik akhir.
```
aws sagemaker create-endpoint --endpoint-name '' \
--endpoint-config-name '' \
--region ''
```
Periksa kemajuan penerapan titik akhir Anda dengan menggunakan API. [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html) Lihat AWS CLI perintah berikut sebagai contoh.
```
aws sagemaker describe-endpoint —endpoint-name '' —region
```
Setelah `EndpointStatus` perubahan`InService`, titik akhir siap digunakan untuk inferensi waktu nyata.
1. **Memanggil titik akhir**
Perintah berikut memanggil titik akhir untuk inferensi real-time. Prompt Anda perlu dikodekan dalam byte.
**catatan**
Format prompt input Anda tergantung pada model bahasa. Untuk informasi selengkapnya tentang format prompt pembuatan teks, lihat[Format permintaan untuk model pembuatan teks inferensi waktu nyata](#autopilot-llms-finetuning-realtime-prompt-examples).
```
aws sagemaker invoke-endpoint --endpoint-name '' \
--region '' --body '' [--content-type] 'application/json'
```
## Format permintaan untuk model pembuatan teks inferensi waktu nyata
Model bahasa besar yang berbeda (LLMs) mungkin memiliki dependensi perangkat lunak tertentu, lingkungan runtime, dan persyaratan perangkat keras yang memengaruhi wadah yang direkomendasikan Autopilot untuk meng-host model untuk inferensi. Selain itu, setiap model menentukan format data input yang diperlukan dan format yang diharapkan untuk prediksi dan output.
Berikut adalah contoh input untuk beberapa model dan wadah yang direkomendasikan.
+ Untuk model Falcon dengan wadah `huggingface-pytorch-tgi-inference:2.0.1-tgi1.0.3-gpu-py39-cu118-ubuntu20.04` yang direkomendasikan:
```
payload = {
"inputs": "Large language model fine-tuning is defined as",
"parameters": {
"do_sample": false,
"top_p": 0.9,
"temperature": 0.1,
"max_new_tokens": 128,
"stop": ["<|endoftext|>", ""]
}
}
```
+ Untuk semua model lain dengan wadah yang direkomendasikan`djl-inference:0.22.1-fastertransformer5.3.0-cu118`:
```
payload= {
"text_inputs": "Large language model fine-tuning is defined as"
}
```
# Membuat eksperimen Autopilot Regresi atau Klasifikasi untuk data tabular menggunakan UI Studio Classic
**penting**
[Pada 30 November 2023, UI Autopilot bermigrasi ke Amazon [ SageMaker Canvas sebagai bagian dari pengalaman Amazon](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html) Studio yang diperbarui. SageMaker ](studio-updated.md) SageMaker Canvas memberikan analis dan ilmuwan data warga kemampuan tanpa kode untuk tugas-tugas seperti persiapan data, rekayasa fitur, pemilihan algoritme, pelatihan dan penyetelan, inferensi, dan banyak lagi. Pengguna dapat memanfaatkan visualisasi bawaan dan analisis bagaimana-jika untuk mengeksplorasi data mereka dan skenario yang berbeda, dengan prediksi otomatis yang memungkinkan mereka untuk dengan mudah memproduksi model mereka. Canvas mendukung berbagai kasus penggunaan, termasuk visi komputer, peramalan permintaan, pencarian cerdas, dan AI generatif.
Pengguna [Amazon SageMaker Studio Classic](studio.md), pengalaman [Studio](studio-updated.md) sebelumnya, dapat terus menggunakan Autopilot UI di Studio Classic. Pengguna dengan pengalaman pengkodean dapat terus menggunakan semua [referensi API](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-reference.html) di SDK apa pun yang didukung untuk implementasi teknis.
Jika Anda telah menggunakan Autopilot di Studio Classic sampai sekarang dan ingin bermigrasi ke SageMaker Canvas, Anda mungkin harus memberikan izin tambahan ke profil pengguna atau peran IAM Anda sehingga Anda dapat membuat dan menggunakan aplikasi Canvas. SageMaker Untuk informasi selengkapnya, lihat [(Opsional) Migrasi dari Autopilot di Studio Classic ke Canvas SageMaker](studio-updated-migrate-ui.md#studio-updated-migrate-autopilot).
[Semua instruksi terkait UI dalam panduan ini berkaitan dengan fitur mandiri Autopilot sebelum bermigrasi ke Amazon Canvas. SageMaker ](https://docs.aws.amazon.com/sagemaker/latest/dg/canvas.html) Pengguna yang mengikuti petunjuk ini harus menggunakan [Studio Classic](studio.md).
Anda dapat menggunakan Amazon SageMaker Studio Classic UI untuk membuat eksperimen Autopilot untuk masalah klasifikasi atau regresi pada data tabular. UI membantu Anda menentukan nama eksperimen, menyediakan lokasi untuk data input dan output, dan menentukan data target mana yang akan diprediksi. Secara opsional, Anda juga dapat menentukan jenis masalah yang ingin Anda selesaikan (regresi, klasifikasi, klasifikasi multiclass), pilih strategi pemodelan Anda (*ansambel bertumpuk* atau *optimasi hiperparameter*), pilih daftar algoritma yang digunakan oleh pekerjaan Autopilot untuk melatih data, dan banyak lagi.
UI memiliki deskripsi, sakelar sakelar, menu tarik-turun, tombol radio, dan lainnya untuk membantu Anda menavigasi pembuatan kandidat model Anda. Setelah eksperimen berjalan, Anda dapat membandingkan uji coba dan mempelajari detail langkah pra-pemrosesan, algoritme, dan rentang hiperparameter dari setiap model. [Secara opsional, Anda dapat mengunduh laporan [penjelasan](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-explainability.html) dan kinerjanya.](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-insights.html) Gunakan [buku catatan](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-notebook-output.html ) yang disediakan untuk melihat hasil eksplorasi data otomatis atau definisi model kandidat.
Atau, Anda dapat menggunakan Autopilot AutoML API di. [Membuat Pekerjaan Regresi atau Klasifikasi untuk Data Tabular Menggunakan AutoML API](autopilot-automate-model-development-create-experiment.md)
# Konfigurasikan parameter default eksperimen Autopilot (untuk administrator)
Autopilot mendukung pengaturan nilai default untuk menyederhanakan konfigurasi Amazon SageMaker Autopilot saat Anda membuat eksperimen Autopilot menggunakan UI Studio Classic. [Administrator dapat menggunakan [konfigurasi siklus hidup](studio-lcc.md) Studio Classic (LCC) untuk mengatur infrastruktur, jaringan, dan nilai keamanan dalam file konfigurasi dan mengisi pengaturan lanjutan pekerjaan.](autopilot-automate-model-development-create-experiment-ui.md#advanced-settings) `AutoML`
Dengan demikian, mereka dapat sepenuhnya mengontrol konektivitas jaringan dan izin akses untuk sumber daya yang terkait dengan Amazon SageMaker Studio Classic, termasuk instance SageMaker AI, sumber data, data keluaran, dan layanan terkait lainnya. Secara khusus, administrator dapat mengonfigurasi arsitektur jaringan yang diinginkan, seperti Amazon VPC, subnet, dan grup keamanan, untuk domain Studio Classic atau profil pengguna individu. Ilmuwan data dapat fokus pada parameter spesifik ilmu data saat membuat eksperimen Autopilot mereka menggunakan UI Studio Classic. Selanjutnya, administrator dapat mengelola enkripsi data pada instance di mana eksperimen Autopilot dijalankan dengan menetapkan kunci enkripsi default.
**catatan**
Fitur ini saat ini tidak tersedia di Wilayah keikutsertaan Asia Pasifik (Hong Kong) dan Timur Tengah (Bahrain).
Di bagian berikut, Anda dapat menemukan daftar lengkap parameter yang mendukung pengaturan default saat membuat eksperimen Autopilot menggunakan UI Studio Classic, dan mempelajari cara mengatur nilai default tersebut.
**Topics**
+ [Daftar parameter default yang didukung](#autopilot-list-default-parameters-create-experiment)
+ [Tetapkan parameter eksperimen Autopilot default](#autopilot-set-default-parameters-create-experiment-howto)
## Daftar parameter default yang didukung
Parameter berikut mendukung pengaturan nilai default dengan file konfigurasi untuk membuat eksperimen Autopilot menggunakan UI Studio Classic. Setelah disetel, nilai secara otomatis mengisi bidang yang sesuai di tab **Create Experiment** Autopilot di UI Studio Classic. Lihat [Pengaturan lanjutan (opsional)](autopilot-automate-model-development-create-experiment-ui.md#advanced-settings) untuk deskripsi lengkap dari setiap bidang.
+ **Keamanan:** Amazon VPC, subnet, dan grup keamanan.
+ **Akses: Peran** AWS ARNs IAM.
+ **Enkripsi:** AWS KMS kunci IDs.
+ **Tag:** Pasangan nilai kunci yang digunakan untuk memberi label dan mengatur sumber daya SageMaker AI.
## Tetapkan parameter eksperimen Autopilot default
Administrator dapat menetapkan nilai default dalam file konfigurasi, lalu menempatkan file secara manual di lokasi yang direkomendasikan dalam lingkungan Studio Classic pengguna tertentu, atau mereka dapat meneruskan file ke skrip konfigurasi siklus hidup (LCC) untuk mengotomatiskan penyesuaian lingkungan Studio Classic untuk domain atau profil pengguna tertentu.
+ Untuk mengatur file konfigurasi, mulailah dengan mengisi parameter defaultnya.
Untuk mengkonfigurasi salah satu atau semua nilai default yang tercantum dalam[Daftar parameter default yang didukung](#autopilot-list-default-parameters-create-experiment), administrator dapat membuat file konfigurasi bernama`config.yaml`, struktur yang harus mematuhi [file konfigurasi sampel](https://sagemaker.readthedocs.io/en/stable/overview.html#configuration-file-structure) ini. Cuplikan berikut menunjukkan contoh file konfigurasi dengan semua parameter yang didukung`AutoML`. Untuk informasi lebih lanjut tentang format file ini, lihat [skema lengkap](https://github.com/aws/sagemaker-python-sdk/blob/master/src/sagemaker/config/config_schema.py).
```
SchemaVersion: '1.0'
SageMaker:
AutoMLJob:
# https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html
AutoMLJobConfig:
SecurityConfig:
EnableInterContainerTrafficEncryption: true
VolumeKmsKeyId: 'kms-key-id'
VpcConfig:
SecurityGroupIds:
- 'security-group-id-1'
- 'security-group-id-2'
Subnets:
- 'subnet-1'
- 'subnet-2'
OutputDataConfig:
KmsKeyId: 'kms-key-id'
RoleArn: 'arn:aws:iam::111222333444:role/Admin'
Tags:
- Key: 'tag_key'
Value: 'tag_value'
```
+ Kemudian, tempatkan file konfigurasi di lokasi yang direkomendasikan dengan [menyalin file secara manual](#autopilot-intelligent-defaults-manual-setup) ke jalur yang direkomendasikan atau menggunakan [konfigurasi siklus hidup (LCC](#autopilot-intelligent-defaults-lcc-setup)).
File konfigurasi harus ada di setidaknya satu dari lokasi berikut di lingkungan Studio Classic pengguna. Secara default, SageMaker AI mencari file konfigurasi di dua lokasi:
+ Pertama, di`/etc/xdg/sagemaker/config.yaml`. Kami menyebut file ini sebagai *file konfigurasi administrator*.
+ Kemudian, di`/root/.config/sagemaker/config.yaml`. Kami menyebut file ini sebagai *file konfigurasi pengguna*.
Menggunakan file konfigurasi *administrator*, administrator dapat menentukan satu set nilai default. Secara opsional, mereka dapat menggunakan file konfigurasi *pengguna* untuk mengganti nilai yang ditetapkan dalam file konfigurasi *administrator*, atau menetapkan nilai parameter default tambahan.
Cuplikan berikut menunjukkan skrip contoh yang menulis file konfigurasi parameter default ke lokasi *administrator* di lingkungan Studio Classic pengguna. Anda dapat mengganti `/etc/xdg/sagemaker` dengan `/root/.config/sagemaker` untuk menulis file ke lokasi *pengguna*.
```
## Sample script with AutoML intelligent defaults
#!/bin/bash
sudo mkdir -p /etc/xdg/sagemaker
echo "SchemaVersion: '1.0'
CustomParameters:
AnyStringKey: 'AnyStringValue'
SageMaker:
AutoMLJob:
# https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html
AutoMLJobConfig:
SecurityConfig:
EnableInterContainerTrafficEncryption: true
VolumeKmsKeyId: 'kms-key-id'
VpcConfig:
SecurityGroupIds:
- 'security-group-id-1'
- 'security-group-id-2'
Subnets:
- 'subnet-1'
- 'subnet-2'
OutputDataConfig:
KmsKeyId: 'kms-key-id'
RoleArn: 'arn:aws:iam::111222333444:role/Admin'
Tags:
- Key: 'tag_key'
Value: 'tag_value'
" | sudo tee /etc/xdg/sagemaker/config.yaml
```
+ **Salin file secara manual** — Untuk menyalin file konfigurasi secara manual, jalankan [skrip](#autopilot-intelligent-defaults-manual-setup) yang dibuat pada langkah sebelumnya dari terminal Studio Classic. Dalam hal ini, profil pengguna yang mengeksekusi skrip dapat membuat eksperimen Autopilot dengan nilai default yang hanya berlaku untuk mereka.
+ **Buat konfigurasi siklus hidup SageMaker AI — Atau, Anda dapat menggunakan konfigurasi** [siklus hidup](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc.html) (LCC) untuk mengotomatiskan penyesuaian lingkungan Studio Classic Anda. LCC adalah skrip shell yang dipicu oleh peristiwa siklus hidup Amazon SageMaker Studio Classic seperti memulai aplikasi Studio Classic. Kustomisasi ini termasuk menginstal paket khusus, mengonfigurasi ekstensi notebook, pra-pemuatan kumpulan data, menyiapkan repositori kode sumber, atau, dalam kasus kami, pra-mengisi parameter default. Administrator dapat melampirkan LCC ke domain Studio Classic untuk mengotomatiskan konfigurasi nilai default untuk setiap profil pengguna dalam domain tersebut.
Bagian berikut merinci cara membuat konfigurasi siklus hidup sehingga pengguna dapat memuat parameter default Autopilot secara otomatis saat meluncurkan Studio Classic. Anda dapat memilih untuk membuat LCC menggunakan Konsol SageMaker AI atau. AWS CLI
------
#### [ Create a LCC from the SageMaker AI Console ]
Gunakan langkah-langkah berikut untuk membuat LCC yang berisi parameter default Anda, lampirkan LCC ke domain atau profil pengguna, lalu luncurkan aplikasi Studio Classic yang telah diisi sebelumnya dengan parameter default yang ditetapkan oleh LCC menggunakan Konsol AI. SageMaker
+ **Untuk membuat konfigurasi siklus hidup yang menjalankan [skrip](#autopilot-intelligent-defaults-script) yang berisi nilai default Anda menggunakan Konsol AI SageMaker **
+ Buka konsol SageMaker AI di[https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
+ Di sisi kiri, arahkan ke **konfigurasi Admin, lalu konfigurasi** **Siklus Hidup**.
+ **Dari halaman **Konfigurasi Siklus Hidup**, navigasikan ke tab Studio Classic, lalu pilih Buat konfigurasi.**
+ Untuk **Nama**, ketikkan nama menggunakan karakter alfanumerik dan “-”, tetapi tidak ada spasi. Nama dapat memiliki maksimal 63 karakter.
+ Tempel [skrip](#autopilot-intelligent-defaults-script) Anda di bagian **Skrip**.
+ Pilih **Buat konfigurasi** untuk membuat konfigurasi siklus hidup. Ini menciptakan tipe `Kernel gateway app` LCC.
+ **Untuk melampirkan konfigurasi siklus hidup ke domain Studio Classic, spasi, atau profil pengguna**
Ikuti langkah-langkah di [Lampirkan konfigurasi siklus hidup ke domain Studio Classic atau profil pengguna](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc-create-console.html#studio-lcc-create-console-step2) untuk melampirkan LCC Anda ke domain Studio Classic atau profil pengguna tertentu.
+ **Untuk meluncurkan aplikasi Studio Classic Anda dengan konfigurasi siklus hidup**
Setelah LCC dilampirkan ke domain atau profil pengguna, pengguna yang terkena dampak dapat memulai aplikasi Studio Classic dari halaman landing Studio Classic di Studio untuk mengambil default yang ditetapkan oleh LCC secara otomatis. Ini secara otomatis mengisi UI Studio Classic saat membuat eksperimen Autopilot.
------
#### [ Create a LCC from the AWS CLI ]
Gunakan cuplikan berikut untuk meluncurkan aplikasi Studio Classic yang menjalankan [skrip](#autopilot-intelligent-defaults-manual-setup) Anda menggunakan. AWS CLI Perhatikan bahwa `lifecycle_config.sh` adalah nama yang diberikan untuk skrip Anda dalam contoh ini.
Sebelum memulai:
+ Pastikan Anda telah memperbarui dan mengonfigurasi AWS CLI dengan menyelesaikan prasyarat yang dijelaskan dalam [Membuat konfigurasi siklus hidup dari](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc-create-cli.html) konfigurasi. AWS CLI
+ Instal dokumentasi [OpenSSL](https://www.openssl.org/source/). AWS CLI Perintah ini menggunakan pustaka open source *OpenSSL* untuk menyandikan skrip Anda dalam format Base64. Persyaratan ini mencegah kesalahan yang terjadi dari spasi dan pengkodean jeda baris.
Anda sekarang dapat mengikuti tiga langkah ini:
+ **Buat konfigurasi siklus hidup baru yang mereferensikan skrip konfigurasi `lifecycle_config.sh`**
```
LCC_CONTENT=`openssl base64 -A -in lifecycle_config.sh`
## Create a new lifecycle config
aws sagemaker create-studio-lifecycle-config --region region \
--studio-lifecycle-config-name lcc-name \
--studio-lifecycle-config-content $LCC_CONTENT \
--studio-lifecycle-config-app-type default
```
Perhatikan ARN dari konfigurasi siklus hidup yang baru dibuat yang dikembalikan. ARN ini diperlukan untuk melampirkan konfigurasi siklus hidup ke aplikasi Anda.
+ **Lampirkan konfigurasi siklus hidup ke `JupyterServerApp`**
Contoh berikut menunjukkan cara membuat profil pengguna baru dengan konfigurasi siklus hidup terlampir. Untuk memperbarui profil pengguna yang ada, gunakan AWS CLI [update-user-profile](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/sagemaker/update-user-profile.html)perintah. [Untuk membuat atau memperbarui domain, lihat [create-domain dan update-domain](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/sagemaker/create-domain.html).](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/sagemaker/update-domain.html) Tambahkan ARN konfigurasi siklus hidup dari langkah sebelumnya ke pengaturan jenis aplikasi. `JupyterServerAppSettings` Anda dapat menambahkan beberapa konfigurasi siklus hidup secara bersamaan dengan menggunakan daftar konfigurasi siklus hidup.
```
# Create a new UserProfile
aws sagemaker create-user-profile --domain-id domain-id \
--user-profile-name user-profile-name \
--region region \
--user-settings '{
"JupyterServerAppSettings": {
"LifecycleConfigArns":
["lifecycle-configuration-arn"]
}
}'
```
Setelah LCC dilampirkan ke domain atau profil pengguna, pengguna yang terkena dampak dapat mematikan dan memperbarui aplikasi Studio Classic yang ada dengan mengikuti langkah-langkah di [Matikan dan Perbarui Amazon SageMaker Studio Classic](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-tasks-update-studio.html), atau memulai aplikasi Studio Classic baru dari AWS Konsol untuk mengambil default yang ditetapkan oleh LCC secara otomatis. Ini secara otomatis mengisi UI Studio Classic saat membuat eksperimen Autopilot. Atau, mereka dapat meluncurkan aplikasi Studio Classic baru menggunakan AWS CLI sebagai berikut.
+ **Luncurkan aplikasi Studio Classic Anda dengan konfigurasi siklus hidup menggunakan AWS CLI**
```
# Create a Jupyter Server application
aws sagemaker create-app --domain-id domain-id \
--user-profile-name user-profile-name \
--region region \
--app-type JupyterServer \
--resource-spec LifecycleConfigArn=lifecycle-configuration-arn \
--app-name default
```
Untuk informasi selengkapnya tentang membuat konfigurasi siklus hidup menggunakan AWS CLI, lihat [Membuat Konfigurasi Siklus Hidup](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc-create-cli.html) dari konfigurasi. AWS CLI
------
**Untuk membuat eksperimen Autopilot menggunakan Studio Classic UI**
1. Masuk di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/), pilih **Studio** dari panel navigasi kiri, pilih Domain dan profil pengguna Anda, lalu **Buka Studio**.
1. Di Studio, pilih ikon Studio Classic di panel navigasi kiri atas. Ini membuka aplikasi Studio Classic.
1. Jalankan atau buka aplikasi Studio Classic dari ruang pilihan Anda, atau **Buat ruang Studio Classic.** . Pada tab **Beranda**, pilih kartu **AutoML**. Ini membuka tab **AutoML** baru.
1. Pilih **Buat eksperimen AutoML**. Ini membuka tab **Buat eksperimen** baru.
1. Di bagian **Eksperimen dan detail data**, masukkan informasi berikut:
1. **Nama percobaan** — Harus unik untuk akun Anda saat ini Wilayah AWS dan berisi maksimal 63 karakter alfanumerik. Dapat menyertakan tanda hubung (-) tetapi bukan spasi.
1. **Input data** — Menyediakan lokasi bucket Amazon Simple Storage Service (Amazon S3) untuk data masukan Anda. Bucket S3 ini harus ada di ember Anda saat ini Wilayah AWS. URL harus dalam `s3://` format di mana Amazon SageMaker AI memiliki izin menulis. File harus dalam format CSV atau Parket dan berisi setidaknya 500 baris. Pilih **Jelajahi** untuk menggulir jalur yang tersedia dan **Pratinjau** untuk melihat sampel data masukan Anda.
1. **Apakah input S3 Anda file manifes?** — File manifes menyertakan metadata dengan data masukan Anda. Metadata menentukan lokasi data Anda di Amazon S3. Ini juga menentukan bagaimana data diformat dan atribut mana dari kumpulan data yang akan digunakan saat melatih model Anda. Anda dapat menggunakan file manifes sebagai alternatif untuk pra-pemrosesan saat data berlabel sedang dialirkan dalam mode. `Pipe`
1. **Pisahkan data secara otomatis?** Autopilot dapat membagi data Anda menjadi 80-20% untuk data pelatihan dan validasi. Jika Anda lebih suka pemisahan khusus, Anda dapat memilih **Tentukan rasio pemisahan**. Untuk menggunakan kumpulan data kustom untuk validasi, pilih **Menyediakan kumpulan validasi**.
1. **Lokasi data keluaran (bucket S3)** - Nama lokasi bucket S3 tempat Anda ingin menyimpan data keluaran. URL untuk bucket ini harus dalam format Amazon S3 di mana Amazon SageMaker AI memiliki izin menulis. Bucket S3 harus dalam arus Wilayah AWS. Autopilot juga dapat membuat ini untuk Anda di lokasi yang sama dengan data input Anda.
1. Pilih **Berikutnya: Target dan fitur**. Tab **Target dan fitur** terbuka.
1. Di bagian **Target dan fitur**:
+ Pilih kolom untuk ditetapkan sebagai target untuk prediksi model.
+ Secara opsional, Anda dapat meneruskan nama kolom bobot sampel di bagian **Bobot sampel** untuk meminta baris kumpulan data Anda diberi bobot selama pelatihan dan evaluasi. Untuk informasi selengkapnya tentang metrik objektif yang tersedia, lihat[Metrik tertimbang autopilot](autopilot-metrics-validation.md#autopilot-weighted-metrics).
**catatan**
Support untuk bobot sampel hanya tersedia dalam mode [ensembling](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html#autopilot-training-mode).
+ Anda juga dapat memilih fitur untuk pelatihan dan mengubah tipe datanya. Tipe data berikut tersedia:`Text`,`Numerical`,`Categorical`,`Datetime`,`Sequence`, dan`Auto`. Semua fitur dipilih secara default.
1. Pilih **Berikutnya: Metode pelatihan**. Tab **Metode pelatihan** terbuka.
1. Di bagian **Metode pelatihan**, pilih opsi pelatihan Anda: **Ensembling**, **Hyperparameter optimization (HPO)**, atau **Auto** untuk membiarkan Autopilot memilih metode pelatihan secara otomatis berdasarkan ukuran dataset. Setiap mode pelatihan menjalankan serangkaian algoritme yang telah ditentukan sebelumnya pada kumpulan data Anda untuk melatih kandidat model. Secara default, Autopilot pra-memilih semua algoritma yang tersedia untuk mode pelatihan yang diberikan. Anda dapat menjalankan eksperimen pelatihan Autopilot dengan semua algoritme atau memilih subset Anda sendiri.
[Untuk informasi lebih lanjut tentang mode pelatihan dan algoritme yang tersedia, lihat bagian **Mode pelatihan Autopilot di halaman Mode pelatihan** dan algoritme.](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html)
1. Pilih **Berikutnya: Deployment dan pengaturan lanjutan** untuk membuka tab **Deployment dan advanced settings**. Pengaturan mencakup nama titik akhir tampilan otomatis, jenis masalah pembelajaran mesin, dan pilihan tambahan untuk menjalankan eksperimen Anda.
1. **Pengaturan penyebaran** — Autopilot dapat secara otomatis membuat titik akhir dan menerapkan model Anda untuk Anda.
****Untuk menerapkan otomatis ke titik akhir yang dibuat secara otomatis, atau untuk memberikan nama titik akhir untuk penerapan khusus, setel sakelar ke Ya di bawah Penerapan otomatis?**** Jika Anda mengimpor data dari Amazon SageMaker Data Wrangler, Anda memiliki opsi tambahan untuk menerapkan model terbaik secara otomatis dengan atau tanpa transformasi dari Data Wrangler.
**catatan**
Jika alur Data Wrangler berisi operasi multi-baris seperti`groupby`,, atau `join``concatenate`, Anda tidak dapat menerapkan otomatis dengan transformasi ini. Untuk informasi selengkapnya, lihat [Melatih Model Secara Otomatis pada Alur Data Anda](https://docs.aws.amazon.com/sagemaker/latest/dg/data-wrangler-autopilot.html).
1. **Pengaturan lanjutan (opsional)** - Autopilot menyediakan kontrol tambahan untuk mengatur parameter eksperimental secara manual seperti menentukan jenis masalah Anda, batasan waktu pada pekerjaan dan uji coba Autopilot Anda, keamanan, dan pengaturan enkripsi.
**catatan**
Autopilot mendukung pengaturan nilai default untuk menyederhanakan konfigurasi eksperimen Autopilot menggunakan Studio Classic UI. *Administrator dapat menggunakan [konfigurasi siklus hidup](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-lcc.html) Studio Classic (LCC) untuk mengatur infrastruktur, jaringan, dan nilai keamanan dalam file konfigurasi dan mengisi pengaturan lanjutan pekerjaan.* `AutoML`
Untuk mempelajari tentang bagaimana administrator dapat mengotomatiskan kustomisasi eksperimen Autopilot, lihat. [Konfigurasikan parameter default eksperimen Autopilot (untuk administrator)](autopilot-set-default-parameters-create-experiment.md)
1. **Jenis masalah pembelajaran mesin** — Autopilot dapat secara otomatis menyimpulkan jenis masalah pembelajaran yang diawasi dari kumpulan data Anda. Jika Anda lebih suka memilihnya secara manual, Anda dapat menggunakan menu tarik-turun **Pilih jenis masalah pembelajaran mesin**. **Perhatikan bahwa defaultnya ke Auto.** Dalam beberapa kasus, SageMaker AI tidak dapat menyimpulkan secara akurat. Ketika itu terjadi, Anda harus memberikan nilai agar pekerjaan berhasil. Secara khusus, Anda dapat memilih dari jenis berikut:
+ **Klasifikasi biner** — Klasifikasi biner memberikan data input ke salah satu dari dua kelas yang telah ditentukan dan saling eksklusif, berdasarkan atributnya, seperti diagnosis medis berdasarkan hasil tes diagnostik yang menentukan apakah seseorang memiliki penyakit.
+ **Regresi** menetapkan hubungan antara variabel input (juga dikenal sebagai variabel independen atau fitur) dan variabel target (juga dikenal sebagai variabel dependen). Hubungan ini ditangkap melalui fungsi matematika atau model yang memetakan variabel input ke output kontinu. Ini biasanya digunakan untuk tugas-tugas seperti memprediksi harga rumah berdasarkan fitur seperti luas persegi dan jumlah kamar mandi, tren pasar saham, atau memperkirakan angka penjualan.
+ **Klasifikasi multiclass — Klasifikasi** multiclass memberikan data input ke salah satu dari beberapa kelas berdasarkan atributnya, seperti prediksi topik yang paling relevan dengan dokumen teks, seperti politik, keuangan, atau filsafat.
1. **Runtime** — Anda dapat menentukan batas waktu maksimum. Setelah mencapai batas waktu, uji coba dan pekerjaan yang melebihi batasan waktu secara otomatis berhenti.
1. **Akses** - Anda dapat memilih peran yang diasumsikan Amazon SageMaker Studio Classic untuk mendapatkan akses sementara Layanan AWS (khususnya, SageMaker AI dan Amazon S3) atas nama Anda. Jika tidak ada peran yang didefinisikan secara eksplisit, Studio Classic secara otomatis menggunakan peran eksekusi SageMaker AI default yang dilampirkan ke profil pengguna Anda.
1. **Enkripsi** — Untuk meningkatkan keamanan data Anda saat istirahat dan melindunginya dari akses yang tidak sah, Anda dapat menentukan kunci enkripsi untuk mengenkripsi data di bucket Amazon S3 dan di volume Amazon Elastic Block Store (Amazon EBS) yang dilampirkan ke domain Studio Classic Anda.
1. **Keamanan** — Anda dapat memilih cloud pribadi virtual (Amazon VPC) tempat pekerjaan SageMaker AI Anda berjalan. Pastikan Amazon VPC memiliki akses ke bucket Amazon S3 input dan output Anda.
1. **Proyek** — Tentukan nama proyek SageMaker AI untuk dikaitkan dengan eksperimen Autopilot dan keluaran model ini. Saat Anda menentukan proyek, Autopilot menandai proyek tersebut ke eksperimen. Ini memungkinkan Anda mengetahui keluaran model mana yang terkait dengan proyek ini.
1. **Tag** — Tag adalah array pasangan kunci-nilai. Gunakan tag untuk mengkategorikan sumber daya Anda Layanan AWS, seperti tujuan, pemilik, atau lingkungannya.
1. Pilih **Berikutnya: Tinjau dan buat** untuk mendapatkan ringkasan eksperimen Autopilot Anda sebelum Anda membuatnya.
1. Pilih **Buat eksperimen.Pembuatan** eksperimen memulai pekerjaan Autopilot di AI. SageMaker Autopilot memberikan status eksperimen, informasi tentang proses eksplorasi data dan kandidat model di notebook, daftar model yang dihasilkan dan laporannya, dan profil pekerjaan yang digunakan untuk membuatnya.
Untuk informasi tentang buku catatan yang dihasilkan oleh pekerjaan Autopilot, lihat. [Notebook autopilot dihasilkan untuk mengelola tugas AutoML](autopilot-automate-model-development-notebook-output.md) Untuk informasi tentang detail masing-masing kandidat model dan laporannya, lihat [Lihat detail model](autopilot-models-details.md) dan[Lihat laporan kinerja model Autopilot](autopilot-model-insights.md).
**catatan**
Untuk menghindari biaya yang tidak perlu: Jika Anda menerapkan model yang tidak lagi diperlukan, hapus titik akhir dan sumber daya yang dibuat selama penerapan tersebut. Informasi tentang instans harga menurut Wilayah tersedia di [Amazon SageMaker Pricing](https://aws.amazon.com/sagemaker/pricing/).
# Notebook SageMaker contoh Amazon Autopilot
Notebook berikut berfungsi sebagai contoh praktis dan langsung yang membahas berbagai kasus penggunaan Autopilot.
Anda dapat menemukan semua notebook Autopilot di [https://github.com/aws/amazon-sagemaker-examples/tree/main/autopilot](https://github.com/aws/amazon-sagemaker-examples/tree/main/autopilot)direktori repositori contoh AI. SageMaker GitHub
Kami merekomendasikan kloning repositori Git lengkap dalam Studio Classic untuk mengakses dan menjalankan notebook secara langsung. Untuk informasi tentang cara mengkloning repositori Git di Studio Classic, lihat. [Mengkloning Repositori Git di Amazon Studio Classic SageMaker](studio-tasks-git.md)
| **Kasus penggunaan** | **Deskripsi** |
| --- | --- |
| [Inferensi tanpa server](https://github.com/aws/amazon-sagemaker-examples/tree/main/autopilot/autopilot-serverless-inference) | Secara default, Autopilot memungkinkan penerapan model yang dihasilkan ke titik akhir inferensi waktu nyata. Dalam repositori ini, notebook mengilustrasikan cara menerapkan model Autopilot yang dilatih dan mode ke titik akhir tanpa server. `ENSEMBLING` `HYPERPARAMETER OPTIMIZATION (HPO)` Titik akhir tanpa server secara otomatis meluncurkan sumber daya komputasi dan menskalakannya masuk dan keluar tergantung pada lalu lintas, sehingga tidak perlu memilih jenis instance atau mengelola kebijakan penskalaan. |
| [Pemilihan fitur kustom](https://github.com/aws/amazon-sagemaker-examples/tree/main/autopilot/custom-feature-selection) | Autopilot memeriksa kumpulan data Anda, dan menjalankan sejumlah kandidat untuk mengetahui kombinasi optimal dari langkah-langkah pra-pemrosesan data, algoritme pembelajaran mesin, dan hiperparameter. Anda dapat dengan mudah menerapkan baik pada titik akhir real-time atau untuk pemrosesan batch. Dalam beberapa kasus, Anda mungkin ingin memiliki fleksibilitas untuk membawa kode pemrosesan data khusus ke Autopilot. Misalnya, kumpulan data Anda mungkin berisi sejumlah besar variabel independen, dan Anda mungkin ingin memasukkan langkah pemilihan fitur khusus untuk menghapus variabel yang tidak relevan terlebih dahulu. Dataset yang lebih kecil yang dihasilkan kemudian dapat digunakan untuk meluncurkan pekerjaan Autopilot. Pada akhirnya, Anda juga ingin menyertakan kode pemrosesan khusus dan model dari Autopilot untuk pemrosesan real-time atau batch. |
| [Contoh pipa](https://github.com/aws/amazon-sagemaker-examples/tree/main/autopilot/sagemaker-autopilot-pipelines) | Sementara Autopilot merampingkan proses pembuatan model ML, MLOps para insinyur masih bertanggung jawab untuk membuat, mengotomatisasi, dan mengelola end-to-end alur kerja ML dalam produksi. SageMaker Pipelines dapat membantu mengotomatisasi berbagai langkah siklus hidup ML, seperti prapemrosesan data, pelatihan model, penyetelan hiperparameter, evaluasi model, dan penerapan. Notebook ini berfungsi sebagai demonstrasi bagaimana menggabungkan Autopilot ke dalam alur kerja pelatihan AutoML Pipelines SageMaker . end-to-end [https://docs.aws.amazon.com/sagemaker/latest/dg/build-and-manage-steps.html#step-type-lambda](https://docs.aws.amazon.com/sagemaker/latest/dg/build-and-manage-steps.html#step-type-lambda) Untuk informasi selengkapnya, lihat [Pindahkan model Amazon SageMaker Autopilot MLdari eksperimen ke produksi menggunakan](https://aws.amazon.com/blogs/machine-learning/move-amazon-sagemaker-autopilot-ml-models-from-experimentation-to-production-using-amazon-sagemaker-pipelines/) Amazon Pipelines. SageMaker [Atau, saat menggunakan Autopilot dalam [mode Ensembling](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-model-support-validation.html), Anda dapat merujuk ke contoh notebook yang menunjukkan cara menggunakan langkah AutoML asli dalam langkah AutoML asli Pipeline. SageMaker ](https://github.com/aws/amazon-sagemaker-examples/blob/main/autopilot/sagemaker-autopilot-pipelines/autopilot_pipelines_demo_notebook.ipynb) Dengan Autopilot didukung sebagai langkah asli dalam Pipelines, Anda sekarang dapat menambahkan langkah pelatihan otomatis ([Otomatis MLStep](https://docs.aws.amazon.com/sagemaker/latest/dg/build-and-manage-steps.html#step-type-automl)) ke Pipelines Anda dan menjalankan eksperimen Autopilot dalam mode Ensembling. |
| [Pemasaran langsung dengan Amazon SageMaker Autopilot](https://sagemaker-examples.readthedocs.io/en/latest/autopilot/sagemaker_autopilot_direct_marketing.html) | Notebook ini menunjukkan bagaimana menggunakan [Kumpulan Data Pemasaran Bank](https://archive.ics.uci.edu/ml/datasets/bank+marketing) untuk memprediksi apakah pelanggan akan mendaftar untuk deposito berjangka di bank. Anda dapat menggunakan Autopilot pada kumpulan data ini untuk mendapatkan pipeline ML paling akurat dengan menjelajahi opsi yang terdapat dalam berbagai jalur pipa kandidat. Autopilot menghasilkan setiap kandidat dalam prosedur dua langkah. Langkah pertama melakukan rekayasa fitur otomatis pada kumpulan data. Langkah kedua melatih dan menyetel algoritma untuk menghasilkan model. Notebook berisi instruksi tentang cara melatih model dan cara menerapkan model untuk melakukan inferensi batch menggunakan kandidat terbaik. |
| [Prediksi Churn Pelanggan dengan Amazon Autopilot SageMaker ](https://sagemaker-examples.readthedocs.io/en/latest/autopilot/autopilot_customer_churn.html) | Notebook ini menjelaskan penggunaan pembelajaran mesin untuk identifikasi otomatis pelanggan yang tidak bahagia, juga dikenal sebagai prediksi churn pelanggan. Contoh menunjukkan bagaimana menganalisis dataset yang tersedia untuk umum dan melakukan rekayasa fitur di atasnya. Selanjutnya ini menunjukkan cara menyetel model dengan memilih pipeline berkinerja terbaik bersama dengan hyperparameters optimal untuk algoritma pelatihan. Akhirnya, ini menunjukkan bagaimana menerapkan model ke titik akhir yang dihosting dan bagaimana mengevaluasi prediksinya terhadap kebenaran dasar. Namun, model ML jarang memberikan prediksi yang sempurna. Itu sebabnya notebook ini juga menunjukkan bagaimana menggabungkan biaya relatif kesalahan prediksi saat menentukan hasil keuangan menggunakan ML. |
| [Prediksi Churn Pelanggan Kandidat Teratas dengan Amazon SageMaker Autopilot dan Batch Transform (Python SDK)](https://sagemaker-examples.readthedocs.io/en/latest/autopilot/autopilot_customer_churn_high_level_with_evaluation.html) | Notebook ini juga menjelaskan penggunaan pembelajaran mesin untuk identifikasi otomatis pelanggan yang tidak bahagia, juga dikenal sebagai prediksi churn pelanggan. Notebook ini mendemonstrasikan cara mengonfigurasi model untuk mendapatkan probabilitas inferensi, memilih model N teratas, dan membuat Batch Transform pada set pengujian penahanan untuk evaluasi. Notebook ini bekerja dengan SageMaker Python SDK >= 1.65.1 dirilis pada 6/19/2020. |
| [Membawa kode pemrosesan data Anda sendiri ke Amazon SageMaker Autopilot](https://sagemaker-examples.readthedocs.io/en/latest/autopilot/custom-feature-selection/Feature_selection_autopilot.html) | Notebook ini menunjukkan cara menggabungkan dan menerapkan kode pemrosesan data kustom saat menggunakan Amazon SageMaker Autopilot. Ini menambahkan langkah pemilihan fitur khusus untuk menghapus variabel yang tidak relevan ke pekerjaan Autopilot. Ini kemudian menunjukkan bagaimana menerapkan kode pemrosesan khusus dan model yang dihasilkan oleh Autopilot pada titik akhir waktu nyata dan, sebagai alternatif, untuk pemrosesan batch. |
| Lebih banyak notebook | Anda dapat menemukan lebih banyak buku catatan yang menggambarkan kasus penggunaan lain seperti [transformasi batch](https://github.com/aws/amazon-sagemaker-examples/blob/main/autopilot/ap-batch-transform.ipynb), [peramalan deret waktu](https://github.com/aws/amazon-sagemaker-examples/blob/main/autopilot/autopilot_time_series.ipynb), dan lainnya di direktori root. |
# Video: Gunakan Autopilot untuk mengotomatisasi dan menjelajahi proses pembelajaran mesin
Berikut adalah seri video yang menyediakan tur kemampuan Amazon SageMaker Autopilot menggunakan Studio Classic. Mereka menunjukkan bagaimana memulai pekerjaan AutoML, menganalisis dan memproses data sebelumnya, bagaimana melakukan rekayasa fitur dan optimasi hyperparameter pada model kandidat, dan bagaimana memvisualisasikan dan membandingkan metrik model yang dihasilkan.
**Topics**
+ [Memulai pekerjaan AutoML dengan Amazon Autopilot SageMaker](#autopilot-video-start-automl-job)
+ [Tinjau eksplorasi data dan rekayasa fitur otomatis di Autopilot.](#autopilot-video-generated-notebooks)
+ [Tune model untuk mengoptimalkan kinerja](#autopilot-video-optimizing-model-performance)
+ [Pilih dan gunakan model terbaik](#autopilot-video-choose-and-deploy-the-best-model)
+ [Amazon SageMaker Autopilot tutorial](#autopilot-walkthrough)
## Memulai pekerjaan AutoML dengan Amazon Autopilot SageMaker
Video ini menunjukkan kepada Anda cara memulai pekerjaan AutoML dengan Autopilot. (Panjangnya: 8:41)
[](http://www.youtube.com/watch?v=https://www.youtube.com/embed/qMEtqJPhqpA)
## Tinjau eksplorasi data dan rekayasa fitur otomatis di Autopilot.
Video ini menunjukkan kepada Anda cara meninjau eksplorasi data dan notebook definisi kandidat yang dihasilkan oleh Amazon SageMaker Autopilot. (Panjangnya: 10:04)
[](http://www.youtube.com/watch?v=https://www.youtube.com/embed/WsfRAeGzgm8)
## Tune model untuk mengoptimalkan kinerja
Video ini menunjukkan kepada Anda cara mengoptimalkan kinerja model selama pelatihan menggunakan penyetelan hyperparameter. (Panjangnya: 4:59)
[](http://www.youtube.com/watch?v=https://www.youtube.com/embed/KZSTsWrDGXs)
## Pilih dan gunakan model terbaik
Video ini menunjukkan kepada Anda cara menggunakan metrik pekerjaan untuk memilih model terbaik dan kemudian cara menerapkannya. (Panjangnya: 5:20)
[](http://www.youtube.com/watch?v=https://www.youtube.com/embed/vRHyX3kDstI)
## Amazon SageMaker Autopilot tutorial
Video ini memandu Anda melalui demo ujung ke ujung di mana kami pertama kali membangun model klasifikasi biner secara otomatis dengan Amazon SageMaker Autopilot. Kami melihat bagaimana model kandidat telah dibangun dan dioptimalkan menggunakan notebook yang dibuat secara otomatis. Kami juga melihat kandidat teratas dengan SageMaker Eksperimen Amazon. Akhirnya, kami menerapkan kandidat teratas (berdasarkan XGBoost), dan mengonfigurasi pengambilan data dengan SageMaker Model Monitor.
[](http://www.youtube.com/watch?v=https://www.youtube.com/embed/DRjOOaR2prQ)
# Kuota autopilot
Ada kuota yang membatasi sumber daya yang tersedia untuk Anda saat menggunakan Amazon SageMaker Autopilot. Beberapa dari batasan ini dapat ditingkatkan dan beberapa tidak.
**catatan**
Kuota sumber daya yang didokumentasikan di bagian berikut berlaku untuk versi Amazon SageMaker Studio Classic 3.22.2 dan yang lebih tinggi. Untuk informasi tentang memperbarui versi SageMaker Studio Classic, lihat[Matikan dan Perbarui Amazon SageMaker Studio Classic dan Aplikasi](studio-tasks-update.md).
**Topics**
+ [Kuota yang dapat Anda tingkatkan](#autopilot-quotas-limits-increasable)
+ [Kuota sumber daya](#autopilot-quotas-resource-limits)
## Kuota yang dapat Anda tingkatkan
Tabel berikut berisi batas sumber daya untuk kuota yang dapat Anda tingkatkan:
| Sumber Daya | Wilayah | Batas default | Dapat ditingkatkan hingga |
| --- | --- | --- | --- |
| Ukuran dataset masukan | Semua | 100 GB | Ratusan GBs |
| Ukuran file Parket tunggal\$1 | Semua | 2 GB | N/A |
| Ukuran set data target untuk subsampling\$1\$1 | Semua | 5 GB | Ratusan GBs |
| Jumlah pekerjaan Autopilot bersamaan | us-east-1, us-east-2, us-barat-2, ap-northeast-1, eu-west-1, eu-west-1, eu-central-1 | 4 | Ratusan |
| Jumlah pekerjaan Autopilot bersamaan | ap-northeast-2, ap-southeast-2, eu-barat-2, ap-southeast-1 | 2 | Ratusan |
| Jumlah pekerjaan Autopilot bersamaan | Wilayah Lainnya | 1 | Puluhan |
**catatan**
\$1 Batas ukuran 2 GB ini untuk satu file Parket terkompresi. Anda dapat menyediakan kumpulan data Parket yang mencakup beberapa file Parket terkompresi hingga ukuran maksimum kumpulan data input. Setelah file didekompresi, masing-masing dapat diperluas ke ukuran yang lebih besar.
\$1\$1 Autopilot secara otomatis mensubsampel kumpulan data input yang lebih besar dari ukuran set data target sambil memperhitungkan ketidakseimbangan kelas dan mempertahankan label kelas langka.
**Untuk meminta peningkatan kuota:**
1. Buka konsol [Service Quotas](https://console.aws.amazon.com/servicequotas/home/services/sagemaker/quotas).
1. Pilih peningkatan kuota Anda, lalu pilih **Permintaan kenaikan di tingkat akun**.
1. Dalam **nilai kuota Naikkan**, masukkan nilai limit baru yang Anda minta.
1. Pilih **Minta**.
## Kuota sumber daya
Tabel berikut berisi batas sumber daya runtime untuk pekerjaan Amazon SageMaker Autopilot di file. Wilayah AWS
| Sumber Daya | Batas per pekerjaan Autopilot |
| --- | --- |
| Runtime maksimum untuk pekerjaan Autopilot | 30 hari |
# Panduan Referensi API untuk Autopilot
Bagian ini menyediakan subset dari REST layanan HTTP APIs untuk membuat dan mengelola SageMaker sumber daya Amazon Autopilot (pekerjaan AutoML) secara terprogram.
Jika bahasa pilihan Anda adalah Python, Anda dapat merujuk ke [AWS SDK untuk Python (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html)atau [MLV2 objek Auto](https://sagemaker.readthedocs.io/en/stable/api/training/automlv2.html#sagemaker.automl.automlv2.AutoMLV2) dari Amazon SageMaker Python SDK secara langsung.
## Tindakan API AutoML
Daftar ini merinci operasi yang tersedia di API Referensi untuk mengelola pekerjaan AutoML secara terprogram.
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListAutoMLJobs.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListAutoMLJobs.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidatesForAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListCandidatesForAutoMLJob.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_StopAutoMLJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_StopAutoMLJob.html)
**catatan**
[CreateAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJobV2.html) dan [DescribeAutoMLJobV2](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJobV2.html) adalah versi baru [CreateAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateAutoMLJob.html)dan [DescribeAutoMLJob](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeAutoMLJob.html)yang menawarkan kompatibilitas mundur.
Kami merekomendasikan menggunakan`CreateAutoMLJobV2`. `CreateAutoMLJobV2`dapat mengelola jenis masalah tabular yang identik dengan versi sebelumnya`CreateAutoMLJob`, serta jenis masalah non-tabular seperti klasifikasi gambar atau teks, atau peramalan deret waktu.
Temukan panduan tentang cara memigrasikan `CreateAutoMLJob` ke `CreateAutoMLJobV2` dalam [Migrasi CreateAuto MLJob ke CreateAuto MLJob V2](https://docs.aws.amazon.com/sagemaker/latest/dg/autopilot-automate-model-development-create-experiment.html#autopilot-create-experiment-api-migrate-v1-v2).
## Tipe Data API AutoML
Daftar ini merinci objek API AutoML yang digunakan oleh tindakan di atas sebagai permintaan masuk atau respons keluar.
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLAlgorithmConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidate.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateGenerationConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateStep.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLCandidateStep.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLChannel.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLContainerDefinition.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLContainerDefinition.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSource.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSource.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLDataSplitConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLInferenceContainerDefinitions.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLInferenceContainerDefinitions.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobArtifacts.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobArtifacts.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobChannel.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobCompletionCriteria.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobCompletionCriteria.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobInputDataConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobInputDataConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobObjective.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobObjective.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobStepMetadata.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobStepMetadata.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobSummary.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobSummary.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLProblemTypeConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLProblemTypeConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobCompletionCriteria.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobCompletionCriteria.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobSummary.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLJobSummary.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLOutputDataConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLPartialFailureReason.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLPartialFailureReason.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLProblemTypeConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLProblemTypeConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLProblemTypeResolvedAttributes.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLProblemTypeResolvedAttributes.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLResolvedAttributes.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLResolvedAttributes.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLSecurityConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLSecurityConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLS3DataSource.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AutoMLS3DataSource.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateArtifactLocations.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateGenerationConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateProperties.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CandidateProperties.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_FinalAutoMLJobObjectiveMetric.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_FinalAutoMLJobObjectiveMetric.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_HolidayConfigAttributes.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_HolidayConfigAttributes.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ImageClassificationJobConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ImageClassificationJobConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_MetricDatum.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_MetricDatum.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployResult.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ModelDeployResult.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ResolvedAttributes.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ResolvedAttributes.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularJobConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularResolvedAttributes.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TabularResolvedAttributes.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationJobConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationResolvedAttribute.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TextGenerationResolvedAttribute.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesForecastingJobConfig.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesTransformations.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TimeSeriesTransformations.html)
+ [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TuningJobCompletionCriteria.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_TuningJobCompletionCriteria.html)
# SageMaker JumpStart model terlatih
Amazon SageMaker JumpStart menyediakan model sumber terbuka terlatih untuk berbagai jenis masalah untuk membantu Anda memulai pembelajaran mesin. Anda dapat melatih dan menyetel model ini secara bertahap sebelum penerapan. JumpStart juga menyediakan template solusi yang menyiapkan infrastruktur untuk kasus penggunaan umum, dan contoh notebook yang dapat dieksekusi untuk pembelajaran mesin dengan AI. SageMaker
Anda dapat menerapkan, menyempurnakan, dan mengevaluasi model terlatih dari hub model populer melalui halaman landing Model dalam pengalaman Studio yang diperbarui.
Anda juga dapat mengakses model terlatih, templat solusi, dan contoh melalui halaman landing Model di Amazon SageMaker Studio Classic.
Langkah-langkah berikut menunjukkan cara mengakses JumpStart model menggunakan Amazon SageMaker Studio dan Amazon SageMaker Studio Classic.
Anda juga dapat mengakses JumpStart model menggunakan SageMaker Python SDK. Untuk informasi tentang cara menggunakan JumpStart model secara terprogram, lihat [Menggunakan SageMaker JumpStart Algoritma dengan](https://sagemaker.readthedocs.io/en/stable/overview.html#use-sagemaker-jumpstart-algorithms-with-pretrained-models) Model Terlatih.
## Buka JumpStart di Studio
Di Amazon SageMaker Studio, buka halaman landing Model baik melalui halaman **Beranda** atau item **Model** di panel sisi kiri. Ini membuka halaman landing **SageMaker Model** tempat Anda dapat menjelajahi model di SageMakerPublicHub, model di Hub Pribadi atau Hub Terkurasi, dan model yang disesuaikan.
+ Dari halaman **Beranda**, pilih **Jelajahi model** di panel **Mulai alur kerja penyesuaian model Anda**.
+ Dari menu di panel kiri, arahkan ke node **Model**.
Untuk informasi selengkapnya tentang memulai Amazon SageMaker Studio, lihat[SageMaker Studio Amazon](studio-updated.md).
![\[Antarmuka Amazon SageMaker Studio dengan akses ke JumpStart.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-studio-nav.png)
## Gunakan JumpStart di Studio
**penting**
Sebelum mengunduh atau menggunakan konten pihak ketiga: Anda bertanggung jawab untuk meninjau dan mematuhi persyaratan lisensi yang berlaku dan memastikan bahwa mereka dapat diterima untuk kasus penggunaan Anda.
Pada 3/13/2026, kami menghapus daftar beberapa model dari JumpStart katalog di seluruh wilayah untuk meningkatkan kemampuan ditemukan dan fokus pada opsi berkualitas tinggi yang didukung dengan baik. Titik akhir yang ada untuk model yang dihapus akan tetap berfungsi. Untuk informasi lisensi tentang model berat terbuka yang dihapus, silakan merujuk ke daftar Hugging Face dari masing-masing model.
Dari halaman arahan **SageMaker Model** di Studio, Anda dapat menjelajahi model JumpStart dasar dari penyedia model eksklusif dan tersedia untuk umum. Anda dapat mencari model secara langsung, memfilter menurut penyedia model tertentu, atau memfilter berdasarkan daftar kasus penggunaan dan tindakan yang disediakan.
![\[Halaman arahan Amazon SageMaker Studio Model.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-studio-landing.png)
Pilih model untuk melihat kartu detail modelnya. Di sudut kanan atas kartu detail model, pilih **Fine-tune**, **Customize**, **Deploy**, atau **Evaluate** untuk mulai mengerjakan alur kerja fine-tuning, deployment, atau evaluasi. Perhatikan bahwa tidak semua model tersedia untuk kustomisasi, fine-tuning atau evaluasi. Untuk informasi lebih lanjut tentang masing-masing opsi ini, lihat[Gunakan model pondasi di Studio](jumpstart-foundation-models-use-studio-updated.md).
Anda juga dapat mengakses model **Private atau Curated Hub** melalui tab khusus. Ini bekerja persis seperti model JumpStart dasar, dan mengklik kartu model akan membawa Anda ke halaman detail, di mana tindakan tersedia.
Selain itu, pilih **Model saya** untuk mengakses model yang disetel dengan baik dan terdaftar. Output dari pekerjaan kustomisasi dapat ditemukan di sini, di bawah tab Model **log**. Model **deployable** juga dapat ditemukan di sini.
## Buka dan gunakan JumpStart di Studio Classic
Bagian berikut memberikan informasi tentang cara membuka, menggunakan, dan mengelola JumpStart dari Amazon SageMaker Studio Classic UI.
**penting**
Per 30 November 2023, pengalaman Amazon SageMaker Studio sebelumnya sekarang bernama Amazon SageMaker Studio Classic. Bagian berikut khusus untuk menggunakan aplikasi Studio Classic. Untuk informasi tentang menggunakan pengalaman Studio yang diperbarui, lihat[SageMaker Studio Amazon](studio-updated.md).
Studio Classic masih dipertahankan untuk beban kerja yang ada tetapi tidak lagi tersedia untuk orientasi. Anda hanya dapat menghentikan atau menghapus aplikasi Studio Classic yang ada dan tidak dapat membuat yang baru. Kami menyarankan Anda [memigrasikan beban kerja Anda ke pengalaman Studio yang baru](studio-updated-migrate.md).
### Buka JumpStart di Studio Classic
Di Amazon SageMaker Studio Classic, buka halaman JumpStart landing baik melalui halaman **Beranda** atau menu **Beranda** di panel sisi kiri.
+ Dari halaman **Beranda** Anda dapat:
+ Pilih **JumpStart**di panel **solusi bawaan dan otomatis**. Ini membuka halaman **SageMaker JumpStart**arahan.
+ Pilih model langsung di halaman **SageMaker JumpStart**arahan, atau pilih opsi **Jelajahi Semua** untuk melihat solusi atau model yang tersedia dari jenis tertentu.
+ Dari menu **Beranda** di panel kiri Anda dapat:
+ Arahkan ke **SageMaker JumpStart**node, lalu pilih **Model, notebook, solusi**. Ini membuka halaman **SageMaker JumpStart**arahan.
+ Arahkan ke **JumpStart**node, lalu pilih ** JumpStart Aset yang diluncurkan**.
Halaman ** JumpStart Aset yang diluncurkan** mencantumkan solusi yang saat ini diluncurkan, titik akhir model yang diterapkan, dan pekerjaan pelatihan yang dibuat dengan. JumpStart Anda dapat mengakses halaman JumpStart arahan dari tab ini dengan mengklik JumpStart tombol **Browse** di kanan atas tab.
Halaman JumpStart arahan mencantumkan solusi pembelajaran end-to-end mesin yang tersedia, model yang telah dilatih sebelumnya, dan contoh buku catatan. Dari setiap solusi individu atau halaman model, Anda dapat memilih JumpStart tombol **Browse** (![\[Button labeled "Browse JumpStart" with an icon indicating a browsing action.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-browse-button.png)) di kanan atas tab untuk kembali ke **SageMaker JumpStart**halaman.
![\[SageMaker Antarmuka Studio Classic dengan akses ke JumpStart.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-assets.png)
**penting**
Sebelum mengunduh atau menggunakan konten pihak ketiga: Anda bertanggung jawab untuk meninjau dan mematuhi persyaratan lisensi yang berlaku dan memastikan bahwa mereka dapat diterima untuk kasus penggunaan Anda.
Pada 3/13/2026, kami menghapus daftar beberapa model dari JumpStart katalog di seluruh wilayah untuk meningkatkan kemampuan ditemukan dan fokus pada opsi berkualitas tinggi yang didukung dengan baik. Titik akhir yang ada untuk model yang dihapus akan tetap berfungsi. Untuk informasi lisensi tentang model berat terbuka yang dihapus, silakan merujuk ke daftar Hugging Face dari masing-masing model.
### Gunakan JumpStart di Studio Classic
Dari halaman **SageMaker JumpStart**arahan, Anda dapat menelusuri solusi, model, notebook, dan sumber daya lainnya.
![\[SageMaker Halaman JumpStart arahan Studio Classic.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-use.png)
Anda dapat menemukan JumpStart sumber daya dengan menggunakan bilah pencarian, atau dengan menelusuri setiap kategori. Gunakan tab untuk memfilter solusi yang tersedia berdasarkan kategori:
+ **Solusi** — Dalam satu langkah, luncurkan solusi pembelajaran mesin komprehensif yang mengikat SageMaker AI dengan yang lain Layanan AWS. Pilih **Jelajahi Semua Solusi** untuk melihat semua solusi yang tersedia.
+ **Sumber Daya** — Gunakan contoh buku catatan, blog, dan tutorial video untuk mempelajari dan memulai jenis masalah Anda.
+ **Blog** — Baca detail dan solusi dari pakar pembelajaran mesin.
+ **Tutorial video** — Tonton tutorial video untuk fitur SageMaker AI dan kasus penggunaan pembelajaran mesin dari pakar pembelajaran mesin.
+ **Contoh notebook** — Jalankan contoh notebook yang menggunakan fitur SageMaker AI seperti pelatihan Spot Instance dan eksperimen pada berbagai jenis model dan kasus penggunaan.
+ **Tipe data** — Temukan model berdasarkan tipe data (misalnya, Visi, Teks, Tabular, Audio, Pembuatan Teks). Pilih **Jelajahi Semua Model** untuk melihat semua model yang tersedia.
+ **Tugas ML** — Temukan model berdasarkan jenis masalah (misalnya, Klasifikasi Gambar, Penyematan Gambar, Deteksi Objek, Pembuatan Teks). Pilih **Jelajahi Semua Model** untuk melihat semua model yang tersedia.
+ **Notebook** — Temukan contoh notebook yang menggunakan fitur SageMaker AI di berbagai jenis model dan kasus penggunaan. Pilih **Jelajahi Semua Buku Catatan** untuk melihat semua contoh buku catatan yang tersedia.
+ **Frameworks** — Temukan model berdasarkan kerangka kerja (mis.,, PyTorch TensorFlow, Hugging Face).
### Kelola JumpStart di Studio Classic
Dari menu **Beranda** di panel kiri, navigasikan ke **SageMaker JumpStart**, lalu pilih ** JumpStart Aset yang diluncurkan** untuk mencantumkan solusi yang saat ini diluncurkan, titik akhir model yang diterapkan, dan pekerjaan pelatihan yang dibuat dengan. JumpStart
**Topics**
+ [Buka JumpStart di Studio](#jumpstart-open-studio)
+ [Gunakan JumpStart di Studio](#jumpstart-use-studio)
+ [Buka dan gunakan JumpStart di Studio Classic](#jumpstart-open-use)
+ [Model SageMaker JumpStart Yayasan Amazon](jumpstart-foundation-models.md)
+ [Hub yang dikuratori pribadi untuk kontrol akses model pondasi di JumpStart](jumpstart-curated-hubs.md)
+ [Amazon SageMaker JumpStart di Studio Klasik](jumpstart-studio-classic.md)
# Model SageMaker JumpStart Yayasan Amazon
Amazon SageMaker JumpStart menawarkan model state-of-the-art dasar untuk kasus penggunaan seperti penulisan konten, pembuatan kode, penjawab pertanyaan, copywriting, ringkasan, klasifikasi, pengambilan informasi, dan banyak lagi. Gunakan model JumpStart foundation untuk membuat solusi AI generatif Anda sendiri dan mengintegrasikan solusi khusus dengan fitur SageMaker AI tambahan. Untuk informasi selengkapnya, lihat [Memulai Amazon SageMaker JumpStart](https://aws.amazon.com/sagemaker/jumpstart/getting-started/).
Model pondasi adalah model pra-terlatih besar yang dapat beradaptasi dengan banyak tugas hilir dan sering berfungsi sebagai titik awal untuk mengembangkan model yang lebih khusus. Contoh model pondasi termasuk LLa MA-3-70b, BLOOM 176B, FLAN-T5 XL, atau GPT-J 6B, yang telah dilatih sebelumnya pada sejumlah besar data teks dan dapat disetel dengan baik untuk tugas bahasa tertentu.
SageMaker JumpStart Amazon menggunakan dan mengelola model dasar yang tersedia untuk umum agar Anda dapat mengakses, menyesuaikan, dan mengintegrasikan ke dalam siklus hidup pembelajaran mesin Anda. Untuk informasi selengkapnya, lihat [Model pondasi yang tersedia untuk umum](jumpstart-foundation-models-latest.md#jumpstart-foundation-models-latest-publicly-available). Amazon SageMaker JumpStart juga menyertakan model yayasan berpemilik dari penyedia pihak ketiga. Untuk informasi selengkapnya, lihat [Model pondasi berpemilik](jumpstart-foundation-models-latest.md#jumpstart-foundation-models-latest-proprietary).
Untuk mulai menjelajahi dan bereksperimen dengan model yang tersedia, lihat[JumpStart penggunaan model pondasi](jumpstart-foundation-models-use.md). Semua model foundation tersedia untuk digunakan secara terprogram dengan SDK SageMaker Python. Untuk informasi selengkapnya, lihat [Gunakan model foundation dengan SageMaker Python SDK](jumpstart-foundation-models-use-python-sdk.md).
Untuk informasi lebih lanjut tentang pertimbangan yang harus dibuat saat memilih model, lihat[Sumber model dan perjanjian lisensi](jumpstart-foundation-models-choose.md).
Untuk informasi spesifik tentang model pondasi kustomisasi dan fine-tuning, lihat. [Kustomisasi model pondasi](jumpstart-foundation-models-customize.md)
Untuk informasi lebih umum tentang model pondasi, lihat paper [On the Opportunities and Risks of Foundation Models](https://arxiv.org/abs/2108.07258).
**Topics**
+ [Model pondasi yang tersedia](jumpstart-foundation-models-latest.md)
+ [JumpStart penggunaan model pondasi](jumpstart-foundation-models-use.md)
+ [Sumber model dan perjanjian lisensi](jumpstart-foundation-models-choose.md)
+ [Kustomisasi model pondasi](jumpstart-foundation-models-customize.md)
+ [Mengevaluasi model fondasi pembuatan teks di Studio](jumpstart-foundation-models-evaluate.md)
+ [Notebook contoh](jumpstart-foundation-models-example-notebooks.md)
# Model pondasi yang tersedia
Amazon SageMaker JumpStart menawarkan state-of-the-art, model fondasi bawaan yang tersedia untuk umum dan berpemilik untuk menyesuaikan dan mengintegrasikan ke dalam alur kerja AI generatif Anda.
## Model pondasi yang tersedia untuk umum
SageMaker JumpStart Amazon menggunakan dan memelihara model foundation open source dari sumber pihak ketiga. Untuk memulai dengan salah satu model yang tersedia untuk umum ini, lihat [JumpStart penggunaan model pondasi](jumpstart-foundation-models-use.md) atau jelajahi salah satu yang tersedia[Notebook contoh](jumpstart-foundation-models-example-notebooks.md). Dalam contoh notebook tertentu untuk model yang tersedia untuk umum, coba ganti ID model untuk bereksperimen dengan model yang berbeda dalam keluarga model yang sama.
Untuk informasi selengkapnya tentang model IDs dan sumber daya tentang penerapan model JumpStart dasar yang tersedia untuk umum dengan SageMaker Python SDK, lihat. [Gunakan model foundation dengan SageMaker Python SDK](jumpstart-foundation-models-use-python-sdk.md)
Menurut definisi, model pondasi dapat beradaptasi dengan banyak tugas hilir. Model dasar dilatih pada sejumlah besar data domain umum dan model yang sama dapat diimplementasikan atau disesuaikan untuk beberapa kasus penggunaan. Saat memilih model foundation Anda, mulailah dengan mendefinisikan tugas tertentu, seperti pembuatan teks atau pembuatan gambar.
### Model peramalan deret waktu yang tersedia untuk umum
Model peramalan deret waktu dirancang untuk menganalisis dan membuat prediksi pada data sekuensial dari waktu ke waktu. Model-model ini dapat diterapkan ke berbagai domain seperti keuangan, ramalan cuaca, atau peramalan permintaan energi. Model Chronos disesuaikan untuk tugas peramalan deret waktu, memungkinkan prediksi akurat berdasarkan pola data historis.
| Nama Model | ID Model | Sumber Model | Dapat disetel dengan baik |
| --- | --- | --- | --- |
| Chronos T5 Kecil | autogluon-forecasting-chronos-t5-small | Amazon | Tidak |
| Basis Chronos T5 | autogluon-forecasting-chronos-t5-base | Amazon | Tidak |
| Chronos T5 Besar | autogluon-forecasting-chronos-t5-large | Amazon | Tidak |
| Chronos-Bolt Kecil | autogluon-forecasting-chronos-bolt-small | Amazon | Tidak |
| Basis Chronos-Bolt | autogluon-forecasting-chronos-bolt-base | Amazon | Tidak |
### Model pembuatan teks yang tersedia untuk umum
Model dasar pembuatan teks dapat digunakan untuk berbagai tugas hilir, termasuk ringkasan teks, klasifikasi teks, penjawab pertanyaan, pembuatan konten bentuk panjang, copywriting bentuk pendek, ekstraksi informasi, dan banyak lagi.
Untuk menjelajahi model JumpStart dasar pembuatan teks terbaru, gunakan filter **Pembuatan Teks** di halaman [Memulai dengan deskripsi SageMaker JumpStart produk Amazon](https://aws.amazon.com/sagemaker/jumpstart/getting-started/?sagemaker-jumpstart-cards.sort-by=item.additionalFields.priority&sagemaker-jumpstart-cards.sort-order=asc&awsf.sagemaker-jumpstart-filter-product-type=product-type%23foundation-model&awsf.sagemaker-jumpstart-filter-text=ml-task-type%23text-generation&awsf.sagemaker-jumpstart-filter-vision=*all&awsf.sagemaker-jumpstart-filter-tabular=*all&awsf.sagemaker-jumpstart-filter-audio-tasks=*all&awsf.sagemaker-jumpstart-filter-multimodal=*all&awsf.sagemaker-jumpstart-filter-RL=*all&awsm.page-sagemaker-jumpstart-cards=1). Anda juga dapat menjelajahi model foundation berdasarkan tugas langsung di Amazon SageMaker Studio UI atau SageMaker Studio Classic UI. Hanya sebagian dari model pembuatan teks yang tersedia untuk umum yang tersedia untuk penyetelan. JumpStart Untuk informasi selengkapnya, lihat [Gunakan model foundation di Amazon SageMaker Studio Classic](jumpstart-foundation-models-use-studio.md).
### Model pembuatan gambar yang tersedia untuk umum
JumpStart menyediakan berbagai macam model fondasi pembuatan gambar Difusi Stabil termasuk model dasar dari Stability AI serta model pra-terlatih untuk tugas-tugas tertentu text-to-image dari. Hugging Face Jika Anda perlu menyempurnakan model text-to-image foundation Anda, Anda dapat menggunakan basis Stable Diffusion 2.1 dari Stability AI. Jika Anda ingin menjelajahi model yang sudah dilatih tentang gaya seni tertentu, Anda dapat menjelajahi salah satu dari banyak model pihak ketiga Hugging Face langsung di Amazon SageMaker Studio UI atau SageMaker Studio Classic UI.
Untuk menjelajahi model JumpStart dasar pembuatan gambar terbaru, gunakan filter **Teks ke Gambar** di halaman [Memulai dengan deskripsi SageMaker JumpStart produk Amazon](https://aws.amazon.com/sagemaker/jumpstart/getting-started/?sagemaker-jumpstart-cards.sort-by=item.additionalFields.priority&sagemaker-jumpstart-cards.sort-order=asc&awsf.sagemaker-jumpstart-filter-product-type=product-type%23foundation-model&awsf.sagemaker-jumpstart-filter-text=*all&awsf.sagemaker-jumpstart-filter-vision=*all&awsf.sagemaker-jumpstart-filter-tabular=*all&awsf.sagemaker-jumpstart-filter-audio-tasks=*all&awsf.sagemaker-jumpstart-filter-multimodal=ml-task-type%23txt2img&awsf.sagemaker-jumpstart-filter-RL=*all&awsm.page-sagemaker-jumpstart-cards=1). Untuk memulai dengan model text-to-image pondasi pilihan Anda, lihat[JumpStart penggunaan model pondasi](jumpstart-foundation-models-use.md).
## Model pondasi berpemilik
Amazon SageMaker JumpStart menyediakan akses ke model yayasan berpemilik dari penyedia pihak ketiga seperti [AI21 Labs](https://www.ai21.com/), [Cohere](https://cohere.com/), dan. [LightOn](https://www.lighton.ai/)
Untuk memulai dengan salah satu model eksklusif ini, lihat[JumpStart penggunaan model pondasi](jumpstart-foundation-models-use.md). Untuk menggunakan model pondasi berpemilik, Anda harus terlebih dahulu berlangganan model di AWS Marketplace. Setelah berlangganan model, cari model pondasi di Studio atau SageMaker Studio Classic. Untuk informasi selengkapnya, lihat [SageMaker JumpStart model terlatih](studio-jumpstart.md).
Untuk menjelajahi model foundation berpemilik terbaru untuk berbagai kasus penggunaan, lihat [Memulai Amazon SageMaker JumpStart](https://aws.amazon.com/sagemaker/jumpstart/getting-started/?sagemaker-jumpstart-cards.sort-by=item.additionalFields.priority&sagemaker-jumpstart-cards.sort-order=asc&awsf.sagemaker-jumpstart-filter-product-type=product-type%23foundation-model&awsf.sagemaker-jumpstart-filter-text=*all&awsf.sagemaker-jumpstart-filter-vision=*all&awsf.sagemaker-jumpstart-filter-tabular=*all&awsf.sagemaker-jumpstart-filter-audio-tasks=*all&awsf.sagemaker-jumpstart-filter-multimodal=*all&awsf.sagemaker-jumpstart-filter-RL=*all&sagemaker-jumpstart-cards.q=proprietary&sagemaker-jumpstart-cards.q_operator=AND).
# JumpStart penggunaan model pondasi
Pilih, latih, atau terapkan model foundation melalui Amazon SageMaker Studio atau Amazon SageMaker Studio Classic, gunakan model JumpStart foundation secara terprogram dengan SageMaker Python SDK, atau temukan model JumpStart foundation langsung melalui konsol AI. SageMaker
**Topics**
+ [Gunakan model pondasi di Studio](jumpstart-foundation-models-use-studio-updated.md)
+ [Gunakan model foundation di Amazon SageMaker Studio Classic](jumpstart-foundation-models-use-studio.md)
+ [Gunakan model foundation dengan SageMaker Python SDK](jumpstart-foundation-models-use-python-sdk.md)
+ [Temukan model foundation di Konsol SageMaker AI](jumpstart-foundation-models-use-console.md)
# Gunakan model pondasi di Studio
Amazon SageMaker Studio memungkinkan Anda menyempurnakan, menerapkan, dan mengevaluasi model JumpStart foundation yang tersedia untuk umum dan eksklusif secara langsung melalui UI Studio.
**penting**
Per 30 November 2023, pengalaman Amazon SageMaker Studio sebelumnya sekarang bernama Amazon SageMaker Studio Classic. Bagian berikut khusus untuk menggunakan pengalaman Studio yang diperbarui. Untuk informasi tentang menggunakan aplikasi Studio Classic, lihat[Amazon SageMaker Studio Klasik](studio.md).
Untuk memulai, navigasikan ke halaman JumpStart arahan di Amazon SageMaker Studio. Anda dapat mengaksesnya dari halaman **Beranda** atau menu panel sisi kiri. Di halaman **JumpStart**arahan, Anda dapat menjelajahi hub model dari penyedia model yang tersedia untuk umum dan berpemilik, dan mencari model.
Dalam setiap hub model, Anda dapat mengurutkan model berdasarkan **Kebanyakan suka**, **Paling banyak unduhan**, **Baru diperbarui**, atau memfilternya berdasarkan tugas. Pilih model untuk melihat kartu detailnya. Pada kartu detail model, Anda dapat memilih untuk **menyempurnakan**, **menyebarkan**, atau **mengevaluasi** model, tergantung pada opsi yang tersedia. Perhatikan bahwa tidak semua model tersedia untuk fine-tuning atau evaluasi.
Untuk informasi selengkapnya tentang memulai Amazon SageMaker Studio, lihat[SageMaker Studio Amazon](studio-updated.md).
**Topics**
+ [Sempurnakan model di Studio](jumpstart-foundation-models-use-studio-updated-fine-tune.md)
+ [Menyebarkan model di Studio](jumpstart-foundation-models-use-studio-updated-deploy.md)
+ [Mengevaluasi model di Studio](jumpstart-foundation-models-use-studio-updated-evaluate.md)
+ [Gunakan SageMaker JumpStart Model Anda di Amazon Bedrock](jumpstart-foundation-models-use-studio-updated-register-bedrock.md)
# Sempurnakan model di Studio
Fine-tuning melatih model yang telah dilatih sebelumnya pada dataset baru tanpa pelatihan dari awal. Proses ini, juga dikenal sebagai pembelajaran transfer, dapat menghasilkan model yang akurat dengan kumpulan data yang lebih kecil dan waktu pelatihan yang lebih sedikit. Untuk menyempurnakan model JumpStart foundation, navigasikan ke kartu detail model di UI Studio. Untuk informasi selengkapnya tentang cara membuka JumpStart di Studio, lihat[Buka JumpStart di Studio](studio-jumpstart.md#jumpstart-open-studio). Setelah menavigasi ke kartu detail model pilihan Anda, pilih **Kereta** di sudut kanan atas. Perhatikan bahwa tidak semua model memiliki fine-tuning yang tersedia.
**penting**
Beberapa model foundation memerlukan penerimaan eksplisit dari perjanjian lisensi pengguna akhir (EULA) sebelum fine-tuning. Untuk informasi selengkapnya, lihat [Penerimaan EULA di Amazon Studio SageMaker](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula-studio).
## Pengaturan model
Saat menggunakan model JumpStart pondasi yang telah dilatih sebelumnya di Amazon SageMaker Studio, **lokasi artefak Model (URI Amazon S3) diisi** secara default. Untuk mengedit URI Amazon S3 default, pilih **Masukkan lokasi artefak model**. Tidak semua model mendukung perubahan lokasi artefak model.
## Pengaturan data
Di bidang **Data**, berikan titik URI Amazon S3 ke lokasi kumpulan data pelatihan Anda. URI Amazon S3 default menunjuk ke contoh kumpulan data pelatihan. Untuk mengedit URI Amazon S3 default, pilih **Masukkan kumpulan data pelatihan** dan ubah URI. Pastikan untuk meninjau kartu detail model di Amazon SageMaker Studio untuk informasi tentang memformat data pelatihan.
## Hyperparameter
Anda dapat menyesuaikan hyperparameters dari pekerjaan pelatihan yang digunakan untuk menyempurnakan model. Hiperparameter yang tersedia untuk setiap model yang dapat disetel berbeda tergantung pada modelnya.
Hyperparameter berikut umum di antara model:
+ **Epoch** — Satu epoch adalah satu siklus melalui seluruh dataset. Beberapa interval menyelesaikan batch, dan beberapa batch akhirnya menyelesaikan sebuah epoch. Beberapa zaman dijalankan hingga keakuratan model mencapai tingkat yang dapat diterima, atau ketika tingkat kesalahan turun di bawah tingkat yang dapat diterima.
+ **Laju belajar** — Jumlah nilai yang harus diubah antar zaman. Saat model disempurnakan, bobot internalnya didorong dan tingkat kesalahan diperiksa untuk melihat apakah model membaik. Tingkat pembelajaran tipikal adalah 0,1 atau 0,01, di mana 0,01 adalah penyesuaian yang jauh lebih kecil dan dapat menyebabkan pelatihan memakan waktu lama untuk bertemu, sedangkan 0,1 jauh lebih besar dan dapat menyebabkan pelatihan melampaui batas. Ini adalah salah satu hiperparameter utama yang mungkin Anda sesuaikan untuk melatih model Anda. Perhatikan bahwa untuk model teks, tingkat pembelajaran yang jauh lebih kecil (5e-5 untuk BERT) dapat menghasilkan model yang lebih akurat.
+ **Ukuran Batch** — Jumlah catatan dari kumpulan data yang akan dipilih untuk setiap interval untuk dikirim ke GPUs pelatihan.
Tinjau petunjuk tip alat dan informasi tambahan dalam kartu detail model di UI Studio untuk mempelajari lebih lanjut tentang hiperparameter khusus untuk model pilihan Anda.
Untuk informasi lebih lanjut tentang hiperparameter yang tersedia, lihat[Hiperparameter fine-tuning yang umumnya didukung](jumpstart-foundation-models-fine-tuning.md#jumpstart-foundation-models-fine-tuning-hyperparameters).
## Deployment
Tentukan jenis instans pelatihan dan lokasi artefak keluaran untuk pekerjaan pelatihan Anda. Anda hanya dapat memilih dari instance yang kompatibel dengan model pilihan Anda dalam menyempurnakan UI Studio. Lokasi artefak keluaran default adalah bucket default SageMaker AI. Untuk mengubah lokasi artefak keluaran, pilih **Masukkan lokasi artefak keluaran** dan ubah URI Amazon S3.
## Keamanan
Tentukan pengaturan keamanan yang akan digunakan untuk pekerjaan pelatihan Anda, termasuk peran IAM yang digunakan SageMaker AI untuk melatih model Anda, apakah pekerjaan pelatihan Anda harus terhubung ke cloud pribadi virtual (VPC), dan kunci enkripsi apa pun untuk mengamankan data Anda.
## Informasi tambahan
Di bidang **Informasi Tambahan**, Anda dapat mengedit nama pekerjaan pelatihan. Anda juga dapat menambah dan menghapus tag dalam bentuk pasangan nilai kunci untuk membantu mengatur dan mengkategorikan pekerjaan pelatihan fine-tuning Anda.
**Setelah memberikan informasi untuk konfigurasi fine-tuning Anda, pilih Kirim.** Jika model yayasan pra-terlatih yang Anda pilih untuk disempurnakan memerlukan persetujuan eksplisit dari perjanjian lisensi pengguna akhir (EULA) sebelum pelatihan, EULA disediakan di jendela pop-up. Untuk menerima ketentuan EULA, pilih **Terima**. Anda bertanggung jawab untuk meninjau dan mematuhi persyaratan lisensi yang berlaku dan memastikannya dapat diterima untuk kasus penggunaan Anda sebelum mengunduh atau menggunakan model.
# Menyebarkan model di Studio
Untuk menerapkan model JumpStart foundation, navigasikan ke kartu detail model di UI Studio. Untuk informasi selengkapnya tentang cara membuka JumpStart di Studio, lihat[Buka JumpStart di Studio](studio-jumpstart.md#jumpstart-open-studio). Setelah menavigasi ke halaman detail model pilihan Anda, pilih **Deploy** di sudut kanan atas UI Studio. Kemudian, ikuti langkah-langkah di [Deploy model dengan SageMaker Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/realtime-endpoints-deploy-models.html#deploy-models-studio).
**penting**
Beberapa model dasar memerlukan penerimaan eksplisit dari perjanjian lisensi pengguna akhir (EULA) sebelum penerapan. Untuk informasi selengkapnya, lihat [Penerimaan EULA di Amazon Studio SageMaker](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula-studio).
# Mengevaluasi model di Studio
Amazon SageMaker JumpStart memiliki integrasi dengan SageMaker Clarify foundation model evaluations (FME) di Studio. Jika JumpStart model memiliki kemampuan evaluasi bawaan yang tersedia, Anda dapat memilih **Evaluasi** di sudut kanan atas halaman detail model di UI JumpStart Studio. Untuk informasi lebih lanjut, lihat [Mengevaluasi model pondasi](https://docs.aws.amazon.com/sagemaker/latest/dg/jumpstart-foundation-models-evaluate.html).
# Gunakan SageMaker JumpStart Model Anda di Amazon Bedrock
Anda dapat mendaftarkan model yang telah Anda terapkan dari Amazon SageMaker JumpStart ke Amazon Bedrock. Dengan Amazon Bedrock, Anda dapat meng-host model Anda di belakang beberapa titik akhir. Anda juga dapat menggunakan fitur Amazon Bedrock, seperti Agen dan Pangkalan Pengetahuan. Untuk informasi selengkapnya tentang menggunakan model Amazon Bedrock, lihat[https://docs.aws.amazon.com/bedrock/latest/userguide/amazon-bedrock-marketplace.html](https://docs.aws.amazon.com/bedrock/latest/userguide/amazon-bedrock-marketplace.html).
**penting**
Untuk memigrasikan model Anda ke Amazon Bedrock, sebaiknya lampirkan [AmazonBedrockFullAccess](https://docs.aws.amazon.com/aws-managed-policy/latest/reference/AmazonBedrockFullAccess.html)kebijakan ke peran IAM Anda. Jika Anda tidak dapat melampirkan kebijakan terkelola, pastikan peran IAM Anda memiliki izin berikut:
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "BedrockAll",
"Effect": "Allow",
"Action": [
"bedrock:*"
],
"Resource": "*"
},
{
"Sid": "DescribeKey",
"Effect": "Allow",
"Action": [
"kms:DescribeKey"
],
"Resource": "arn:*:kms:*:::*"
},
{
"Sid": "APIsWithAllResourceAccess",
"Effect": "Allow",
"Action": [
"iam:ListRoles",
"ec2:DescribeVpcs",
"ec2:DescribeSubnets",
"ec2:DescribeSecurityGroups"
],
"Resource": "*"
},
{
"Sid": "MarketplaceModelEndpointMutatingAPIs",
"Effect": "Allow",
"Action": [
"sagemaker:CreateEndpoint",
"sagemaker:CreateEndpointConfig",
"sagemaker:CreateModel",
"sagemaker:CreateInferenceComponent",
"sagemaker:DeleteInferenceComponent",
"sagemaker:DeleteEndpoint",
"sagemaker:UpdateEndpoint"
],
"Resource": [
"arn:aws:sagemaker:*:*:endpoint/*",
"arn:aws:sagemaker:*:*:endpoint-config/*",
"arn:aws:sagemaker:*:*:model/*"
],
"Condition": {
"StringEquals": {
"aws:CalledViaLast": "bedrock.amazonaws.com"
}
}
},
{
"Sid": "BedrockEndpointTaggingOperations",
"Effect": "Allow",
"Action": [
"sagemaker:AddTags",
"sagemaker:DeleteTags"
],
"Resource": [
"arn:aws:sagemaker:*:*:endpoint/*",
"arn:aws:sagemaker:*:*:endpoint-config/*",
"arn:aws:sagemaker:*:*:model/*"
]
},
{
"Sid": "MarketplaceModelEndpointNonMutatingAPIs",
"Effect": "Allow",
"Action": [
"sagemaker:DescribeEndpoint",
"sagemaker:DescribeEndpointConfig",
"sagemaker:DescribeModel",
"sagemaker:DescribeInferenceComponent",
"sagemaker:ListEndpoints",
"sagemaker:ListTags"
],
"Resource": [
"arn:aws:sagemaker:*:*:endpoint/*",
"arn:aws:sagemaker:*:*:endpoint-config/*",
"arn:aws:sagemaker:*:*:model/*"
],
"Condition": {
"StringEquals": {
"aws:CalledViaLast": "bedrock.amazonaws.com"
}
}
},
{
"Sid": "BedrockEndpointInvokingOperations",
"Effect": "Allow",
"Action": [
"sagemaker:InvokeEndpoint",
"sagemaker:InvokeEndpointWithResponseStream"
],
"Resource": [
"arn:aws:sagemaker:*:*:endpoint/*"
],
"Condition": {
"StringEquals": {
"aws:CalledViaLast": "bedrock.amazonaws.com"
}
}
},
{
"Sid": "DiscoveringMarketplaceModel",
"Effect": "Allow",
"Action": [
"sagemaker:DescribeHubContent"
],
"Resource": [
"arn:aws:sagemaker:*:aws:hub-content/SageMakerPublicHub/Model/*",
"arn:aws:sagemaker:*:aws:hub/SageMakerPublicHub"
]
},
{
"Sid": "AllowMarketplaceModelsListing",
"Effect": "Allow",
"Action": [
"sagemaker:ListHubContents"
],
"Resource": "arn:aws:sagemaker:*:aws:hub/SageMakerPublicHub"
},
{
"Sid": "RetrieveSubscribedMarketplaceLicenses",
"Effect": "Allow",
"Action": [
"license-manager:ListReceivedLicenses"
],
"Resource": [
"*"
]
},
{
"Sid": "PassRoleToSageMaker",
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": [
"arn:aws:iam::*:role/*Sagemaker*ForBedrock*"
],
"Condition": {
"StringEquals": {
"iam:PassedToService": [
"sagemaker.amazonaws.com",
"bedrock.amazonaws.com"
]
}
}
},
{
"Sid": "PassRoleToBedrock",
"Effect": "Allow",
"Action": [
"iam:PassRole"
],
"Resource": "arn:aws:iam::*:role/*AmazonBedrock*",
"Condition": {
"StringEquals": {
"iam:PassedToService": [
"bedrock.amazonaws.com"
]
}
}
}
]
}
```
Kebijakan Amazon Bedrock Full Access hanya menyediakan izin ke Amazon Bedrock API. Untuk menggunakan Amazon Bedrock di Konsol Manajemen AWS, peran IAM Anda juga harus memiliki izin berikut:
```
{
"Sid": "AllowConsoleS3AccessForBedrockMarketplace",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:GetBucketCORS",
"s3:ListBucket",
"s3:ListBucketVersions",
"s3:GetBucketLocation"
],
"Resource": "*"
}
```
Jika Anda menulis kebijakan Anda sendiri, Anda harus menyertakan pernyataan kebijakan yang memungkinkan tindakan Amazon Bedrock Marketplace untuk sumber daya. Misalnya, kebijakan berikut memungkinkan Amazon Bedrock menggunakan `InvokeModel` operasi untuk model yang telah Anda terapkan ke titik akhir.
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "BedrockAll",
"Effect": "Allow",
"Action": [
"bedrock:InvokeModel"
],
"Resource": [
"arn:aws:bedrock:us-east-1:111122223333:marketplace/model-endpoint/all-access"
]
},
{
"Sid": "VisualEditor1",
"Effect": "Allow",
"Action": ["sagemaker:InvokeEndpoint"],
"Resource": "arn:aws:sagemaker:us-east-1:111122223333:endpoint/*",
"Condition": {
"StringEquals": {
"aws:ResourceTag/project": "example-project-id",
"aws:CalledViaLast": "bedrock.amazonaws.com"
}
}
}
]
}
```
Setelah menerapkan model, Anda mungkin dapat menggunakannya di Amazon Bedrock. Untuk melihat apakah Anda dapat menggunakannya di Amazon Bedrock, navigasikan ke kartu detail model di UI Studio. Jika kartu model mengatakan bahwa itu **Bedrock Ready**, Anda dapat mendaftarkan model dengan Amazon Bedrock.
**penting**
Secara default Amazon SageMaker JumpStart menonaktifkan akses jaringan untuk model yang Anda terapkan. Jika Anda telah mengaktifkan akses jaringan, Anda tidak akan dapat menggunakan model dengan Amazon Bedrock. Jika Anda ingin menggunakan model dengan Amazon Bedrock, Anda harus menerapkannya kembali dengan akses jaringan dinonaktifkan.
Untuk menggunakannya dengan Amazon Bedrock, navigasikan ke halaman **detail Endpoint** dan pilih **Use with Bedrock** di sudut kanan atas UI Studio. Setelah Anda melihat pop-up, pilih **Register to Bedrock**.
# Gunakan model foundation di Amazon SageMaker Studio Classic
Anda dapat menyempurnakan dan menerapkan model JumpStart foundation yang tersedia untuk umum dan eksklusif melalui UI Studio Classic.
**penting**
Per 30 November 2023, pengalaman Amazon SageMaker Studio sebelumnya sekarang bernama Amazon SageMaker Studio Classic. Bagian berikut khusus untuk menggunakan aplikasi Studio Classic. Untuk informasi tentang menggunakan pengalaman Studio yang diperbarui, lihat[SageMaker Studio Amazon](studio-updated.md).
Studio Classic masih dipertahankan untuk beban kerja yang ada tetapi tidak lagi tersedia untuk orientasi. Anda hanya dapat menghentikan atau menghapus aplikasi Studio Classic yang ada dan tidak dapat membuat yang baru. Kami menyarankan Anda [memigrasikan beban kerja Anda ke pengalaman Studio yang baru](studio-updated-migrate.md).
Untuk memulai dengan Studio Classic, lihat[Luncurkan Amazon SageMaker Studio Classic](studio-launch.md).
![\[JumpStart foundation models available in Amazon SageMaker Studio Classic.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-fm-studio.png)
Setelah membuka Amazon SageMaker Studio Classic**, pilih Model, notebook, solusi** di SageMaker JumpStart bagian panel navigasi. Kemudian, gulir ke bawah untuk menemukan bagian **Foundation Models: Text Generation** **atau Foundation Models: Image Generation** tergantung pada kasus penggunaan Anda.
Anda dapat memilih **Lihat model** pada kartu model foundation yang disarankan, atau pilih **Jelajahi Semua Model** untuk melihat semua model dasar yang tersedia baik untuk pembuatan teks atau pembuatan gambar. Jika Anda memilih untuk melihat semua model yang tersedia, Anda dapat memfilter model yang tersedia lebih lanjut berdasarkan tugas, tipe data, jenis konten, atau kerangka kerja. Anda juga dapat mencari nama model langsung di bilah **Pencarian**. Jika Anda membutuhkan panduan dalam memilih model, lihat[Model pondasi yang tersedia](jumpstart-foundation-models-latest.md).
**penting**
Beberapa model dasar memerlukan penerimaan eksplisit dari perjanjian lisensi pengguna akhir (EULA). Untuk informasi selengkapnya, lihat [Penerimaan EULA di Amazon Studio SageMaker](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula-studio).
Setelah Anda memilih **model View** untuk model dasar pilihan Anda di Studio Classic, Anda dapat menerapkan model. Untuk informasi selengkapnya, lihat [Menyebarkan Model](jumpstart-deploy.md).
Anda juga dapat memilih **Buka notebook** di bagian **Run in notebook** untuk menjalankan contoh notebook untuk model foundation langsung di Studio Classic.
**catatan**
Untuk menerapkan model pondasi berpemilik di Studio Classic, Anda harus terlebih dahulu berlangganan model di. AWS Marketplace AWS Marketplace Tautan disediakan di notebook contoh terkait dalam Studio Classic.
Jika modelnya dapat disetel dengan baik, Anda juga dapat menyempurnakan modelnya. Untuk informasi selengkapnya, lihat [Sempurnakan Model](jumpstart-fine-tune.md). Untuk daftar model JumpStart pondasi mana yang dapat disetel dengan baik, lihat. [Model pondasi dan hiperparameter untuk fine-tuning](jumpstart-foundation-models-fine-tuning.md)
# Gunakan model foundation dengan SageMaker Python SDK
Semua model JumpStart foundation tersedia untuk penerapan terprogram menggunakan SDK SageMaker Python.
Untuk menerapkan model foundation yang tersedia untuk umum, Anda dapat menggunakan ID model mereka. Anda dapat menemukan model IDs untuk semua model fondasi yang tersedia untuk umum di [Algoritma Bawaan dengan Tabel Model yang telah dilatih sebelumnya](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html). Cari nama model pondasi di bilah **Pencarian**. Gunakan menu tarik-turun **Tampilkan entri** atau kontrol pagination untuk menavigasi model yang tersedia.
Model berpemilik harus digunakan menggunakan informasi paket model setelah berlangganan model di. AWS Marketplace
Anda dapat menemukan daftar model yang JumpStart tersedia di[Model pondasi yang tersedia](jumpstart-foundation-models-latest.md).
**penting**
Beberapa model dasar memerlukan penerimaan eksplisit dari perjanjian lisensi pengguna akhir (EULA). Untuk informasi selengkapnya, lihat [Penerimaan EULA dengan SDK SageMaker Python](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula-python-sdk).
Bagian berikut menunjukkan cara menyempurnakan model fondasi yang tersedia untuk umum menggunakan `JumpStartEstimator` kelas, menyebarkan model fondasi yang tersedia untuk umum menggunakan `JumpStartModel` kelas, dan menerapkan model fondasi berpemilik menggunakan kelas. `ModelPackage`
**Topics**
+ [Sempurnakan model foundation yang tersedia untuk umum dengan kelasnya `JumpStartEstimator`](jumpstart-foundation-models-use-python-sdk-estimator-class.md)
+ [Menyebarkan model pondasi yang tersedia untuk umum dengan kelas `JumpStartModel`](jumpstart-foundation-models-use-python-sdk-model-class.md)
+ [Menyebarkan model pondasi berpemilik dengan kelas `ModelPackage`](jumpstart-foundation-models-use-python-sdk-proprietary.md)
# Sempurnakan model foundation yang tersedia untuk umum dengan kelasnya `JumpStartEstimator`
**catatan**
Untuk petunjuk tentang model foundation fine-tuning di hub yang dikuratori pribadi, lihat. [Menyesuaikan model hub yang dikuratori](jumpstart-curated-hubs-fine-tune.md)
Anda dapat menyempurnakan algoritma bawaan atau model yang telah dilatih sebelumnya hanya dalam beberapa baris kode menggunakan SDK. SageMaker Python
1. Pertama, temukan ID model untuk model pilihan Anda di [Algoritma Bawaan dengan Tabel Model yang telah dilatih sebelumnya](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html).
1. Dengan menggunakan ID model, tentukan pekerjaan pelatihan Anda sebagai JumpStart penaksir.
```
from sagemaker.jumpstart.estimator import JumpStartEstimator
model_id = "huggingface-textgeneration1-gpt-j-6b"
estimator = JumpStartEstimator(model_id=model_id)
```
1. Jalankan `estimator.fit()` pada model Anda, arahkan ke data pelatihan yang akan digunakan untuk fine-tuning.
```
estimator.fit(
{"train": training_dataset_s3_path, "validation": validation_dataset_s3_path}
)
```
1. Kemudian, gunakan `deploy` metode ini untuk secara otomatis menerapkan model Anda untuk inferensi. Dalam contoh ini, kami menggunakan model GPT-J 6B dari. Hugging Face
```
predictor = estimator.deploy()
```
1. Anda kemudian dapat menjalankan inferensi dengan model yang diterapkan menggunakan metode ini`predict`.
```
question = "What is Southern California often abbreviated as?"
response = predictor.predict(question)
print(response)
```
**catatan**
Contoh ini menggunakan model dasar GPT-J 6B, yang cocok untuk berbagai kasus penggunaan pembuatan teks termasuk menjawab pertanyaan, pengenalan entitas bernama, ringkasan, dan banyak lagi. Untuk informasi selengkapnya tentang kasus penggunaan model, lihat[Model pondasi yang tersedia](jumpstart-foundation-models-latest.md).
Anda dapat secara opsional menentukan versi model atau jenis instans saat membuat`JumpStartEstimator`. Untuk informasi lebih lanjut tentang `JumpStartEstimator ` kelas dan parameternya, lihat [JumpStartEstimator](https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.jumpstart.estimator.JumpStartEstimator).
## Periksa jenis contoh default
Anda dapat secara opsional menyertakan versi model atau jenis instance tertentu saat menyempurnakan model yang telah dilatih sebelumnya menggunakan kelas. `JumpStartEstimator` Semua JumpStart model memiliki tipe instance default. Ambil jenis instans pelatihan default menggunakan kode berikut:
```
from sagemaker import instance_types
instance_type = instance_types.retrieve_default(
model_id=model_id,
model_version=model_version,
scope="training")
print(instance_type)
```
Anda dapat melihat semua jenis instance yang didukung untuk JumpStart model tertentu dengan `instance_types.retrieve()` metode ini.
## Periksa hiperparameter default
Untuk memeriksa hyperparameters default yang digunakan untuk pelatihan, Anda dapat menggunakan `retrieve_default()` metode dari `hyperparameters` kelas.
```
from sagemaker import hyperparameters
my_hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version)
print(my_hyperparameters)
# Optionally override default hyperparameters for fine-tuning
my_hyperparameters["epoch"] = "3"
my_hyperparameters["per_device_train_batch_size"] = "4"
# Optionally validate hyperparameters for the model
hyperparameters.validate(model_id=model_id, model_version=model_version, hyperparameters=my_hyperparameters)
```
Untuk informasi lebih lanjut tentang hiperparameter yang tersedia, lihat[Hiperparameter fine-tuning yang umumnya didukung](jumpstart-foundation-models-fine-tuning.md#jumpstart-foundation-models-fine-tuning-hyperparameters).
## Periksa definisi metrik default
Anda juga dapat memeriksa definisi metrik default:
```
print(metric_definitions.retrieve_default(model_id=model_id, model_version=model_version))
```
# Menyebarkan model pondasi yang tersedia untuk umum dengan kelas `JumpStartModel`
Anda dapat menerapkan algoritma bawaan atau model pra-terlatih ke titik akhir SageMaker AI hanya dalam beberapa baris kode menggunakan SDK. SageMaker Python
1. Pertama, temukan ID model untuk model pilihan Anda di [Algoritma Bawaan dengan Tabel Model yang telah dilatih sebelumnya](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html).
1. Dengan menggunakan ID model, tentukan model Anda sebagai JumpStart model.
```
from sagemaker.jumpstart.model import JumpStartModel
model_id = "huggingface-text2text-flan-t5-xl"
my_model = JumpStartModel(model_id=model_id)
```
1. Gunakan `deploy` metode ini untuk menerapkan model Anda secara otomatis untuk inferensi. Dalam contoh ini, kami menggunakan model FLAN-T5 XL dari. Hugging Face
```
predictor = my_model.deploy()
```
1. Anda kemudian dapat menjalankan inferensi dengan model yang diterapkan menggunakan metode ini`predict`.
```
question = "What is Southern California often abbreviated as?"
response = predictor.predict(question)
print(response)
```
**catatan**
Contoh ini menggunakan model dasar FLAN-T5 XL, yang cocok untuk berbagai kasus penggunaan pembuatan teks termasuk menjawab pertanyaan, ringkasan, pembuatan chatbot, dan banyak lagi. Untuk informasi selengkapnya tentang kasus penggunaan model, lihat[Model pondasi yang tersedia](jumpstart-foundation-models-latest.md).
Untuk informasi lebih lanjut tentang `JumpStartModel ` kelas dan parameternya, lihat [JumpStartModel](https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.jumpstart.model.JumpStartModel).
## Periksa jenis contoh default
Anda dapat secara opsional menyertakan versi model atau jenis instance tertentu saat menerapkan model yang telah dilatih sebelumnya menggunakan kelas. `JumpStartModel` Semua JumpStart model memiliki tipe instance default. Ambil jenis instance penerapan default menggunakan kode berikut:
```
from sagemaker import instance_types
instance_type = instance_types.retrieve_default(
model_id=model_id,
model_version=model_version,
scope="inference")
print(instance_type)
```
Lihat semua tipe instans yang didukung untuk JumpStart model tertentu dengan `instance_types.retrieve()` metode.
## Gunakan komponen inferensi untuk menerapkan beberapa model ke titik akhir bersama
Komponen inferensi adalah objek hosting SageMaker AI yang dapat Anda gunakan untuk menerapkan satu atau lebih model ke titik akhir untuk meningkatkan fleksibilitas dan skalabilitas. Anda harus mengubah `endpoint_type` JumpStart model Anda menjadi inference-component-based bukan titik akhir berbasis model default.
```
predictor = my_model.deploy(
endpoint_name = 'jumpstart-model-id-123456789012',
endpoint_type = EndpointType.INFERENCE_COMPONENT_BASED
)
```
Untuk informasi lebih lanjut tentang membuat titik akhir dengan komponen inferensi dan penerapan model SageMaker AI, lihat. [Pemanfaatan sumber daya bersama dengan beberapa model](realtime-endpoints-deploy-models.md#deployed-shared-utilization)
## Periksa format inferensi input dan output yang valid
Untuk memeriksa format input dan output data yang valid untuk inferensi, Anda dapat menggunakan `retrieve_options()` metode dari `Serializers` dan `Deserializers` kelas.
```
print(sagemaker.serializers.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.deserializers.retrieve_options(model_id=model_id, model_version=model_version))
```
## Periksa konten yang didukung dan terima jenis
Demikian pula, Anda dapat menggunakan `retrieve_options()` metode ini untuk memeriksa konten yang didukung dan menerima jenis untuk model.
```
print(sagemaker.content_types.retrieve_options(model_id=model_id, model_version=model_version))
print(sagemaker.accept_types.retrieve_options(model_id=model_id, model_version=model_version))
```
Untuk informasi selengkapnya tentang utilitas, lihat [Utilitas APIs](https://sagemaker.readthedocs.io/en/stable/api/utility/index.html).
# Menyebarkan model pondasi berpemilik dengan kelas `ModelPackage`
Model berpemilik harus digunakan menggunakan informasi paket model setelah berlangganan model di. AWS Marketplace Untuk informasi selengkapnya tentang SageMaker AI dan AWS Marketplace, lihat [Beli dan Jual Algoritma dan Model SageMaker AI Amazon di AWS Marketplace](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-marketplace.html). Untuk menemukan AWS Marketplace tautan untuk model kepemilikan terbaru, lihat [Memulai Amazon SageMaker JumpStart](https://aws.amazon.com/sagemaker/jumpstart/getting-started/?sagemaker-jumpstart-cards.sort-by=item.additionalFields.priority&sagemaker-jumpstart-cards.sort-order=asc&awsf.sagemaker-jumpstart-filter-product-type=product-type%23foundation-model&awsf.sagemaker-jumpstart-filter-text=*all&awsf.sagemaker-jumpstart-filter-vision=*all&awsf.sagemaker-jumpstart-filter-tabular=*all&awsf.sagemaker-jumpstart-filter-audio-tasks=*all&awsf.sagemaker-jumpstart-filter-multimodal=*all&awsf.sagemaker-jumpstart-filter-RL=*all&sagemaker-jumpstart-cards.q=proprietary&sagemaker-jumpstart-cards.q_operator=AND).
Setelah berlangganan model pilihan Anda AWS Marketplace, Anda dapat menerapkan model foundation menggunakan SageMaker Python SDK dan SDK yang terkait dengan penyedia model. Misalnya, AI21 Labs, Cohere, dan LightOn menggunakan`"ai21[SM]"`,`cohere-sagemaker`, dan `lightonsage` paket, masing-masing.
Misalnya, untuk mendefinisikan JumpStart model menggunakan Jurassic-2 Jumbo Instruct dari AI21 Labs, gunakan kode berikut:
```
import sagemaker
import ai21
role = get_execution_role()
sagemaker_session = sagemaker.Session()
model_package_arn = "arn:aws:sagemaker:us-east-1:865070037744:model-package/j2-jumbo-instruct-v1-1-43-4e47c49e61743066b9d95efed6882f35"
my_model = ModelPackage(
role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session
)
```
Misalnya step-by-step, temukan dan jalankan notebook yang terkait dengan model pondasi berpemilik pilihan Anda di SageMaker Studio Classic. Untuk informasi selengkapnya, lihat [Gunakan model foundation di Amazon SageMaker Studio Classic](jumpstart-foundation-models-use-studio.md). Untuk informasi selengkapnya tentang SageMaker Python SDK, lihat [https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.model.ModelPackage](https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.model.ModelPackage).
# Temukan model foundation di Konsol SageMaker AI
Anda dapat menjelajahi model JumpStart foundation langsung melalui Amazon SageMaker AI Console.
1. Buka konsol Amazon SageMaker AI di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. Temukan **JumpStart**di panel navigasi kiri dan pilih **model Foundation**.
1. Jelajahi model atau cari model tertentu. Jika Anda membutuhkan panduan untuk pemilihan model, lihat[Model pondasi yang tersedia](jumpstart-foundation-models-latest.md). Pilih **Lihat model** untuk melihat halaman detail model untuk model dasar pilihan Anda.
1. Jika model adalah model berpemilik, pilih **Berlangganan** di sudut kanan atas halaman detail model untuk berlangganan model di AWS Marketplace. Anda harus menerima email yang mengonfirmasi langganan Anda ke model pilihan Anda. Untuk informasi selengkapnya tentang SageMaker AI dan AWS Marketplace, lihat [Beli dan Jual Algoritma dan Model SageMaker AI Amazon di AWS Marketplace](https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-marketplace.html). Model foundation yang tersedia untuk umum tidak memerlukan langganan.
1. Untuk melihat contoh buku catatan GitHub, pilih **Lihat kode** di sudut kanan atas halaman detail model.
1. Untuk melihat dan menjalankan contoh notebook secara langsung di Amazon SageMaker Studio Classic, pilih **Buka notebook di Studio** di sudut kanan atas halaman detail model.
# Sumber model dan perjanjian lisensi
Amazon SageMaker JumpStart menyediakan akses ke ratusan model yayasan yang tersedia untuk umum dan eksklusif dari sumber dan mitra pihak ketiga. Anda dapat menjelajahi pemilihan model JumpStart foundation langsung di konsol SageMaker AI, Studio, atau Studio Classic.
## Lisensi dan sumber model
Amazon SageMaker JumpStart menyediakan akses ke model yayasan yang tersedia untuk umum dan eksklusif. Model Foundation onboard dan dikelola dari penyedia open source dan proprietary pihak ketiga. Dengan demikian, mereka dirilis di bawah lisensi yang berbeda seperti yang ditunjuk oleh sumber model. Pastikan untuk meninjau lisensi untuk model yayasan apa pun yang Anda gunakan. Anda bertanggung jawab untuk meninjau dan mematuhi persyaratan lisensi yang berlaku dan memastikannya dapat diterima untuk kasus penggunaan Anda sebelum mengunduh atau menggunakan konten. Beberapa contoh lisensi model pondasi umum meliputi:
+ Alexa Guru Model
+ Apache 2.0
+ BigScience Lisensi AI yang Bertanggung Jawab v1.0
+ Lisensi CreativeML Open RAIL\$1\$1-M
Demikian pula, untuk model yayasan berpemilik apa pun, pastikan untuk meninjau dan mematuhi ketentuan penggunaan dan pedoman penggunaan apa pun dari penyedia model. Jika Anda memiliki pertanyaan tentang informasi lisensi untuk model kepemilikan tertentu, hubungi penyedia model secara langsung. Anda dapat menemukan informasi kontak penyedia model di tab **Support** di setiap halaman model AWS Marketplace.
## Perjanjian lisensi pengguna akhir
Beberapa model JumpStart dasar memerlukan penerimaan eksplisit dari perjanjian lisensi pengguna akhir (EULA) sebelum digunakan.
### Penerimaan EULA di Amazon Studio SageMaker
Anda mungkin diminta untuk menerima perjanjian lisensi pengguna akhir sebelum menyempurnakan, menerapkan, atau mengevaluasi model dasar di Studio. JumpStart Untuk memulai dengan model JumpStart foundation di Studio, lihat[Gunakan model pondasi di Studio](jumpstart-foundation-models-use-studio-updated.md).
**penting**
Per 30 November 2023, pengalaman Amazon SageMaker Studio sebelumnya sekarang bernama Amazon SageMaker Studio Classic. Bagian berikut khusus untuk menggunakan pengalaman Studio yang diperbarui. Untuk informasi tentang menggunakan aplikasi Studio Classic, lihat[Amazon SageMaker Studio Klasik](studio.md).
Beberapa model JumpStart dasar memerlukan penerimaan perjanjian lisensi pengguna akhir sebelum penerapan. Jika ini berlaku untuk model dasar yang Anda pilih untuk digunakan, Studio akan meminta Anda dengan jendela yang berisi konten EULA. Anda bertanggung jawab untuk meninjau dan mematuhi persyaratan lisensi yang berlaku dan memastikannya dapat diterima untuk kasus penggunaan Anda sebelum mengunduh atau menggunakan model.
#### Penerimaan EULA di Amazon SageMaker Studio Classic
Anda mungkin diminta untuk menerima perjanjian lisensi pengguna akhir sebelum menerapkan model foundation atau membuka notebook model JumpStart JumpStart foundation di Studio Classic. Untuk memulai dengan model JumpStart foundation di Studio Classic, lihat[Gunakan model foundation di Amazon SageMaker Studio Classic](jumpstart-foundation-models-use-studio.md).
**penting**
Per 30 November 2023, pengalaman Amazon SageMaker Studio sebelumnya sekarang bernama Amazon SageMaker Studio Classic. Bagian berikut khusus untuk menggunakan aplikasi Studio Classic. Untuk informasi tentang menggunakan pengalaman Studio yang diperbarui, lihat[SageMaker Studio Amazon](studio-updated.md).
Studio Classic masih dipertahankan untuk beban kerja yang ada tetapi tidak lagi tersedia untuk orientasi. Anda hanya dapat menghentikan atau menghapus aplikasi Studio Classic yang ada dan tidak dapat membuat yang baru. Kami menyarankan Anda [memigrasikan beban kerja Anda ke pengalaman Studio yang baru](studio-updated-migrate.md).
Beberapa model JumpStart dasar memerlukan penerimaan perjanjian lisensi pengguna akhir sebelum penerapan. **Jika ini berlaku untuk model dasar yang Anda pilih untuk digunakan, Studio Classic akan meminta Anda dengan jendela berjudul **Tinjau Perjanjian Lisensi Pengguna Akhir (EULA) dan Kebijakan Penggunaan yang Dapat Diterima (AUP) di bawah ini** setelah Anda memilih **Deploy** atau Buka buku catatan.** Anda bertanggung jawab untuk meninjau dan mematuhi persyaratan lisensi yang berlaku dan memastikannya dapat diterima untuk kasus penggunaan Anda sebelum mengunduh atau menggunakan model.
### Penerimaan EULA dengan SDK SageMaker Python
Bagian berikut menunjukkan cara mendeklarasikan penerimaan EULA secara eksplisit saat menerapkan atau menyempurnakan model dengan SDK. JumpStart SageMaker Python Untuk informasi selengkapnya tentang memulai dengan model JumpStart foundation menggunakan SageMaker Python SDK, lihat[Gunakan model foundation dengan SageMaker Python SDK](jumpstart-foundation-models-use-python-sdk.md).
Sebelum memulai, pastikan Anda melakukan hal berikut:
+ Tingkatkan ke versi terbaru dari model yang Anda gunakan.
+ Instal SageMaker Python SDK versi terbaru.
**penting**
Untuk menggunakan alur kerja berikut, Anda harus menginstal SDK [v2.198.0](https://github.com/aws/sagemaker-python-sdk/releases/tag/v2.198.0) atau yang lebih baru. SageMaker Python
#### Penerimaan EULA saat menerapkan model JumpStart
Untuk model yang memerlukan penerimaan perjanjian lisensi pengguna akhir, Anda harus secara eksplisit menyatakan penerimaan EULA saat menerapkan model Anda. JumpStart
```
from sagemaker.jumpstart.model import JumpStartModel
model_id = "meta-textgeneration-llama-2-13b"
my_model = JumpStartModel(model_id=model_id)
# Declare EULA acceptance when deploying your JumpStart model
predictor = my_model.deploy(accept_eula=True)
```
`accept_eula`Nilai secara `None` default dan harus didefinisikan ulang secara eksplisit untuk menerima `True` perjanjian lisensi pengguna akhir. Untuk informasi selengkapnya, lihat [JumpStartModel](https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.jumpstart.model.JumpStartModel).
#### Penerimaan EULA saat menyempurnakan model JumpStart
Untuk model fine-tuning yang memerlukan penerimaan perjanjian lisensi pengguna akhir, Anda harus secara eksplisit menyatakan penerimaan EULA saat menjalankan metode untuk estimator Anda. `fit()` JumpStart Setelah menyempurnakan model yang telah dilatih sebelumnya, bobot model asli diubah. Oleh karena itu, ketika Anda menerapkan model fine-tuned nanti, Anda tidak perlu menerima EULA.
**catatan**
Contoh berikut ini ditetapkan`accept_eula=False`. Anda harus mengubah nilainya secara manual untuk menerima EULA. `True`
```
from sagemaker.jumpstart.estimator import JumpStartEstimator
model_id = "meta-textgeneration-llama-2-13b"
# Declare EULA acceptance when defining your JumpStart estimator
estimator = JumpStartEstimator(model_id=model_id)
estimator.fit(accept_eula=False,
{"train": training_dataset_s3_path, "validation": validation_dataset_s3_path}
)
```
`accept_eula`Nilai secara `None` default dan harus didefinisikan ulang secara eksplisit seperti `"true"` dalam `fit()` metode untuk menerima perjanjian lisensi pengguna akhir. Untuk informasi selengkapnya, lihat [JumpStartEstimator](https://sagemaker.readthedocs.io/en/stable/api/training/estimators.html#sagemaker.jumpstart.estimator.JumpStartEstimator).
#### Versi SageMaker Python SDK penerimaan EULA lebih awal dari 2.198.0
**penting**
Saat menggunakan versi lebih awal dari [2.198.0](https://github.com/aws/sagemaker-python-sdk/releases/tag/v2.198.0) SageMaker Python SDK, Anda harus menggunakan SageMaker `Predictor` kelas untuk menerima model EULA.
Setelah menerapkan model JumpStart dasar secara terprogram menggunakan SageMaker Python SDK, Anda dapat menjalankan inferensi terhadap titik akhir yang diterapkan dengan kelas. SageMaker `[Predictor](https://sagemaker.readthedocs.io/en/stable/api/inference/predictors.html)` Untuk model yang memerlukan penerimaan perjanjian lisensi pengguna akhir, Anda harus secara eksplisit menyatakan penerimaan EULA dalam panggilan Anda ke kelas: `Predictor`
```
predictor.predict(payload, custom_attributes="accept_eula=true")
```
`accept_eula`Nilai secara `false` default dan harus didefinisikan ulang secara eksplisit untuk menerima `true` perjanjian lisensi pengguna akhir. Prediktor mengembalikan kesalahan jika Anda mencoba menjalankan inferensi saat `accept_eula` disetel ke. `false` Untuk informasi selengkapnya tentang memulai dengan model JumpStart foundation menggunakan SageMaker Python SDK, lihat[Gunakan model foundation dengan SageMaker Python SDK](jumpstart-foundation-models-use-python-sdk.md).
**penting**
`custom_attributes`Parameter menerima pasangan kunci-nilai dalam format. `"key1=value1;key2=value2"` Jika Anda menggunakan kunci yang sama beberapa kali, server inferensi menggunakan nilai terakhir yang terkait dengan kunci. Misalnya, jika Anda meneruskan `"accept_eula=false;accept_eula=true"` ke `custom_attributes` parameter, maka server inferensi mengaitkan nilai `true` dengan kunci. `accept_eula`
# Kustomisasi model pondasi
Model foundation adalah model yang sangat kuat yang mampu menyelesaikan beragam tugas. Untuk menyelesaikan sebagian besar tugas secara efektif, model ini memerlukan beberapa bentuk penyesuaian.
Cara yang disarankan untuk terlebih dahulu menyesuaikan model pondasi ke kasus penggunaan tertentu adalah melalui rekayasa yang cepat. Menyediakan model fondasi Anda dengan petunjuk yang direkayasa dengan baik dan kaya konteks dapat membantu mencapai hasil yang diinginkan tanpa penyempurnaan atau perubahan bobot model. Untuk informasi selengkapnya, lihat [Rekayasa cepat untuk model pondasi](jumpstart-foundation-models-customize-prompt-engineering.md).
Jika rekayasa cepat saja tidak cukup untuk menyesuaikan model pondasi Anda dengan tugas tertentu, Anda dapat menyempurnakan model fondasi pada data spesifik domain tambahan. Untuk informasi selengkapnya, lihat [Model pondasi dan hiperparameter untuk fine-tuning](jumpstart-foundation-models-fine-tuning.md). Proses fine-tuning melibatkan perubahan bobot model.
Jika Anda ingin menyesuaikan model Anda dengan informasi dari perpustakaan pengetahuan tanpa pelatihan ulang, lihat[Pengambilan Generasi Augmented](jumpstart-foundation-models-customize-rag.md).
# Rekayasa cepat untuk model pondasi
Rekayasa cepat adalah proses merancang dan menyempurnakan petunjuk atau rangsangan input untuk model bahasa untuk menghasilkan jenis output tertentu. Rekayasa cepat melibatkan pemilihan kata kunci yang tepat, memberikan konteks, dan membentuk input dengan cara yang mendorong model untuk menghasilkan respons yang diinginkan dan merupakan teknik penting untuk secara aktif membentuk perilaku dan output model pondasi.
Rekayasa cepat yang efektif sangat penting untuk mengarahkan perilaku model dan mencapai respons yang diinginkan. Melalui teknik yang cepat, Anda dapat mengontrol nada, gaya, dan keahlian domain model tanpa lebih melibatkan langkah-langkah penyesuaian seperti fine-tuning. Kami merekomendasikan untuk mendedikasikan waktu untuk mempercepat rekayasa sebelum Anda mempertimbangkan untuk menyempurnakan model pada data tambahan. Tujuannya adalah untuk memberikan konteks dan panduan yang memadai untuk model sehingga dapat menggeneralisasi dan berkinerja baik pada skenario data yang tidak terlihat atau terbatas.
## Pembelajaran zero-shot
Pembelajaran zero-shot melibatkan pelatihan model untuk menggeneralisasi dan membuat prediksi pada kelas atau tugas yang tidak terlihat. Untuk melakukan rekayasa cepat di lingkungan pembelajaran zero-shot, kami merekomendasikan pembuatan prompt yang secara eksplisit memberikan informasi tentang tugas target dan format keluaran yang diinginkan. Misalnya, jika Anda ingin menggunakan model dasar untuk klasifikasi teks zero-shot pada serangkaian kelas yang tidak dilihat model selama pelatihan, prompt yang direkayasa dengan baik dapat berupa: `"Classify the following text as either sports, politics, or entertainment: [input text]."` Dengan secara eksplisit menentukan kelas target dan format keluaran yang diharapkan, Anda dapat memandu model untuk membuat prediksi yang akurat bahkan pada kelas yang tidak terlihat.
## Pembelajaran beberapa tembakan
Pembelajaran few-shot melibatkan pelatihan model dengan jumlah data terbatas untuk kelas atau tugas baru. Rekayasa cepat di lingkungan belajar yang sedikit berfokus pada perancangan petunjuk yang secara efektif menggunakan data pelatihan terbatas yang tersedia. Misalnya, jika Anda menggunakan model dasar untuk tugas klasifikasi gambar dan hanya memiliki beberapa contoh kelas gambar baru, Anda dapat merekayasa prompt yang menyertakan contoh berlabel yang tersedia dengan placeholder untuk kelas target. Misalnya, permintaannya bisa berupa:`"[image 1], [image 2], and [image 3] are examples of [target class]. Classify the following image as [target class]"`. Dengan memasukkan contoh berlabel terbatas dan secara eksplisit menentukan kelas target, Anda dapat memandu model untuk menggeneralisasi dan membuat prediksi yang akurat bahkan dengan data pelatihan minimal.
## Parameter inferensi yang didukung
Mengubah parameter inferensi juga dapat memengaruhi respons terhadap permintaan Anda. Meskipun Anda dapat mencoba menambahkan spesifisitas dan konteks sebanyak mungkin ke prompt Anda, Anda juga dapat bereksperimen dengan parameter inferensi yang didukung. Berikut ini adalah contoh dari beberapa parameter inferensi yang umum didukung:
| Parameter Inferensi | Deskripsi |
| --- | --- |
| `max_new_tokens` | Panjang output maksimum dari respons model pondasi. Nilai yang valid: bilangan bulat, rentang: Bilangan bulat positif. |
| `temperature` | Mengontrol keacakan dalam output. Suhu yang lebih tinggi menghasilkan urutan keluaran dengan kata-kata probabilitas rendah dan suhu yang lebih rendah menghasilkan urutan keluaran dengan kata-kata probabilitas tinggi. Jika`temperature=0`, responsnya hanya terdiri dari kata-kata probabilitas tertinggi (decoding serakah). Nilai yang valid: float, range: Positive float. |
| `top_p` | Dalam setiap langkah pembuatan teks, model mengambil sampel dari kumpulan kata sekecil mungkin dengan probabilitas kumulatif. `top_p` Nilai yang valid: float, range: 0.0, 1.0. |
| `return_full_text` | Jika`True`, maka teks input adalah bagian dari teks keluaran yang dihasilkan. Nilai yang valid: boolean, default: False. |
Untuk informasi lebih lanjut tentang inferensi model pondasi, lihat[Menyebarkan model pondasi yang tersedia untuk umum dengan kelas `JumpStartModel`](jumpstart-foundation-models-use-python-sdk-model-class.md).
Jika rekayasa cepat tidak cukup untuk menyesuaikan model fondasi Anda dengan kebutuhan bisnis tertentu, bahasa khusus domain, tugas target, atau persyaratan lainnya, Anda dapat mempertimbangkan untuk menyempurnakan model Anda pada data tambahan atau menggunakan Retrieval Augmented Generation (RAG) untuk menambah arsitektur model Anda dengan konteks yang ditingkatkan dari sumber pengetahuan yang diarsipkan. Untuk informasi selengkapnya, lihat [Model pondasi dan hiperparameter untuk fine-tuning](jumpstart-foundation-models-fine-tuning.md) atau [Pengambilan Generasi Augmented](jumpstart-foundation-models-customize-rag.md).
# Model pondasi dan hiperparameter untuk fine-tuning
Model pondasi mahal secara komputasi dan dilatih pada korpus besar yang tidak berlabel. Menyesuaikan model pondasi yang telah dilatih sebelumnya adalah cara yang terjangkau untuk memanfaatkan kemampuan mereka yang luas sambil menyesuaikan model pada korpus kecil Anda sendiri. Fine-tuning adalah metode penyesuaian yang melibatkan pelatihan lebih lanjut dan mengubah bobot model Anda.
Fine-tuning mungkin berguna bagi Anda jika Anda membutuhkan:
+ untuk menyesuaikan model Anda dengan kebutuhan bisnis tertentu
+ model Anda untuk berhasil bekerja dengan bahasa khusus domain, seperti jargon industri, istilah teknis, atau kosakata khusus lainnya
+ peningkatan kinerja untuk tugas-tugas tertentu
+ tanggapan akurat, relatif, dan sadar konteks dalam aplikasi
+ tanggapan yang lebih faktual, kurang beracun, dan lebih selaras dengan persyaratan tertentu
Ada dua pendekatan utama yang dapat Anda ambil untuk fine-tuning tergantung pada kasus penggunaan Anda dan model pondasi yang dipilih.
1. Jika Anda tertarik untuk menyempurnakan model Anda pada data spesifik domain, lihat. [Sempurnakan model bahasa besar (LLM) menggunakan adaptasi domain](jumpstart-foundation-models-fine-tuning-domain-adaptation.md)
1. Jika Anda tertarik dengan fine-tuning berbasis instruksi menggunakan contoh prompt dan respons, lihat. [Sempurnakan model bahasa besar (LLM) menggunakan instruksi cepat](jumpstart-foundation-models-fine-tuning-instruction-based.md)
## Model foundation tersedia untuk fine-tuning
Anda dapat menyempurnakan salah satu model JumpStart pondasi berikut:
+ Mekar 3B
+ Mekar 7B1
+ BloomZ 3B FP16
+ BloomZ 7B1 FP16
+ Kode Llama 13B
+ Kode Llama 13B Python
+ Kode Llama 34B
+ Kode Llama 34B Python
+ Kode Llama 70B
+ Kode Llama 70B Python
+ Kode Llama 7B
+ Kode Llama 7B Python
+ CyberAgentLM2-7B-Obrolan (-7B-Obrolan) CALM2
+ Elang 40B BF16
+ Instruksi Falcon 40B BF16
+ Elang 7B BF16
+ Instruksi Falcon 7B BF16
+ Dasar Flan-T5
+ Flan-T5 Besar
+ Flan-T5 Kecil
+ Flan-T5 XL
+ Flan-T5 XXL
+ Gemma 2B
+ Instruksi Gemma 2B
+ Gemma 7B
+ Instruksi Gemma 7B
+ GPT-2 XL
+ GPT-J 6B
+ GPT-Neo 1.3B
+ GPT-Neo 125M
+ GPT-NEO 2.7B
+ Instruksi LightGPT 6B
+ Llama 2 13B
+ Llama 2 13B Obrolan
+ Llama 2 13B Neuron
+ Llama 2 70B
+ Llama 2 70B Obrolan
+ Llama 2 7B
+ Llama 2 7B Obrolan
+ Llama 2 7B Neuron
+ Mistral 7B
+ Mixtral 8x7B
+ Instruksi Mixtral 8x7B
+ RedPajama INCITE Basis 3B V1
+ RedPajama INCITE Basis 7B V1
+ RedPajama INCITE Obrolan 3B V1
+ RedPajama INCITE Obrolan 7B V1
+ RedPajama INCITE Instruksikan 3B V1
+ RedPajama INCITE Instruksikan 7B V1
+ Difusi Stabil 2.1
## Hiperparameter fine-tuning yang umumnya didukung
Model pondasi yang berbeda mendukung hiperparameter yang berbeda saat menyempurnakan. Berikut ini adalah hyperparameter yang umumnya didukung yang dapat menyesuaikan model Anda lebih lanjut selama pelatihan:
| Parameter Inferensi | Deskripsi |
| --- | --- |
| `epoch` | Jumlah lintasan yang diambil model melalui kumpulan data fine-tuning selama pelatihan. Harus bilangan bulat yang lebih besar dari 1. |
| `learning_rate` | Tingkat di mana bobot model diperbarui setelah mengerjakan setiap batch contoh pelatihan fine-tuning. Harus berupa float positif lebih besar dari 0. |
| `instruction_tuned` | Apakah akan melatih instruksi-model atau tidak. Harus `'True'` atau `'False'`. |
| `per_device_train_batch_size` | Ukuran batch per inti GPU atau CPU untuk pelatihan. Harus berupa bilangan bulat positif. |
| `per_device_eval_batch_size` | Ukuran batch per inti GPU atau CPU untuk evaluasi. Harus berupa bilangan bulat positif. |
| `max_train_samples` | Untuk tujuan debugging atau pelatihan yang lebih cepat, potong jumlah contoh pelatihan ke nilai ini. Nilai -1 berarti bahwa model menggunakan semua sampel pelatihan. Harus berupa bilangan bulat positif atau -1. |
| `max_val_samples` | Untuk tujuan debugging atau pelatihan yang lebih cepat, potong jumlah contoh validasi ke nilai ini. Nilai -1 berarti bahwa model menggunakan semua sampel validasi. Harus berupa bilangan bulat positif atau -1. |
| `max_input_length` | Total panjang urutan input maksimum setelah tokenisasi. Urutan yang lebih panjang dari ini akan terpotong. Jika -1, `max_input_length` diatur ke minimum 1024 dan `model_max_length` ditentukan oleh tokenizer. Jika diatur ke nilai positif, `max_input_length` diatur ke minimum dari nilai yang disediakan dan `model_max_length` ditentukan oleh tokenizer. Harus berupa bilangan bulat positif atau -1. |
| `validation_split_ratio` | Jika tidak ada saluran validasi, rasio validasi kereta terpisah dari data pelatihan. Harus antara 0 dan 1. |
| `train_data_split_seed` | Jika data validasi tidak ada, ini memperbaiki pemisahan acak data pelatihan input ke data pelatihan dan validasi yang digunakan oleh model. Harus berupa bilangan bulat. |
| `preprocessing_num_workers` | Jumlah proses yang digunakan untuk pra-pemrosesan. Jika`None`, proses utama digunakan untuk pra-pemrosesan. |
| `lora_r` | Nilai adaptasi peringkat rendah (LoRa) r, yang bertindak sebagai faktor penskalaan untuk pembaruan bobot. Harus berupa bilangan bulat positif. |
| `lora_alpha` | Nilai alfa adaptasi peringkat rendah (LoRa), yang bertindak sebagai faktor penskalaan untuk pembaruan bobot. Umumnya 2 sampai 4 kali ukuran`lora_r`. Harus berupa bilangan bulat positif. |
| `lora_dropout` | Nilai putus sekolah untuk lapisan adaptasi peringkat rendah (LoRa) Harus berupa float positif antara 0 dan 1. |
| `int8_quantization` | Jika`True`, model dimuat dengan presisi 8 bit untuk pelatihan. |
| `enable_fsdp` | Jika`True`, pelatihan menggunakan Fully Sharded Data Parallelism. |
Anda dapat menentukan nilai hyperparameter saat menyempurnakan model di Studio. Untuk informasi selengkapnya, lihat [Sempurnakan model di Studio](jumpstart-foundation-models-use-studio-updated-fine-tune.md).
Anda juga dapat mengganti nilai hyperparameter default saat menyempurnakan model Anda menggunakan SDK. SageMaker Python Untuk informasi selengkapnya, lihat [Sempurnakan model foundation yang tersedia untuk umum dengan kelasnya `JumpStartEstimator`](jumpstart-foundation-models-use-python-sdk-estimator-class.md).
# Sempurnakan model bahasa besar (LLM) menggunakan adaptasi domain
Penyetelan penyesuaian domain memungkinkan Anda memanfaatkan model fondasi yang telah dilatih sebelumnya dan menyesuaikannya dengan tugas tertentu menggunakan data spesifik domain terbatas. Jika upaya rekayasa yang cepat tidak memberikan penyesuaian yang cukup, Anda dapat menggunakan penyesuaian penyesuaian domain untuk membuat model Anda bekerja dengan bahasa khusus domain, seperti jargon industri, istilah teknis, atau data khusus lainnya. Proses fine-tuning ini memodifikasi bobot model.
Untuk menyempurnakan model Anda pada kumpulan data khusus domain:
1. Siapkan data pelatihan Anda. Untuk petunjuk, lihat [Mempersiapkan dan mengunggah data pelatihan untuk penyesuaian penyesuaian domain](#jumpstart-foundation-models-fine-tuning-domain-adaptation-prepare-data).
1. Buat pekerjaan pelatihan fine-tuning Anda. Untuk petunjuk, lihat [Buat pekerjaan pelatihan untuk fine-tuning berbasis instruksi](#jumpstart-foundation-models-fine-tuning-domain-adaptation-train).
Anda dapat menemukan end-to-end contoh di[Notebook contoh](#jumpstart-foundation-models-fine-tuning-domain-adaptation-examples).
Penyetelan penyesuaian domain tersedia dengan model fondasi berikut:
**catatan**
Beberapa model JumpStart dasar, seperti Llama 2 7B, memerlukan penerimaan perjanjian lisensi pengguna akhir sebelum menyempurnakan dan melakukan inferensi. Untuk informasi selengkapnya, lihat [Perjanjian lisensi pengguna akhir](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula).
+ Mekar 3B
+ Mekar 7B1
+ BloomZ 3B FP16
+ BloomZ 7B1 FP16
+ GPT-2 XL
+ GPT-J 6B
+ GPT-Neo 1.3B
+ GPT-Neo 125M
+ GPT-NEO 2.7B
+ Llama 2 13B
+ Llama 2 13B Obrolan
+ Llama 2 13B Neuron
+ Llama 2 70B
+ Llama 2 70B Obrolan
+ Llama 2 7B
+ Llama 2 7B Obrolan
+ Llama 2 7B Neuron
## Mempersiapkan dan mengunggah data pelatihan untuk penyesuaian penyesuaian domain
Data pelatihan untuk penyesuaian penyesuaian domain dapat disediakan dalam format file CSV, JSON, atau TXT. Semua data pelatihan harus dalam satu file dalam satu folder.
Data pelatihan diambil dari kolom **Teks** untuk file data pelatihan CSV atau JSON. Jika tidak ada kolom yang diberi label **Teks**, maka data pelatihan diambil dari kolom pertama untuk file data pelatihan CSV atau JSON.
Berikut ini adalah contoh isi file TXT yang akan digunakan untuk fine-tuning:
```
This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of ....
```
### Pisahkan data untuk pelatihan dan pengujian
Anda dapat secara opsional menyediakan folder lain yang berisi data validasi. Folder ini juga harus menyertakan satu file CSV, JSON, atau TXT. Jika tidak ada kumpulan data validasi yang disediakan, maka sejumlah data pelatihan disisihkan untuk tujuan validasi. Anda dapat menyesuaikan persentase data pelatihan yang digunakan untuk validasi ketika Anda memilih hyperparameters untuk menyempurnakan model Anda.
### Unggah data fine-tuning ke Amazon S3
Unggah data yang sudah disiapkan ke Amazon Simple Storage Service (Amazon S3) untuk digunakan saat JumpStart menyempurnakan model foundation. Anda dapat menggunakan perintah berikut untuk mengunggah data Anda:
```
from sagemaker.s3 import S3Uploader
import sagemaker
import random
output_bucket = sagemaker.Session().default_bucket()
local_data_file = "train.txt"
train_data_location = f"s3://{output_bucket}/training_folder"
S3Uploader.upload(local_data_file, train_data_location)
S3Uploader.upload("template.json", train_data_location)
print(f"Training data: {train_data_location}")
```
## Buat pekerjaan pelatihan untuk fine-tuning berbasis instruksi
Setelah data Anda diunggah ke Amazon S3, Anda dapat menyempurnakan dan menerapkan model foundation Anda. JumpStart Untuk menyempurnakan model Anda di Studio, lihat. [Sempurnakan model di Studio](jumpstart-foundation-models-use-studio-updated-fine-tune.md) Untuk menyempurnakan model Anda menggunakan SageMaker Python SDK, lihat. [Sempurnakan model foundation yang tersedia untuk umum dengan kelasnya `JumpStartEstimator`](jumpstart-foundation-models-use-python-sdk-estimator-class.md)
## Notebook contoh
Untuk informasi selengkapnya tentang fine-tuning adaptasi domain, lihat contoh buku catatan berikut:
+ [SageMaker JumpStart Model Foundation - Model GPT-J 6B generasi teks penyetelan halus pada kumpulan data khusus domain](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/domain-adaption-finetuning-gpt-j-6b.html)
+ [ LLaMenyempurnakan model MA 2 JumpStart](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/llama-2-finetuning.html)
# Sempurnakan model bahasa besar (LLM) menggunakan instruksi cepat
Penyetelan berbasis instruksi menggunakan contoh berlabel untuk meningkatkan kinerja model pondasi yang telah dilatih sebelumnya pada tugas tertentu. Contoh berlabel diformat sebagai prompt, pasangan respons dan diungkapkan sebagai instruksi. Proses fine-tuning ini memodifikasi bobot model. [Untuk informasi lebih lanjut tentang fine-tuning berbasis instruksi, lihat makalah [Memperkenalkan FLAN: Model Bahasa yang Lebih Dapat Digeneralisasikan dengan Instruksi Fine-Tuning dan Scaling Instruction-Finetuned Language Models](https://ai.googleblog.com/2021/10/introducing-flan-more-generalizable.html).](https://arxiv.org/abs/2210.11416)
Model Fine-tuned LAnguage Net (FLAN) menggunakan penyetelan instruksi untuk membuat model lebih setuju untuk menyelesaikan tugas NLP hilir umum. Amazon SageMaker JumpStart menyediakan sejumlah model pondasi dalam keluarga model FLAN. Misalnya, model FLAN-T5 adalah instruksi yang disetel dengan baik pada berbagai tugas untuk meningkatkan kinerja zero-shot untuk berbagai kasus penggunaan umum. Dengan data tambahan dan fine-tuning, model berbasis instruksi dapat lebih lanjut disesuaikan dengan tugas yang lebih spesifik yang tidak dipertimbangkan selama pra-pelatihan.
Untuk menyempurnakan LLM pada tugas tertentu menggunakan instruksi tugas pasangan prompt respons:
1. Siapkan instruksi Anda dalam file JSON. Untuk informasi selengkapnya tentang format yang diperlukan untuk file pasangan prompt respons dan struktur folder data, lihat. [Mempersiapkan dan mengunggah data pelatihan untuk fine-tuning berbasis instruksi](#jumpstart-foundation-models-fine-tuning-instruction-based-prepare-data)
1. Buat pekerjaan pelatihan fine-tuning Anda. Untuk petunjuk, lihat [Buat pekerjaan pelatihan untuk fine-tuning berbasis instruksi](#jumpstart-foundation-models-fine-tuning-instruction-based-train).
Anda dapat menemukan end-to-end contoh di[Notebook contoh](#jumpstart-foundation-models-fine-tuning-instruction-based-examples).
Hanya sebagian dari model JumpStart pondasi yang kompatibel dengan fine-tuning berbasis instruksi. Penyetelan berbasis instruksi tersedia dengan model pondasi berikut:
**catatan**
Beberapa model JumpStart dasar, seperti Llama 2 7B, memerlukan penerimaan perjanjian lisensi pengguna akhir sebelum menyempurnakan dan melakukan inferensi. Untuk informasi selengkapnya, lihat [Perjanjian lisensi pengguna akhir](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula).
+ Dasar Flan-T5
+ Flan-T5 Besar
+ Flan-T5 Kecil
+ Flan-T5 XL
+ Flan-T5 XXL
+ Llama 2 13B
+ Llama 2 13B Obrolan
+ Llama 2 13B Neuron
+ Llama 2 70B
+ Llama 2 70B Obrolan
+ Llama 2 7B
+ Llama 2 7B Obrolan
+ Llama 2 7B Neuron
+ Mistral 7B
+ RedPajama INCITE Basis 3B V1
+ RedPajama INCITE Basis 7B V1
+ RedPajama INCITE Obrolan 3B V1
+ RedPajama INCITE Obrolan 7B V1
+ RedPajama INCITE Instruksikan 3B V1
+ RedPajama INCITE Instruksikan 7B V1
## Mempersiapkan dan mengunggah data pelatihan untuk fine-tuning berbasis instruksi
Data pelatihan untuk fine-tuning berbasis instruksi harus disediakan dalam format file teks JSON Lines, di mana setiap baris adalah kamus. Semua data pelatihan harus dalam satu folder. Folder dapat menyertakan beberapa file.jsonl.
Folder pelatihan juga dapat menyertakan file JSON template (`template.json`) yang menjelaskan format input dan output data Anda. Jika tidak ada file template yang disediakan, file template berikut digunakan:
```
{
"prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.\n\n### Instruction:\n{instruction}\n\n### Input:\n{context}",
"completion": "{response}"
}
```
Menurut `template.json` file, setiap entri .jsonl dari data pelatihan harus menyertakan`{instruction}`,`{context}`, dan bidang. `{response}`
Jika Anda menyediakan file JSON template kustom, gunakan `"completion"` tombol `"prompt"` dan untuk menentukan bidang wajib Anda sendiri. Menurut file JSON template kustom berikut, setiap entri .jsonl dari data pelatihan harus menyertakan`{question}`,, `{context}` dan bidang: `{answer}`
```
{
"prompt": "question: {question} context: {context}",
"completion": "{answer}"
}
```
### Pisahkan data untuk pelatihan dan pengujian
Anda dapat secara opsional menyediakan folder lain yang berisi data validasi. Folder ini juga harus menyertakan satu atau lebih file.jsonl. Jika tidak ada kumpulan data validasi yang disediakan, maka sejumlah data pelatihan disisihkan untuk tujuan validasi. Anda dapat menyesuaikan persentase data pelatihan yang digunakan untuk validasi ketika Anda memilih hyperparameters untuk menyempurnakan model Anda.
### Unggah data fine-tuning ke Amazon S3
Unggah data yang sudah disiapkan ke Amazon Simple Storage Service (Amazon S3) untuk digunakan saat JumpStart menyempurnakan model foundation. Anda dapat menggunakan perintah berikut untuk mengunggah data Anda:
```
from sagemaker.s3 import S3Uploader
import sagemaker
import random
output_bucket = sagemaker.Session().default_bucket()
local_data_file = "train.jsonl"
train_data_location = f"s3://{output_bucket}/dolly_dataset"
S3Uploader.upload(local_data_file, train_data_location)
S3Uploader.upload("template.json", train_data_location)
print(f"Training data: {train_data_location}")
```
## Buat pekerjaan pelatihan untuk fine-tuning berbasis instruksi
Setelah data Anda diunggah ke Amazon S3, Anda dapat menyempurnakan dan menerapkan model foundation Anda. JumpStart Untuk menyempurnakan model Anda di Studio, lihat. [Sempurnakan model di Studio](jumpstart-foundation-models-use-studio-updated-fine-tune.md) Untuk menyempurnakan model Anda menggunakan SageMaker Python SDK, lihat. [Sempurnakan model foundation yang tersedia untuk umum dengan kelasnya `JumpStartEstimator`](jumpstart-foundation-models-use-python-sdk-estimator-class.md)
## Notebook contoh
Untuk informasi selengkapnya tentang fine-tuning berbasis instruksi, lihat contoh buku catatan berikut:
+ [ LLaMenyempurnakan model MA 2 JumpStart](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/llama-2-finetuning.html)
+ [Pengantar SageMaker JumpStart - Pembuatan Teks dengan model Mistral](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/mistral-7b-instruction-domain-adaptation-finetuning.html)
+ [Pengantar SageMaker JumpStart - Pembuatan Teks dengan model Falcon](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/falcon-7b-instruction-domain-adaptation-finetuning.html)
+ [SageMaker JumpStart Model Foundation - HuggingFace Text2Text Instruksi Fine-Tuning](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/instruction-fine-tuning-flan-t5.html)
# Pengambilan Generasi Augmented
Model foundation biasanya dilatih secara offline, membuat model agnostik terhadap data apa pun yang dibuat setelah model dilatih. Selain itu, model foundation dilatih pada corpora domain yang sangat umum, membuatnya kurang efektif untuk tugas-tugas khusus domain. Anda dapat menggunakan Retrieval Augmented Generation (RAG) untuk mengambil data dari luar model foundation dan menambah prompt Anda dengan menambahkan data yang diambil yang relevan dalam konteks. Untuk informasi selengkapnya tentang arsitektur model RAG, lihat [Retrieval-Augmented](https://arxiv.org/abs/2005.11401) Generation for Knowledge-Intensive NLP Tasks.
Dengan RAG, data eksternal yang digunakan untuk menambah prompt Anda dapat berasal dari berbagai sumber data, seperti repositori dokumen, database, atau. APIs Langkah pertama adalah mengonversi dokumen Anda dan kueri pengguna apa pun menjadi format yang kompatibel untuk melakukan pencarian relevansi. Untuk membuat format yang kompatibel, koleksi dokumen, atau pustaka pengetahuan, dan kueri yang dikirimkan pengguna dikonversi ke representasi numerik menggunakan model bahasa penyematan. *Embedding* adalah proses dimana teks diberikan representasi numerik dalam ruang vektor. Arsitektur model RAG membandingkan penyematan kueri pengguna dalam vektor perpustakaan pengetahuan. Prompt pengguna asli kemudian ditambahkan dengan konteks yang relevan dari dokumen serupa dalam pustaka pengetahuan. Prompt tambahan ini kemudian dikirim ke model pondasi. Anda dapat memperbarui pustaka pengetahuan dan penyematannya yang relevan secara asinkron.
![\[A model architecture diagram of Retrieval Augmented Generation (RAG).\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-fm-rag.jpg)
Dokumen yang diambil harus cukup besar untuk berisi konteks yang berguna untuk membantu menambah prompt, tetapi cukup kecil untuk masuk ke dalam panjang urutan maksimum prompt. Anda dapat menggunakan JumpStart model khusus tugas, seperti model General Text Embeddings (GTE) dariHugging Face, untuk menyediakan embeddings untuk petunjuk dan dokumen perpustakaan pengetahuan Anda. Setelah membandingkan prompt dan penyematan dokumen untuk menemukan dokumen yang paling relevan, buat prompt baru dengan konteks tambahan. Kemudian, teruskan augmented prompt ke model pembuatan teks yang Anda pilih.
## Notebook contoh
Untuk informasi lebih lanjut tentang solusi model dasar RAG, lihat contoh notebook berikut:
+ [Retrieval-Augmented Generation: Menjawab Pertanyaan menggunakan LangChain dan Menghasilkan dan Menyematkan Model Cohere dari SageMaker JumpStart](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_Cohere+langchain_jumpstart.html)
+ [Retrieval-Augmented Generation: Menjawab Pertanyaan menggunakan LLama -2, Pinecone dan Custom Dataset](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_pinecone_llama-2_jumpstart.html)
+ [Retrieval-Augmented Generation: Menjawab Pertanyaan berdasarkan Dataset Kustom dengan Perpustakaan Sumber Terbuka LangChain ](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_langchain_jumpstart.html)
+ [Retrieval-Augmented Generation: Menjawab Pertanyaan berdasarkan Dataset Kustom](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_jumpstart_knn.html)
+ [Retrieval-Augmented Generation: Menjawab Pertanyaan menggunakan Llama-2 dan Model Penyematan Teks](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_text_embedding_llama-2_jumpstart.html)
+ [Amazon SageMaker JumpStart - Penyematan Teks dan Kesamaan Kalimat](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/text-embedding-sentence-similarity.html)
Anda dapat mengkloning [repositori contoh Amazon SageMaker AI](https://github.com/aws/amazon-sagemaker-examples/tree/main/introduction_to_amazon_algorithms/jumpstart-foundation-models) untuk menjalankan contoh model JumpStart fondasi yang tersedia di lingkungan Jupyter pilihan Anda dalam Studio. Untuk informasi selengkapnya tentang aplikasi yang dapat Anda gunakan untuk membuat dan mengakses Jupyter di SageMaker AI, lihat. [Aplikasi yang didukung di Amazon SageMaker Studio](studio-updated-apps.md)
# Mengevaluasi model fondasi pembuatan teks di Studio
**catatan**
Foundation Model Evaluations (FMEval) sedang dalam rilis pratinjau untuk Amazon SageMaker Clarify dan dapat berubah sewaktu-waktu.
**penting**
Untuk menggunakan SageMaker Clarify Foundation Model Evaluations, Anda harus meningkatkan ke pengalaman Studio baru. Per 30 November 2023, pengalaman Amazon SageMaker Studio sebelumnya sekarang bernama Amazon SageMaker Studio Classic. Fitur evaluasi pondasi hanya dapat digunakan dalam pengalaman yang diperbarui. Untuk informasi tentang cara memperbarui Studio, lihat[Migrasi dari Amazon SageMaker Studio Classic](studio-updated-migrate.md). Untuk informasi tentang menggunakan aplikasi Studio Classic, lihat[Amazon SageMaker Studio Klasik](studio.md).
Amazon SageMaker JumpStart memiliki integrasi dengan SageMaker Clarify Foundation Model Evaluations (FMEval) di Studio. Jika JumpStart model memiliki kemampuan evaluasi bawaan yang tersedia, Anda dapat memilih **Evaluasi** di sudut kanan atas halaman detail model di UI JumpStart Studio. Untuk informasi selengkapnya tentang menavigasi UI JumpStart Studio, lihat, [Buka JumpStart di Studio](studio-jumpstart.md#jumpstart-open-studio)
Gunakan Amazon SageMaker JumpStart untuk mengevaluasi model dasar berbasis teks dengan. FMEval Anda dapat menggunakan evaluasi model ini untuk membandingkan metrik kualitas dan tanggung jawab model untuk satu model, antara dua model, atau antara versi berbeda dari model yang sama, untuk membantu Anda mengukur risiko model. FMEval dapat mengevaluasi model berbasis teks yang melakukan tugas-tugas berikut:
+ **Generasi terbuka** — Produksi respons manusia alami terhadap teks yang tidak memiliki struktur yang telah ditentukan sebelumnya.
+ **Ringkasan teks — Pembuatan** ringkasan ringkas dan ringkas sambil mempertahankan makna dan informasi kunci yang terkandung dalam teks yang lebih besar.
+ **Question Answering** — Generasi jawaban dalam bahasa alami untuk sebuah pertanyaan.
+ **Klasifikasi** — Penugasan kelas, seperti `positive` versus `negative` ke bagian teks berdasarkan isinya.
Anda dapat menggunakan FMEval untuk secara otomatis mengevaluasi respons model berdasarkan tolok ukur tertentu. Anda juga dapat mengevaluasi respons model terhadap kriteria Anda sendiri dengan membawa kumpulan data prompt Anda sendiri. FMEval menyediakan antarmuka pengguna (UI) yang memandu Anda melalui pengaturan dan konfigurasi pekerjaan evaluasi. Anda juga dapat menggunakan FMEval perpustakaan di dalam kode Anda sendiri.
Setiap evaluasi membutuhkan kuota untuk dua contoh:
+ Hosting instance — Instance yang menghosting dan menyebarkan LLM.
+ Contoh evaluasi — Sebuah contoh yang digunakan untuk meminta dan melakukan evaluasi LLM pada instance hosting.
Jika LLM Anda sudah digunakan, berikan titik akhir, dan SageMaker AI akan menggunakan **instance hosting** Anda untuk meng-host dan menyebarkan LLM.
Jika Anda mengevaluasi JumpStart model yang belum diterapkan ke akun Anda, FMEval buat **instance hosting** sementara untuk Anda di akun Anda, dan simpan hanya untuk durasi evaluasi Anda. FMEval menggunakan instance default yang JumpStart merekomendasikan LLM yang dipilih sebagai instance hosting Anda. Anda harus memiliki kuota yang cukup untuk contoh yang direkomendasikan ini.
Setiap evaluasi juga menggunakan contoh evaluasi untuk memberikan petunjuk dan menilai tanggapan dari LLM. Anda juga harus memiliki kuota dan memori yang cukup untuk menjalankan algoritma evaluasi. Persyaratan kuota dan memori dari instance evaluasi umumnya lebih kecil daripada yang diperlukan untuk instance hosting. Kami merekomendasikan memilih `ml.m5.2xlarge` instance. Untuk informasi lebih lanjut tentang kuota dan memori, lihat[Mengatasi kesalahan saat membuat pekerjaan evaluasi model di Amazon SageMaker AI](clarify-foundation-model-evaluate-troubleshooting.md).
Evaluasi otomatis dapat digunakan untuk mencetak skor LLMs di seluruh dimensi berikut:
+ Akurasi — Untuk ringkasan teks, penjawab pertanyaan, dan klasifikasi teks
+ Kekokohan semantik — Untuk tugas generasi terbuka, ringkasan teks, dan klasifikasi teks
+ Pengetahuan faktual — Untuk generasi terbuka
+ Stereotip cepat — Untuk generasi terbuka
+ Toksisitas — Untuk generasi terbuka, ringkasan teks, dan menjawab pertanyaan
Anda juga dapat menggunakan evaluasi manusia untuk mengevaluasi respons model secara manual. FMEval UI memandu Anda melalui alur kerja memilih satu atau beberapa model, menyediakan sumber daya, dan menulis instruksi untuk dan menghubungi tenaga kerja manusia Anda. Setelah evaluasi manusia selesai, hasilnya ditampilkan di FMEval.
Anda dapat mengakses evaluasi model melalui halaman JumpStart arahan di Studio dengan memilih model untuk dievaluasi dan kemudian memilih **Evaluasi**. Perhatikan bahwa tidak semua JumpStart model memiliki kemampuan evaluasi yang tersedia. Untuk informasi selengkapnya tentang cara mengonfigurasi, menyediakan, dan menjalankan FMEval, lihat [Apa itu Evaluasi Model Foundation](https://docs.aws.amazon.com/sagemaker/latest/dg/clarify-foundation-model-evaluate.html)?
# Notebook contoh
Untuk step-by-step contoh tentang cara menggunakan model JumpStart dasar yang tersedia untuk umum dengan SageMaker Python SDK, lihat buku catatan berikut tentang pembuatan teks, pembuatan gambar, dan penyesuaian model.
**catatan**
Model JumpStart fondasi berpemilik dan tersedia untuk umum memiliki alur kerja penerapan SageMaker AI Python SDK yang berbeda. Temukan contoh notebook model foundation berpemilik melalui Amazon SageMaker Studio Classic atau konsol SageMaker AI. Untuk informasi selengkapnya, lihat [JumpStart penggunaan model pondasi](jumpstart-foundation-models-use.md).
Anda dapat mengkloning [repositori contoh Amazon SageMaker AI](https://github.com/aws/amazon-sagemaker-examples/tree/main/introduction_to_amazon_algorithms/jumpstart-foundation-models) untuk menjalankan contoh model JumpStart fondasi yang tersedia di lingkungan Jupyter pilihan Anda dalam Studio. Untuk informasi selengkapnya tentang aplikasi yang dapat Anda gunakan untuk membuat dan mengakses Jupyter di SageMaker AI, lihat. [Aplikasi yang didukung di Amazon SageMaker Studio](studio-updated-apps.md)
## Peramalan deret waktu
Anda dapat menggunakan model Chronos untuk memperkirakan data deret waktu. Mereka didasarkan pada arsitektur model bahasa. Gunakan buku catatan [Pengantar SageMaker JumpStart - Peramalan Seri Waktu dengan Chronos](https://github.com/aws/amazon-sagemaker-examples/blob/default/%20%20%20%20generative_ai/sm-jumpstart_time_series_forecasting.ipynb) untuk memulai.
Untuk informasi tentang model Chronos yang tersedia, lihat[Model pondasi yang tersedia](jumpstart-foundation-models-latest.md).
## Pembuatan teks
Jelajahi contoh buku catatan pembuatan teks, termasuk panduan tentang alur kerja pembuatan teks umum, klasifikasi teks multibahasa, inferensi batch waktu nyata, pembelajaran beberapa bidikan, interaksi chatbot, dan banyak lagi.
+ [SageMaker JumpStart Model Foundation - HuggingFace Text2Text Generation dengan FLAN-T5 XL sebagai contoh](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/text2text-generation-flan-t5.html)
+ [SageMaker JumpStart Model Foundation - BloomZ: Klasifikasi Teks Multilingual, Pertanyaan dan Jawaban, Pembuatan Kode, Pengungkapan ulang Paragraf, dan Lainnya](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/text2text-generation-bloomz.html)
+ [SageMaker JumpStart Model Foundation - Transformasi Batch Generasi HuggingFace Teks Text2Text dan Inferensi Batch Real-Time](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/text2text-generation-Batch-Transform.html)
+ [SageMaker JumpStart Model Foundation - Pembelajaran GPT-J, GPT-neo Few-shot](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/text-generation-few-shot-learning.html)
+ [SageMaker JumpStart Model Yayasan - Chatbots](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/text-generation-chatbot.html)
+ [Pengantar SageMaker JumpStart - Pembuatan Teks dengan model Mistral](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/mistral-7b-instruction-domain-adaptation-finetuning.html)
+ [Pengantar SageMaker JumpStart - Pembuatan Teks dengan model Falcon](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/falcon-7b-instruction-domain-adaptation-finetuning.html)
## Pembuatan gambar
Mulailah dengan model Difusi text-to-image Stabil, pelajari cara menerapkan model inpainting, dan bereksperimen dengan alur kerja sederhana untuk menghasilkan gambar anjingmu.
+ [Pengantar JumpStart - Teks ke Gambar](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart_text_to_image/Amazon_JumpStart_Text_To_Image.html)
+ [Pengantar Pengeditan JumpStart Gambar - Inpainting Difusi Stabil](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart_inpainting/Amazon_JumpStart_Inpainting.html)
+ [Hasilkan gambar menyenangkan dari anjingmu](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart_text_to_image/custom_dog_image_generator.html)
## Kustomisasi model
Terkadang kasus penggunaan Anda memerlukan kustomisasi model fondasi yang lebih besar untuk tugas-tugas tertentu. Untuk informasi selengkapnya tentang pendekatan penyesuaian model, lihat [Kustomisasi model pondasi](jumpstart-foundation-models-customize.md) atau jelajahi salah satu contoh buku catatan berikut.
+ [SageMaker JumpStart Model Foundation - Model GPT-J 6B generasi teks penyetelan halus pada kumpulan data khusus domain](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/domain-adaption-finetuning-gpt-j-6b.html)
+ [SageMaker JumpStart Model Foundation - HuggingFace Text2Text Instruksi Fine-Tuning](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/instruction-fine-tuning-flan-t5.html)
+ [Retrieval-Augmented Generation: Menjawab Pertanyaan menggunakan LangChain dan Menghasilkan dan Menyematkan Model Cohere dari SageMaker JumpStart](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_Cohere+langchain_jumpstart.html)
+ [Retrieval-Augmented Generation: Menjawab Pertanyaan menggunakan LLama -2, Pinecone dan Custom Dataset](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_pinecone_llama-2_jumpstart.html)
+ [Retrieval-Augmented Generation: Menjawab Pertanyaan berdasarkan Dataset Kustom dengan Perpustakaan Sumber Terbuka LangChain ](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_langchain_jumpstart.html)
+ [Retrieval-Augmented Generation: Menjawab Pertanyaan berdasarkan Dataset Kustom](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_jumpstart_knn.html)
+ [Retrieval-Augmented Generation: Menjawab Pertanyaan menggunakan Llama-2 dan Model Penyematan Teks](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/question_answering_text_embedding_llama-2_jumpstart.html)
+ [Amazon SageMaker JumpStart - Penyematan Teks dan Kesamaan Kalimat](https://sagemaker-examples.readthedocs.io/en/latest/introduction_to_amazon_algorithms/jumpstart-foundation-models/question_answering_retrieval_augmented_generation/text-embedding-sentence-similarity.html)
# Hub yang dikuratori pribadi untuk kontrol akses model pondasi di JumpStart
Kurasi model JumpStart fondasi terlatih untuk organisasi Anda dengan hub pribadi. Gunakan model pondasi terbaru yang tersedia untuk umum dan eksklusif sambil menegakkan pagar pembatas tata kelola dan memastikan bahwa organisasi Anda hanya dapat mengakses model yang disetujui.
Gunakan hub model pribadi untuk berbagi model dan buku catatan, memusatkan artefak model, meningkatkan kemampuan ditemukan model, dan merampingkan penggunaan model dalam organisasi Anda. Administrator dapat membuat hub pribadi yang menyertakan subset model yang disesuaikan dengan tim yang berbeda, kasus penggunaan, atau persyaratan keamanan. Administrator dapat membuat hub model JumpStart pribadi menggunakan SageMaker Python SDK. Pengguna kemudian dapat menelusuri, melatih, dan menerapkan kumpulan model yang dikurasi menggunakan Amazon SageMaker Studio atau Python SageMaker SDK.
Untuk informasi selengkapnya tentang membuat hub model pribadi, lihat[Panduan admin untuk hub model pribadi di Amazon SageMaker JumpStart](jumpstart-curated-hubs-admin-guide.md).
Untuk informasi selengkapnya tentang berbagi hub model pribadi di seluruh akun, lihat[Berbagi lintas akun untuk hub model pribadi dengan AWS Resource Access Manager](jumpstart-curated-hubs-ram.md).
Untuk informasi selengkapnya tentang mengakses hub model pribadi, lihat[Panduan pengguna](jumpstart-curated-hubs-user-guide.md).
# Panduan admin untuk hub model pribadi di Amazon SageMaker JumpStart
Ada tindakan yang dapat dilakukan administrator terkait dengan hub model yang dikurasi yang dapat diakses oleh pengguna dalam organisasi Anda. Ini termasuk membuat, menambahkan, menghapus, dan mengelola akses hub pribadi. Halaman ini juga mencakup informasi tentang AWS Wilayah yang didukung untuk hub pribadi yang dikuratori, serta prasyarat yang diperlukan untuk menggunakan hub model pribadi yang dikuratori.
## AWS Wilayah yang Didukung
Hub pribadi yang dikuratori saat ini umumnya tersedia di Wilayah AWS komersial berikut:
+ us-east-1
+ us-east-2
+ us-west-2
+ eu-west-1
+ eu-central-1
+ ap-northeast-1
+ ap-northeast-2
+ ap-south-1
+ ap-southeast-1
+ ap-southeast-2
+ il-central-1 (hanya SDK)
Jumlah maksimum default hub yang diizinkan dalam satu Wilayah adalah 50.
## Prasyarat
Untuk menggunakan hub pribadi yang dikuratori di Studio, Anda harus memiliki prasyarat berikut:
+ AWS Akun dengan akses administrator
+ Peran AWS Identity and Access Management (IAM) dengan akses ke Amazon Studio SageMaker
+ Domain Amazon SageMaker AI dengan JumpStart diaktifkan
+ Jika pengguna Anda mencoba menggunakan model berpemilik, mereka harus memiliki langganan model tersebut di Marketplace AWS .
+ AWS akun yang menerapkan model berpemilik harus memiliki langganan ke model tersebut di Marketplace. AWS
Untuk informasi selengkapnya tentang memulai dengan Studio, lihat[SageMaker Studio Amazon](studio-updated.md).
# Buat hub model pribadi
Gunakan langkah-langkah berikut untuk membuat hub pribadi untuk mengelola kontrol akses untuk model JumpStart fondasi yang telah dilatih sebelumnya untuk organisasi Anda. Anda harus memasukkan SDK SageMaker Python dan mengonfigurasi izin IAM yang diperlukan sebelum membuat hub model.
**Buat hub pribadi**
1. Instal SDK SageMaker Python dan impor paket Python yang diperlukan.
```
# Install the SageMaker Python SDK
!pip3 install sagemaker --force-reinstall --quiet
# Import the necessary Python packages
import boto3
from sagemaker import Session
from sagemaker.jumpstart.hub.hub import Hub
```
1. Inisialisasi Sesi SageMaker AI.
```
sm_client = boto3.client('sagemaker')
session = Session(sagemaker_client=sm_client)
session.get_caller_identity_arn()
```
1. Konfigurasikan detail hub pribadi Anda seperti nama hub internal, nama tampilan UI, dan deskripsi hub UI.
**catatan**
Jika Anda tidak menentukan nama bucket Amazon S3 saat membuat hub, layanan SageMaker hub akan membuat bucket baru atas nama Anda. Bucket baru memiliki struktur penamaan berikut:`sagemaker-hubs-REGION-ACCOUNT_ID`.
```
HUB_NAME="Example-Hub"
HUB_DISPLAY_NAME="Example Hub UI Name"
HUB_DESCRIPTION="A description of the example private curated hub."
REGION="us-west-2"
```
1. Periksa apakah peran **Admin** IAM Anda memiliki izin Amazon S3 yang diperlukan untuk membuat hub pribadi. Jika peran Anda tidak memiliki izin yang diperlukan, buka halaman **Peran** di konsol IAM. Pilih peran **Admin** lalu pilih **Tambahkan izin** di panel **Kebijakan izin untuk membuat kebijakan** sebaris dengan izin berikut menggunakan editor JSON:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Action": [
"s3:ListBucket",
"s3:GetObject",
"s3:GetObjectTagging"
],
"Resource": [
"arn:aws:s3:::jumpstart-cache-prod-REGION",
"arn:aws:s3:::jumpstart-cache-prod-REGION/*"
],
"Effect": "Allow"
}
]
}
```
------
1. Buat hub model pribadi menggunakan konfigurasi Anda dari **Langkah 3** menggunakan`hub.create()`.
```
hub = Hub(hub_name=HUB_NAME, sagemaker_session=session)
try:
# Create the private hub
hub.create(
description=HUB_DESCRIPTION,
display_name=HUB_DISPLAY_NAME
)
print(f"Successfully created Hub with name {HUB_NAME} in {REGION}")
# Check that no other hubs with this internal name exist
except Exception as e:
if "ResourceInUse" in str(e):
print(f"A hub with the name {HUB_NAME} already exists in your account.")
else:
raise e
```
1. Verifikasi konfigurasi hub pribadi baru Anda dengan `describe` perintah berikut:
```
hub.describe()
```
# Tambahkan model ke hub pribadi
Setelah membuat hub pribadi, Anda kemudian dapat menambahkan model yang diizinkan. Untuk daftar lengkap JumpStart model yang tersedia, lihat [Algoritma Bawaan dengan Tabel Model yang telah dilatih sebelumnya dalam referensi](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html) SageMaker Python SDK.
1. Anda dapat memfilter melalui model yang tersedia secara terprogram menggunakan metode ini`hub.list_sagemaker_public_hub_models()`. Anda dapat secara opsional memfilter berdasarkan kategori seperti framework (`"framework == pytorch"`), tugas seperti klasifikasi gambar (`"task == ic"`), dan banyak lagi. Untuk informasi lebih lanjut tentang filter, lihat [https://github.com/aws/sagemaker-python-sdk/blob/master/src/sagemaker/jumpstart/notebook_utils.py](https://github.com/aws/sagemaker-python-sdk/blob/master/src/sagemaker/jumpstart/notebook_utils.py). Parameter filter dalam `hub.list_sagemaker_public_hub_models()` metode ini adalah opsional.
```
filter_value = "framework == meta"
response = hub.list_sagemaker_public_hub_models(filter=filter_value)
models = response["hub_content_summaries"]
while response["next_token"]:
response = hub.list_sagemaker_public_hub_models(filter=filter_value, next_token=response["next_token"])
models.extend(response["hub_content_summaries"])
print(models)
```
1. Anda kemudian dapat menambahkan model yang difilter dengan menentukan model ARN dalam `hub.create_model_reference()` metode.
```
for model in models:
print(f"Adding {model.get('hub_content_name')} to Hub")
hub.create_model_reference(model_arn=model.get("hub_content_arn"), model_name=model.get("hub_content_name"))
```
# Perbarui sumber daya di hub pribadi
Anda dapat memperbarui sumber daya di hub pribadi Anda untuk membuat perubahan pada metadata mereka. Sumber daya yang dapat Anda perbarui mencakup referensi model ke SageMaker JumpStart model Amazon, model kustom, notebook, kumpulan data, dan. JsonDoc
Saat memperbarui model, buku catatan, kumpulan data, atau JsonDoc sumber daya, Anda dapat memperbarui deskripsi konten, nama tampilan, kata kunci, dan status dukungan. Saat memperbarui referensi model ke JumpStart model, Anda hanya dapat memperbarui bidang yang menentukan versi model minimum yang ingin Anda gunakan.
+ “Perbarui model atau sumber daya notebook” untuk menyertakan DataSet/JsonDoc. Dalam perintah CLI, DataSets/JsonDocs harus ditambahkan ke argumen. hub-content-type
Ikuti bagian khusus untuk sumber daya yang ingin Anda perbarui.
## Perbarui model atau sumber daya notebook
Untuk memperbarui model atau sumber daya notebook, gunakan [UpdateHubContent](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateHubContent.html)API.
Bidang metadata valid yang dapat Anda perbarui dengan API ini adalah sebagai berikut:
+ `HubContentDescription`— Deskripsi sumber daya.
+ `HubContentDisplayName`— Nama tampilan sumber daya.
+ `HubContentMarkdown`— Deskripsi sumber daya, dalam format Markdown.
+ `HubContentSearchKeywords`— Kata kunci sumber daya yang dapat dicari.
+ `SupportStatus`— Status sumber daya saat ini.
Dalam permintaan Anda, sertakan perubahan untuk satu atau beberapa bidang sebelumnya. Jika Anda mencoba memperbarui bidang lain, seperti jenis konten hub, Anda menerima kesalahan.
------
#### [ AWS SDK untuk Python (Boto3) ]
Contoh berikut menunjukkan bagaimana Anda dapat menggunakan AWS SDK untuk Python (Boto3) untuk mengirimkan [ UpdateHubContent](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateHubContent.html)permintaan.
**catatan**
Yang `HubContentVersion` Anda tentukan dalam permintaan berarti metadata versi tertentu diperbarui. Untuk menemukan semua versi konten hub yang tersedia, Anda dapat menggunakan [ ListHubContentVersions](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListHubContentVersions.html)API.
```
import boto3
sagemaker_client = boto3.Session(region_name=).client("sagemaker")
sagemaker_client.update_hub_contents(
HubName=,
HubContentName=,
HubContentType=<"Model"|"Notebook">,
HubContentVersion='1.0.0', # specify the correct version that you want to update
HubContentDescription=
)
```
------
#### [ AWS CLI ]
Contoh berikut menunjukkan bagaimana Anda dapat menggunakan AWS CLI untuk mengirimkan [ update-hub-content](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/sagemaker/update-hub-content.html)permintaan.
```
aws sagemaker update-hub-content \
--hub-name \
--hub-content-name \
--hub-content-type <"Model"|"Notebook"> \
--hub-content-version "1.0.0" \
--hub-content-description
```
------
## Perbarui referensi model
Untuk memperbarui referensi model ke JumpStart model, gunakan [ UpdateHubContentReference](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateHubContentReference.html)API.
Anda hanya dapat memperbarui `MinVersion` bidang untuk referensi model.
------
#### [ AWS SDK untuk Python (Boto3) ]
Contoh berikut menunjukkan bagaimana Anda dapat menggunakan AWS SDK untuk Python (Boto3) untuk mengirimkan [ UpdateHubContentReference](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateHubContentReference.html)permintaan.
```
import boto3
sagemaker_client = boto3.Session(region_name=).client("sagemaker")
update_response = sagemaker_client.update_hub_content_reference(
HubName=,
HubContentName=,
HubContentType='ModelReference',
MinVersion='1.0.0'
)
```
------
#### [ AWS CLI ]
Contoh berikut menunjukkan bagaimana Anda dapat menggunakan AWS CLI untuk mengirimkan [ update-hub-content-reference](https://awscli.amazonaws.com/v2/documentation/api/latest/reference/sagemaker/update-hub-content-reference.html)permintaan.
```
aws sagemaker update-hub-content-reference \
--hub-name \
--hub-content-name \
--hub-content-type "ModelReference" \
--min-version "1.0.0"
```
------
# Berbagi lintas akun untuk hub model pribadi dengan AWS Resource Access Manager
Setelah membuat hub model pribadi, Anda dapat membagikan hub ke akun yang diperlukan menggunakan AWS Resource Access Manager (AWS RAM). Untuk informasi selengkapnya tentang membuat hub pribadi, lihat[Buat hub model pribadi](jumpstart-curated-hubs-admin-guide-create.md). Halaman berikut memberikan informasi mendalam tentang izin terkelola yang terkait dengan hub pribadi di dalamnya. AWS RAM Untuk informasi tentang cara membuat pembagian sumber daya di dalamnya AWS RAM, lihat[Siapkan berbagi hub lintas akun](jumpstart-curated-hubs-ram-setup.md).
## Izin terkelola untuk hub pribadi yang dikuratori
Izin akses yang tersedia adalah baca, baca dan gunakan, dan izin akses penuh. Nama izin, deskripsi, dan daftar spesifik yang APIs tersedia untuk setiap izin tercantum dalam berikut ini:
+ Izin baca (`AWS RAMPermissionSageMaker AIHubRead`): Hak istimewa baca memungkinkan akun konsumen sumber daya membaca konten di hub bersama dan melihat detail dan metadata.
+ `DescribeHub`: Mengambil detail tentang hub dan konfigurasinya
+ `DescribeHubContent`: Mengambil detail tentang model yang tersedia di hub tertentu
+ `ListHubContent`: Daftar semua model yang tersedia di hub
+ `ListHubContentVersions`: Daftar versi semua model yang tersedia di hub
+ Baca dan gunakan izin (`AWS RAMPermissionSageMaker AIHubReadAndUse`): Hak istimewa baca dan gunakan memungkinkan akun konsumen sumber daya membaca konten di hub bersama dan menerapkan model yang tersedia untuk inferensi.
+ `DescribeHub`: Mengambil detail tentang hub dan konfigurasinya
+ `DescribeHubContent`: Mengambil detail tentang model yang tersedia di hub tertentu
+ `ListHubContent`: Daftar semua model yang tersedia di hub
+ `ListHubContentVersions`: Daftar versi semua model yang tersedia di hub
+ `DeployHubModel`: Memungkinkan akses untuk menerapkan model hub berat terbuka yang tersedia untuk inferensi
+ Izin akses penuh (`AWS RAMPermissionSageMaker AIHubFullAccessPolicy`): Hak akses penuh memungkinkan akun konsumen sumber daya membaca konten di hub bersama, menambah dan menghapus konten hub, dan menerapkan model yang tersedia untuk inferensi.
+ `DescribeHub`: Mengambil detail tentang hub dan konfigurasinya
+ `DescribeHubContent`: Mengambil detail tentang model yang tersedia di hub tertentu
+ `ListHubContent`: Daftar semua model yang tersedia di hub
+ `ListHubContentVersions`: Daftar versi semua model yang tersedia di hub
+ `ImportHubContent`: Mengimpor konten hub
+ `DeleteHubContent`: Menghapus konten hub
+ `CreateHubContentReference`: Membuat referensi konten hub yang membagikan model dari hub **model Public SageMaker ** AI ke hub pribadi
+ `DeleteHubContentReference`: Hapus referensi konten hub yang membagikan model dari hub **model Public SageMaker ** AI ke hub pribadi
+ `DeployHubModel`: Memungkinkan akses untuk menerapkan model hub berat terbuka yang tersedia untuk inferensi
`DeployHubModel`izin tidak diperlukan untuk model berpemilik.
# Siapkan berbagi hub lintas akun
SageMaker menggunakan [AWS Resource Access Manager (AWS RAM)](https://docs.aws.amazon.com/ram/latest/userguide/what-is.html) untuk membantu Anda berbagi hub pribadi Anda dengan aman di seluruh akun. Siapkan berbagi hub lintas akun menggunakan petunjuk berikut bersama dengan petunjuk [Berbagi AWS sumber daya Anda](https://docs.aws.amazon.com/ram/latest/userguide/getting-started-sharing.html#getting-started-sharing-create) di *Panduan AWS RAM Pengguna*.
**Buat berbagi sumber daya**
1. Pilih **Buat berbagi sumber daya** melalui [AWS RAM konsol](https://console.aws.amazon.com/ram/home).
1. Saat menentukan detail berbagi sumber daya, pilih jenis sumber daya **SageMaker Hub** dan pilih satu lagi hub pribadi yang ingin Anda bagikan. Saat Anda berbagi hub dengan akun lain, semua isinya juga dibagikan secara implisit.
1. Kaitkan izin dengan pembagian sumber daya Anda. Untuk informasi selengkapnya tentang izin terkelola, lihat [Izin terkelola untuk hub pribadi yang dikuratori](jumpstart-curated-hubs-ram.md#jumpstart-curated-hubs-ram-permissions)
1. Gunakan AWS akun IDs untuk menentukan akun yang ingin Anda berikan akses ke sumber daya bersama Anda.
1. Tinjau konfigurasi berbagi sumber daya Anda dan pilih **Buat berbagi sumber daya**. Mungkin diperlukan beberapa menit untuk pembagian sumber daya dan asosiasi utama untuk menyelesaikannya.
Untuk informasi selengkapnya, lihat [Berbagi AWS sumber daya Anda](https://docs.aws.amazon.com/ram/latest/userguide/getting-started-sharing.html) di *Panduan AWS Resource Access Manager Pengguna*.
Setelah pembagian sumber daya dan asosiasi utama ditetapkan, AWS akun yang ditentukan menerima undangan untuk bergabung dengan pembagian sumber daya. AWS Akun harus menerima undangan untuk mendapatkan akses ke sumber daya bersama.
Untuk informasi selengkapnya tentang menerima undangan berbagi sumber daya AWS RAM, lihat [Menggunakan AWS sumber daya bersama](https://docs.aws.amazon.com/ram/latest/userguide/getting-started-shared.html) di *Panduan AWS Resource Access Manager Pengguna*.
# Hapus model dari hub pribadi
Anda dapat menghapus model dari hub pribadi yang digunakan oleh organisasi Anda dengan menentukan model ARN dalam `hub.delete_model_reference()` metode. Ini menghapus akses ke model dari hub pribadi.
```
hub.delete_model_reference(model-name)
```
# Batasi akses ke model yang JumpStart terjaga keamanannya
Amazon SageMaker JumpStart menyediakan akses ke model yayasan yang tersedia untuk umum dan eksklusif. Ada model terjaga keamanannya tertentu di bucket Amazon S3 pribadi yang mengharuskan Anda untuk menerima EULA model (perjanjian lisensi pengguna akhir) untuk mengaksesnya. Untuk informasi selengkapnya, lihat [Penerimaan EULA dengan SDK SageMaker Python](jumpstart-foundation-models-choose.md#jumpstart-foundation-models-choose-eula-python-sdk).
Perilaku default saat ini adalah jika pengguna menerima EULA model, maka pengguna dapat mengakses model dan membuat pekerjaan pelatihan [fine-tuning](jumpstart-foundation-models-use-python-sdk-estimator-class.md). Namun, jika Anda seorang administrator dan ingin membatasi akses fine-tuning ke model terjaga keamanannya, Anda dapat menetapkan kebijakan yang menolak izin untuk menggunakan `CreateTrainingJob` tindakan setiap kali permintaan ke model terjaga keamanannya.
Berikut ini adalah contoh kebijakan AWS Identity and Access Management (IAM) yang dapat ditambahkan administrator ke peran IAM pengguna:
```
{
"Effect": "Deny",
"Action": "sagemaker:CreateTrainingJob",
"Resource": "*",
"Condition": {
"Bool": {
"sagemaker:DirectGatedModelAccess": "true"
}
}
}
```
Jika Anda ingin memberi pengguna akses ke model tertentu tanpa memberikan akses tak terbatas ke model terjaga keamanannya, siapkan hub yang dikuratori dan tambahkan model spesifik ke hub. Untuk informasi selengkapnya, lihat [Hub yang dikuratori pribadi untuk kontrol akses model pondasi di JumpStart](jumpstart-curated-hubs.md).
# Hapus akses ke hub **model SageMaker Publik**
Selain menambahkan hub kurasi pribadi ke JumpStart dalam Studio, Anda juga dapat menghapus akses ke hub **model SageMaker Publik** untuk pengguna Anda. Hub **model SageMaker Publik** memiliki akses ke semua model JumpStart pondasi yang tersedia.
Jika Anda menghapus akses ke hub **model SageMaker Publik** dan pengguna hanya memiliki akses ke satu hub pribadi, maka pengguna akan dibawa langsung ke hub pribadi tersebut saat mereka memilih **JumpStart**di panel navigasi kiri di Studio. Jika pengguna memiliki akses ke beberapa hub pribadi, maka pengguna akan dibawa ke halaman menu **Hub** saat mereka memilih **JumpStart**di panel navigasi kiri di Studio.
Hapus akses ke hub **model SageMaker Publik** untuk pengguna Anda dengan kebijakan inline berikut:
**catatan**
Anda dapat menentukan bucket Amazon S3 tambahan yang ingin diakses hub Anda dalam kebijakan di bawah ini. Pastikan untuk mengganti *`REGION`* dengan Wilayah hub Anda.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Action": "s3:*",
"Effect": "Deny",
"NotResource": [
"arn:aws:s3:::jumpstart-cache-prod-us-east-1/*.ipynb",
"arn:aws:s3:::jumpstart-cache-prod-us-east-1/*eula*",
"arn:aws:s3:::amzn-s3-demo-bucket/*"
]
},
{
"Action": "sagemaker:*",
"Effect": "Deny",
"Resource": [
"arn:aws:sagemaker:us-east-1:aws:hub/SageMakerPublicHub",
"arn:aws:sagemaker:us-east-1:aws:hub-content/SageMakerPublicHub/*/*"
]
}
]
}
```
------
# Hapus hub pribadi
Anda dapat menghapus hub pribadi dari akun admin Anda. Sebelum menghapus hub pribadi, Anda harus terlebih dahulu menghapus konten apa pun di hub itu. Hapus isi hub dan hub dengan perintah berikut:
```
# List the model references in the private hub
response = hub.list_models()
models = response["hub_content_summaries"]
while response["next_token"]:
response = hub.list_models(next_token=response["next_token"])
models.extend(response["hub_content_summaries"])
# Delete all model references in the hub
for model in models:
hub.delete_model_reference(model_name=model.get('HubContentName'))
# Delete the private hub
hub.delete()
```
# Pemecahan masalah
Bagian berikut memberikan informasi tentang masalah izin IAM yang mungkin timbul saat membuat hub model pribadi, serta informasi tentang cara mengatasi masalah tersebut.
**`ValidationException`saat memanggil `CreateModel` operasi: Tidak dapat mengakses data model**
**Pengecualian ini muncul ketika Anda tidak memiliki izin Amazon S3 yang sesuai yang dikonfigurasi untuk peran Admin Anda.** Untuk informasi selengkapnya tentang izin Amazon S3 yang diperlukan untuk membuat hub pribadi, lihat **Langkah** 3 di. [Buat hub model pribadi](jumpstart-curated-hubs-admin-guide-create.md)
**`Access Denied`atau `Forbidden` saat menelepon `create()`**
Anda ditolak aksesnya saat membuat hub pribadi jika Anda tidak memiliki izin yang sesuai untuk mengakses bucket Amazon S3 yang terkait dengan SageMaker hub model **Publik**. Untuk informasi selengkapnya tentang izin Amazon S3 yang diperlukan untuk membuat hub pribadi, lihat **Langkah** 3 di. [Buat hub model pribadi](jumpstart-curated-hubs-admin-guide-create.md)
# Panduan pengguna
Topik berikut mencakup mengakses dan menggunakan model di hub model yang SageMaker JumpStart dikurasi Amazon Anda. Pelajari cara mengakses model hub yang dikurasi melalui antarmuka Amazon SageMaker Studio atau secara terprogram dengan Python SageMaker SDK. Selain itu, pelajari cara menyempurnakan model hub yang dikurasi untuk menyesuaikannya dengan kasus penggunaan spesifik dan kebutuhan bisnis Anda.
**Topics**
+ [Akses hub model yang dikuratori di Amazon SageMaker JumpStart](jumpstart-curated-hubs-access-hubs.md)
+ [Menyesuaikan model hub yang dikuratori](jumpstart-curated-hubs-fine-tune.md)
# Akses hub model yang dikuratori di Amazon SageMaker JumpStart
Anda dapat mengakses hub model pribadi baik melalui Studio atau melalui SageMaker Python SDK.
## Akses hub model pribadi Anda di Studio
**penting**
Pada 30 November 2023, pengalaman Amazon SageMaker Studio sebelumnya sekarang bernama Amazon SageMaker Studio Classic. Bagian berikut khusus untuk menggunakan pengalaman Studio yang diperbarui. Untuk informasi tentang menggunakan aplikasi Studio Classic, lihat[Amazon SageMaker Studio Klasik](studio.md).
Di Amazon SageMaker Studio, buka halaman JumpStart arahan baik melalui halaman **Beranda** atau menu **Beranda** di panel sisi kiri. Ini membuka halaman **SageMaker JumpStart**arahan tempat Anda dapat menjelajahi hub model dan mencari model.
+ Dari halaman **Beranda**, pilih **JumpStart**di panel **solusi bawaan dan otomatis**.
+ Dari menu **Beranda** di panel kiri, arahkan ke **JumpStart**node.
Untuk informasi selengkapnya tentang memulai Amazon SageMaker Studio, lihat[SageMaker Studio Amazon](studio-updated.md).
Dari halaman **SageMaker JumpStart**landing di Studio, Anda dapat menjelajahi hub model pribadi apa pun yang menyertakan model yang diizinkan untuk organisasi Anda. Jika Anda hanya memiliki akses ke satu hub model, maka halaman **SageMaker JumpStart**arahan akan membawa Anda langsung ke hub itu. Jika Anda memiliki akses ke beberapa hub, Anda akan dibawa ke halaman **Hub.**
Untuk informasi selengkapnya tentang fine-tuning, penerapan, dan evaluasi model yang dapat Anda akses di Studio, lihat. [Gunakan model pondasi di Studio](jumpstart-foundation-models-use-studio-updated.md)
## Akses hub model pribadi Anda menggunakan SageMaker Python SDK
Anda dapat mengakses hub model pribadi Anda menggunakan SageMaker Python SDK. Akses Anda untuk membaca, menggunakan, atau mengedit hub yang dikuratori disediakan oleh administrator Anda.
**catatan**
Jika hub dibagi di seluruh akun, maka `HUB_NAME` harus menjadi hub ARN. Jika hub tidak dibagikan di seluruh akun, maka `HUB_NAME` bisa menjadi nama hub.
1. Instal SDK SageMaker Python dan impor paket Python yang diperlukan.
```
# Install the SageMaker Python SDK
!pip3 install sagemaker --force-reinstall --quiet
# Import the necessary Python packages
import boto3
from sagemaker import Session
from sagemaker.jumpstart.hub.hub import Hub
from sagemaker.jumpstart.model import JumpStartModel
from sagemaker.jumpstart.estimator import JumpStartEstimator
```
1. Initalisasi sesi SageMaker AI dan sambungkan ke hub pribadi Anda menggunakan nama hub dan Wilayah.
```
# If a hub is shared across accounts, then the HUB_NAME must be the hub ARN
HUB_NAME="Example-Hub-ARN"
REGION="us-west-2"
# Initialize a SageMaker session
sm_client = boto3.client('sagemaker')
sm_runtime_client = boto3.client('sagemaker-runtime')
session = Session(sagemaker_client=sm_client,
sagemaker_runtime_client=sm_runtime_client)
# Initialize the private hub
hub = Hub(hub_name=HUB_NAME, sagemaker_session=session)
```
1. Setelah terhubung ke hub pribadi, Anda dapat mencantumkan semua model yang tersedia di hub itu menggunakan perintah berikut:
```
response = hub.list_models()
models = response["hub_content_summaries"]
while response["next_token"]:
response = hub.list_models(next_token=response["next_token"])
models.extend(response["hub_content_summaries"])
print(models)
```
1. Anda bisa mendapatkan informasi lebih lanjut tentang model tertentu menggunakan nama model dengan perintah berikut:
```
response = hub.describe_model(model_name="example-model")
print(response)
```
Untuk informasi selengkapnya tentang fine-tuning dan deploying model yang dapat Anda akses menggunakan Python SageMaker SDK, lihat. [Gunakan model foundation dengan SageMaker Python SDK](jumpstart-foundation-models-use-python-sdk.md)
# Menyesuaikan model hub yang dikuratori
Di hub model kurasi pribadi Anda, Anda dapat menjalankan pekerjaan pelatihan fine-tuning menggunakan referensi model Anda. Referensi model menunjuk ke JumpStart model yang tersedia untuk umum di hub publik SageMaker AI, tetapi Anda dapat menyempurnakan model pada data Anda sendiri untuk kasus penggunaan spesifik Anda. Setelah pekerjaan fine-tuning, Anda memiliki akses ke bobot model yang kemudian dapat Anda gunakan atau terapkan ke titik akhir.
Anda dapat menyempurnakan model hub yang dikurasi hanya dalam beberapa baris kode menggunakan Python SageMaker SDK. Untuk informasi lebih umum tentang fine-tuning model yang tersedia JumpStart untuk umum, lihat. [Model pondasi dan hiperparameter untuk fine-tuning](jumpstart-foundation-models-fine-tuning.md)
## Prasyarat
Untuk menyempurnakan referensi JumpStart model di hub kurasi Anda, lakukan hal berikut:
1. Pastikan bahwa peran IAM pengguna Anda memiliki `TrainHubModel` izin SageMaker AI yang dilampirkan. Untuk informasi selengkapnya, lihat [Menambahkan dan menghapus izin identitas IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_manage-attach-detach.html) di Panduan Pengguna *AWS IAM*.
Anda harus melampirkan kebijakan seperti contoh berikut ke peran IAM pengguna Anda:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "VisualEditor0",
"Effect": "Allow",
"Action": "sagemaker:TrainHubModel",
"Resource": "arn:aws:sagemaker:*:111122223333:hub/*"
}
]
}
```
------
**catatan**
Jika hub kurasi Anda dibagikan di seluruh akun dan konten hub dimiliki oleh akun lain, pastikan bahwa `HubContent` (sumber referensi model) Anda memiliki kebijakan IAM berbasis sumber daya yang juga memberikan `TrainHubModel` izin ke akun yang meminta, seperti yang ditunjukkan pada contoh berikut.
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AllowCrossAccountSageMakerAccess",
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::111122223333:root"
},
"Action": [
"sagemaker:TrainHubModel"
],
"Resource": [
"arn:aws:sagemaker:*:111122223333:hub/*"
]
}
]
}
```
1. Miliki hub kurasi pribadi dengan referensi model ke JumpStart model yang ingin Anda sesuaikan. Untuk informasi selengkapnya tentang membuat hub pribadi, lihat[Buat hub model pribadi](jumpstart-curated-hubs-admin-guide-create.md). Untuk mempelajari cara menambahkan JumpStart model yang tersedia untuk umum ke hub pribadi Anda, lihat[Tambahkan model ke hub pribadi](jumpstart-curated-hubs-admin-guide-add-models.md).
**catatan**
JumpStart Model yang Anda pilih harus dapat disetel dengan baik. Anda dapat memverifikasi apakah model dapat disetel dengan baik dengan memeriksa [Algoritma Bawaan](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html) dengan Tabel Model Pra-terlatih.
1. Miliki kumpulan data pelatihan yang ingin Anda gunakan untuk menyempurnakan model. Dataset harus dalam format pelatihan yang sesuai untuk model yang ingin Anda sesuaikan.
## Sempurnakan referensi model hub yang dikuratori
Prosedur berikut menunjukkan cara menyempurnakan referensi model di hub kurasi pribadi Anda menggunakan Python SageMaker SDK.
1. Pastikan bahwa Anda memiliki versi terbaru (setidaknya`2.242.0`) dari SageMaker Python SDK diinstal. Untuk informasi selengkapnya, lihat [Menggunakan SDK SageMaker Python Versi 2.x](https://sagemaker.readthedocs.io/en/stable/v2.html).
```
!pip install --upgrade sagemaker
```
1. Impor AWS SDK untuk Python (Boto3) dan modul yang Anda perlukan dari SageMaker Python SDK.
```
import boto3
from sagemaker.jumpstart.estimator import JumpStartEstimator
from sagemaker.session import Session
```
1. Inisialisasi sesi Boto3, klien SageMaker AI, dan sesi Python SageMaker SDK.
```
sagemaker_client = boto3.Session(region_name=).client("sagemaker")
sm_session = Session(sagemaker_client=sagemaker_client)
```
1. Buat `JumpStartEstimator` dan berikan ID JumpStart model, nama hub Anda yang berisi referensi model, dan sesi SageMaker Python SDK Anda. Untuk daftar model IDs, lihat [Algoritma Bawaan dengan Tabel Model Pra-terlatih](https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html).
Secara opsional, Anda dapat menentukan `instance_type` dan `instance_count` bidang saat membuat estimator. Jika tidak, tugas pelatihan menggunakan jenis instans default dan menghitung untuk model yang Anda gunakan.
Anda juga dapat secara opsional menentukan lokasi Amazon S3 tempat Anda ingin menyimpan bobot model yang disetel dengan baik. `output_path` Jika Anda tidak menentukan`output_path`, gunakan bucket SageMaker AI Amazon S3 default untuk wilayah di akun Anda, dinamai dengan format berikut:. `sagemaker--`
```
estimator = JumpStartEstimator(
model_id="meta-textgeneration-llama-3-2-1b",
hub_name=,
sagemaker_session=sm_session, # If you don't specify an existing session, a default one is created for you
# Optional: specify your desired instance type and count for the training job
# instance_type = "ml.g5.2xlarge"
# instance_count = 1
# Optional: specify a custom S3 location to store the fine-tuned model artifacts
# output_path: "s3://"
)
```
1. Buat kamus dengan `training` kunci tempat Anda menentukan lokasi set data fine-tuning Anda. Contoh ini menunjuk ke URI Amazon S3. Jika Anda memiliki pertimbangan tambahan, seperti menggunakan mode lokal atau beberapa saluran data pelatihan, lihat [ JumpStartEstimator.fit ()](https://sagemaker.readthedocs.io/en/stable/api/training/estimators.html#sagemaker.jumpstart.estimator.JumpStartEstimator.fit) di dokumentasi SageMaker Python SDK untuk informasi selengkapnya.
```
training_input = {
"training": "s3://"
}
```
1. Hubungi `fit()` metode estimator dan berikan data pelatihan Anda dan penerimaan EULA Anda (jika ada).
**catatan**
Contoh berikut ini menetapkan `accept_eula=False.` Anda harus mengubah nilai secara manual untuk `True` menerima EULA.
```
estimator.fit(inputs=training_input, accept_eula=False)
```
Pekerjaan fine-tuning Anda sekarang harus dimulai.
Anda dapat memeriksa pekerjaan fine-tuning Anda dengan melihat pekerjaan pelatihan Anda, baik di konsol SageMaker AI atau dengan menggunakan API. [ListTrainingJobs](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListTrainingJobs.html)
Anda dapat mengakses artefak model yang disetel dengan baik di Amazon S3 `output_path` yang ditentukan dalam `JumpStartEstimator` objek (baik bucket AI Amazon SageMaker S3 default untuk wilayah tersebut, atau jalur Amazon S3 khusus yang Anda tentukan, jika ada).
# Amazon SageMaker JumpStart di Studio Klasik
**penting**
Pada 30 November 2023, pengalaman Amazon SageMaker Studio sebelumnya sekarang bernama Amazon SageMaker Studio Classic. Bagian berikut ini khusus untuk menggunakan aplikasi Studio Classic. Untuk informasi tentang menggunakan pengalaman Studio yang diperbarui, lihat[SageMaker Studio Amazon](studio-updated.md).
Studio Classic masih dipertahankan untuk beban kerja yang ada tetapi tidak lagi tersedia untuk orientasi. Anda hanya dapat menghentikan atau menghapus aplikasi Studio Classic yang ada dan tidak dapat membuat yang baru. Kami menyarankan Anda [memigrasikan beban kerja Anda ke pengalaman Studio yang baru](studio-updated-migrate.md).
JumpStart Fitur berikut hanya tersedia di Amazon SageMaker Studio Classic.
+ [Model Khusus Tugas](jumpstart-models.md)
+ [Model dan Notebook Bersama](jumpstart-content-sharing.md)
+ [End-to-end JumpStart template solusi](jumpstart-solutions.md)
+ [SageMaker JumpStart Industri Amazon: Keuangan](studio-jumpstart-industry.md)
# Model Khusus Tugas
JumpStart mendukung model khusus tugas di lima belas jenis masalah paling populer. Dari jenis masalah yang didukung, tipe terkait Visi dan NLP berjumlah tiga belas. Ada delapan jenis masalah yang mendukung pelatihan tambahan dan fine-tuning. Untuk informasi selengkapnya tentang pelatihan tambahan dan penyetelan hiper-parameter, lihat Penyetelan Model Otomatis [SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/automatic-model-tuning.html). JumpStart juga mendukung empat algoritma populer untuk pemodelan data tabular.
Anda dapat mencari dan menelusuri model dari halaman JumpStart arahan di Studio atau Studio Classic. Saat Anda memilih model, halaman detail model memberikan informasi tentang model, dan Anda dapat melatih dan menerapkan model Anda dalam beberapa langkah. Bagian deskripsi menjelaskan apa yang dapat Anda lakukan dengan model, jenis input dan output yang diharapkan, dan tipe data yang diperlukan untuk menyempurnakan model Anda.
[Anda juga dapat menggunakan model secara terprogram dengan Python SageMaker SDK.](https://sagemaker.readthedocs.io/en/stable/overview.html#use-prebuilt-models-with-sagemaker-jumpstart) Untuk daftar semua model yang tersedia, lihat [Tabel Model yang JumpStart Tersedia](https://sagemaker.readthedocs.io/en/v2.132.0/doc_utils/pretrainedmodels.html).
Daftar jenis masalah dan tautan ke contoh notebook Jupyter mereka dirangkum dalam tabel berikut.
| Jenis masalah | Mendukung inferensi dengan model pra-terlatih | Dapat dilatih pada kumpulan data khusus | Kerangka kerja yang didukung | Contoh Notebook |
| --- | --- | --- | --- | --- |
| Klasifikasi gambar | Ya | Ya | PyTorch, TensorFlow | [Pengantar JumpStart - Klasifikasi Gambar](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_image_classification/Amazon_JumpStart_Image_Classification.ipynb) |
| Deteksi objek | Ya | Ya | PyTorch, TensorFlow, MXNet | [Pengantar JumpStart - Deteksi Objek](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_object_detection/Amazon_JumpStart_Object_Detection.ipynb) |
| Segmentasi semantik | Ya | Ya | MXNet | [Pengantar JumpStart - Segmentasi Semantik](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_semantic_segmentation/Amazon_JumpStart_Semantic_Segmentation.ipynb) |
| Segmentasi contoh | Ya | Ya | MXNet | [Pengantar JumpStart - Segmentasi Instance](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_instance_segmentation/Amazon_JumpStart_Instance_Segmentation.ipynb) |
| Penyematan gambar | Ya | Tidak | TensorFlow, MXNet | [Pengantar JumpStart - Penyematan Gambar](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_image_embedding/Amazon_JumpStart_Image_Embedding.ipynb) |
| Klasifikasi teks | Ya | Ya | TensorFlow | [Pengantar JumpStart - Klasifikasi Teks](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_text_classification/Amazon_JumpStart_Text_Classification.ipynb) |
| Klasifikasi pasangan kalimat | Ya | Ya | TensorFlow, Hugging Face | [Pengantar JumpStart - Klasifikasi Pasangan Kalimat](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_sentence_pair_classification/Amazon_JumpStart_Sentence_Pair_Classification.ipynb) |
| Menjawab pertanyaan | Ya | Ya | PyTorch, Hugging Face | [Pengantar JumpStart — Menjawab Pertanyaan](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_question_answering/Amazon_JumpStart_Question_Answering.ipynb) |
| Pengakuan entitas bernama | Ya | Tidak | Hugging Face | [Pengantar JumpStart - Pengakuan Entitas Bernama](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_named_entity_recognition/Amazon_JumpStart_Named_Entity_Recognition.ipynb) |
| Ringkasan teks | Ya | Tidak | Hugging Face | [Pengantar JumpStart - Ringkasan Teks](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_text_summarization/Amazon_JumpStart_Text_Summarization.ipynb) |
| Pembuatan teks | Ya | Tidak | Hugging Face | [Pengantar JumpStart - Pembuatan Teks](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_text_generation/Amazon_JumpStart_Text_Generation.ipynb) |
| Terjemahan mesin | Ya | Tidak | Hugging Face | [Pengantar JumpStart - Terjemahan Mesin](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_machine_translation/Amazon_JumpStart_Machine_Translation.ipynb) |
| Penyematan teks | Ya | Tidak | TensorFlow, MXNet | [Pengantar JumpStart - Penyematan Teks](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart_text_embedding/Amazon_JumpStart_Text_Embedding.ipynb) |
| Klasifikasi tabel | Ya | Ya | LightGBM,,, AutoGluon -Tabular CatBoost XGBoost,, Pembelajar Linear TabTransformer | [Pengantar JumpStart - Klasifikasi Tabular - LightGBM, CatBoost](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/lightgbm_catboost_tabular/Amazon_Tabular_Classification_LightGBM_CatBoost.ipynb) [Pengantar JumpStart - Klasifikasi Tabular - XGBoost, Pembelajar Linier](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/xgboost_linear_learner_tabular/Amazon_Tabular_Classification_XGBoost_LinearLearner.ipynb) [Pengantar JumpStart - Klasifikasi Tabular - Peserta AutoGluon](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/autogluon_tabular/Amazon_Tabular_Classification_AutoGluon.ipynb) [Pengantar JumpStart - Klasifikasi Tabular - Peserta TabTransformer](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/tabtransformer_tabular/Amazon_Tabular_Classification_TabTransformer.ipynb) |
| Regresi tabel | Ya | Ya | LightGBM,,, AutoGluon -Tabular CatBoost XGBoost,, Pembelajar Linear TabTransformer | [Pengantar JumpStart - Regresi Tabular - LightGBM, CatBoost](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/lightgbm_catboost_tabular/Amazon_Tabular_Regression_LightGBM_CatBoost.ipynb) [Pengantar JumpStart - Regresi Tabular -, Pembelajar Linier XGBoost](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/xgboost_linear_learner_tabular/Amazon_Tabular_Regression_XGBoost_LinearLearner.ipynb) [Pengantar JumpStart — Regresi Tabular - Peserta AutoGluon ](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/autogluon_tabular/Amazon_Tabular_Regression_AutoGluon.ipynb) [Pengantar JumpStart — Regresi Tabular - Peserta TabTransformer](https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/tabtransformer_tabular/Amazon_Tabular_Regression_TabTransformer.ipynb) |
# Menyebarkan Model
Saat Anda menerapkan model dari JumpStart, SageMaker AI menghosting model dan menerapkan titik akhir yang dapat Anda gunakan untuk inferensi. JumpStart juga menyediakan contoh notebook yang dapat Anda gunakan untuk mengakses model setelah diterapkan.
**penting**
Pada 30 November 2023, pengalaman Amazon SageMaker Studio sebelumnya sekarang bernama Amazon SageMaker Studio Classic. Bagian berikut ini khusus untuk menggunakan aplikasi Studio Classic. Untuk informasi tentang menggunakan pengalaman Studio yang diperbarui, lihat[SageMaker Studio Amazon](studio-updated.md).
Studio Classic masih dipertahankan untuk beban kerja yang ada tetapi tidak lagi tersedia untuk orientasi. Anda hanya dapat menghentikan atau menghapus aplikasi Studio Classic yang ada dan tidak dapat membuat yang baru. Kami menyarankan Anda [memigrasikan beban kerja Anda ke pengalaman Studio yang baru](studio-updated-migrate.md).
**catatan**
Untuk informasi lebih lanjut tentang penerapan JumpStart model di Studio, lihat [Menyebarkan model di Studio](jumpstart-foundation-models-use-studio-updated-deploy.md)
## Konfigurasi penerapan model
Setelah Anda memilih model, tab model terbuka. Di panel **Deploy Model**, pilih **Deployment Configuration untuk mengonfigurasi penerapan** model Anda.
![\[The Deploy Model pane.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-deploy.png)
Jenis instans default untuk menerapkan model bergantung pada model. Jenis instans adalah perangkat keras tempat pekerjaan pelatihan berjalan. Dalam contoh berikut, `ml.p2.xlarge` instance adalah default untuk model BERT khusus ini.
Anda juga dapat mengubah nama titik akhir, menambahkan tag `key;value` sumber daya, mengaktifkan atau menonaktifkan `jumpstart-` awalan untuk sumber JumpStart daya apa pun yang terkait dengan model, dan menentukan bucket Amazon S3 untuk menyimpan artefak model yang digunakan oleh titik akhir AI Anda. SageMaker
![\[JumpStart Deploy Model pane with Deployment Configuration open to select its settings.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-deploy-config.png)
Pilih **Pengaturan Keamanan** untuk menentukan peran AWS Identity and Access Management (IAM), Amazon Virtual Private Cloud (Amazon VPC), dan kunci enkripsi untuk model.
![\[JumpStart Deploy Model pane with Security Settings open to select its settings.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-deploy-security.png)
## Keamanan penerapan model
Saat menerapkan model JumpStart, Anda dapat menentukan peran IAM, Amazon VPC, dan kunci enkripsi untuk model tersebut. Jika Anda tidak menentukan nilai apa pun untuk entri ini: Peran IAM default adalah peran runtime Studio Classic Anda; enkripsi default digunakan; tidak ada VPC Amazon yang digunakan.
### IAM Role
Anda dapat memilih peran IAM yang disahkan sebagai bagian dari pekerjaan pelatihan dan pekerjaan hosting. SageMaker AI menggunakan peran ini untuk mengakses data pelatihan dan artefak model. Jika Anda tidak memilih peran IAM, SageMaker AI akan menerapkan model menggunakan peran runtime Studio Classic Anda. Untuk informasi selengkapnya tentang peran IAM, lihat[AWS Identity and Access Management untuk Amazon SageMaker AI](security-iam.md).
Peran yang Anda lewati harus memiliki akses ke sumber daya yang dibutuhkan model, dan harus mencakup semua hal berikut.
+ Untuk pekerjaan pelatihan: [CreateTrainingJob API: Izin Peran Eksekusi](https://docs.aws.amazon.com//sagemaker/latest/dg/sagemaker-roles.html#sagemaker-roles-createtrainingjob-perms).
+ Untuk pekerjaan hosting: [CreateModel API: Izin Peran Eksekusi](https://docs.aws.amazon.com//sagemaker/latest/dg/sagemaker-roles.html#sagemaker-roles-createmodel-perms).
**catatan**
Anda dapat mencatat izin Amazon S3 yang diberikan di setiap peran berikut. Lakukan ini dengan menggunakan ARN bucket Amazon Simple Storage Service (Amazon S3) dan bucket Amazon S3. JumpStart
```
[
{
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::jumpstart-cache-prod-/*",
"arn:aws:s3:::jumpstart-cache-prod-",
"arn:aws:s3:::/*"
]
},
{
"Effect": "Allow",
"Action": [
"cloudwatch:PutMetricData",
"logs:CreateLogStream",
"logs:PutLogEvents",
"logs:CreateLogGroup",
"logs:DescribeLogStreams",
"ecr:GetAuthorizationToken"
],
"Resource": [
"*"
]
},
{
"Effect": "Allow",
"Action": [
"ecr:BatchGetImage",
"ecr:BatchCheckLayerAvailability",
"ecr:GetDownloadUrlForLayer"
],
"Resource": [
"*"
]
},
]
}
```
**Temukan peran IAM**
Jika Anda memilih opsi ini, Anda harus memilih peran IAM yang ada dari daftar dropdown.
![\[JumpStart Security Settings IAM section with Find IAM role selected.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-deploy-security-findiam.png)
**Masukan peran IAM**
Jika Anda memilih opsi ini, Anda harus memasukkan ARN secara manual untuk peran IAM yang ada. Jika peran runtime Studio Classic atau Amazon VPC memblokir `iam:list* ` panggilan, Anda harus menggunakan opsi ini untuk menggunakan peran IAM yang ada.
![\[JumpStart Security Settings IAM section with Input IAM role selected.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-deploy-security-inputiam.png)
### Amazon VPC
Semua JumpStart model berjalan dalam mode isolasi jaringan. Setelah wadah model dibuat, tidak ada lagi panggilan yang dapat dilakukan. Anda dapat memilih VPC Amazon yang lulus sebagai bagian dari pekerjaan pelatihan dan pekerjaan hosting. SageMaker AI menggunakan VPC Amazon ini untuk mendorong dan menarik sumber daya dari bucket Amazon S3 Anda. VPC Amazon ini berbeda dengan VPC Amazon yang membatasi akses ke internet publik dari instans Studio Classic Anda. Untuk informasi selengkapnya tentang Studio Classic Amazon VPC, lihat. [Hubungkan notebook Studio di VPC ke sumber daya eksternal](studio-notebooks-and-internet-access.md)
VPC Amazon yang Anda lewati tidak memerlukan akses ke internet publik, tetapi memang membutuhkan akses ke Amazon S3. Titik akhir VPC Amazon untuk Amazon S3 harus memungkinkan akses ke setidaknya sumber daya berikut yang dibutuhkan model.
```
{
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:PutObject",
"s3:ListMultipartUploadParts",
"s3:ListBucket"
],
"Resources": [
"arn:aws:s3:::jumpstart-cache-prod-/*",
"arn:aws:s3:::jumpstart-cache-prod-",
"arn:aws:s3:::bucket/*"
]
}
```
Jika Anda tidak memilih VPC Amazon, tidak ada VPC Amazon yang digunakan.
**Temukan VPC**
Jika Anda memilih opsi ini, Anda harus memilih VPC Amazon yang ada dari daftar tarik-turun. Setelah memilih VPC Amazon, Anda harus memilih subnet dan grup keamanan untuk VPC Amazon Anda. Untuk informasi selengkapnya tentang subnet dan grup keamanan, lihat [Ikhtisar VPCs dan subnet](https://docs.aws.amazon.com//vpc/latest/userguide/VPC_Subnets.html).
![\[JumpStart Security Settings VPC section with Find VPC selected.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-deploy-security-findvpc.png)
**Masukan VPC**
Jika Anda memilih opsi ini, Anda harus secara manual memilih subnet dan grup keamanan yang menyusun VPC Amazon Anda. Jika peran runtime Studio Classic atau Amazon VPC memblokir `ec2:list*` panggilan, Anda harus menggunakan opsi ini untuk memilih subnet dan grup keamanan.
![\[JumpStart Security Settings VPC section with Input VPC selected.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-deploy-security-inputvpc.png)
### Kunci enkripsi
Anda dapat memilih AWS KMS kunci yang diteruskan sebagai bagian dari pekerjaan pelatihan dan pekerjaan hosting. SageMaker AI menggunakan kunci ini untuk mengenkripsi volume Amazon EBS untuk wadah, dan model yang dikemas ulang di Amazon S3 untuk pekerjaan hosting dan output untuk pekerjaan pelatihan. Untuk informasi selengkapnya tentang AWS KMS kunci, lihat [AWS KMS kunci](https://docs.aws.amazon.com//kms/latest/developerguide/concepts.html#kms_keys).
Kunci yang Anda lewati harus mempercayai peran IAM yang Anda lewati. Jika Anda tidak menentukan peran IAM, AWS KMS kunci harus mempercayai peran runtime Studio Classic Anda.
Jika Anda tidak memilih AWS KMS kunci, SageMaker AI menyediakan enkripsi default untuk data dalam volume Amazon EBS dan artefak Amazon S3.
**Temukan kunci enkripsi**
Jika Anda memilih opsi ini, Anda harus memilih AWS KMS kunci yang ada dari daftar dropdown.
![\[JumpStart Security Settings encryption section with Find encryption keys selected.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-deploy-security-findencryption.png)
**Kunci enkripsi masukan**
Jika Anda memilih opsi ini, Anda harus memasukkan AWS KMS tombol secara manual. Jika peran eksekusi Studio Classic atau Amazon VPC memblokir `kms:list* ` panggilan, Anda harus menggunakan opsi ini untuk memilih kunci yang ada AWS KMS .
![\[JumpStart Security Settings encryption section with Input encryption keys selected.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-deploy-security-inputencryption.png)
## Konfigurasikan nilai default untuk JumpStart model
Anda dapat mengonfigurasi nilai default untuk parameter seperti peran IAM VPCs, dan kunci KMS untuk diisi sebelumnya untuk penerapan dan pelatihan JumpStart model. Setelah mengonfigurasi nilai default, UI Studio Classic secara otomatis menyediakan setelan keamanan dan tag yang Anda tentukan ke JumpStart model untuk menyederhanakan alur kerja penerapan dan pelatihan. Administrator dan pengguna akhir dapat menginisialisasi nilai default yang ditentukan dalam file konfigurasi dalam format YAMM.
Secara default, SageMaker Python SDK menggunakan dua file konfigurasi: satu untuk administrator dan satu untuk pengguna. Menggunakan file konfigurasi admininistrator, administrator dapat menentukan satu set nilai default. Pengguna akhir dapat mengganti nilai yang ditetapkan dalam file konfigurasi administrator dan menetapkan nilai default tambahan menggunakan file konfigurasi pengguna akhir. Untuk informasi selengkapnya, lihat [Lokasi file konfigurasi default](https://sagemaker.readthedocs.io/en/stable/overview.html#default-configuration-file-location).
Contoh kode berikut mencantumkan lokasi default file konfigurasi saat menggunakan SageMaker Python SDK di Amazon SageMaker Studio Classic.
```
# Location of the admin config file
/etc/xdg/sagemaker/config.yaml
# Location of the user config file
/root/.config/sagemaker/config.yaml
```
Nilai yang ditentukan dalam file konfigurasi pengguna mengganti nilai yang ditetapkan dalam file konfigurasi administrator. File konfigurasi unik untuk setiap profil pengguna dalam domain Amazon SageMaker AI. Aplikasi Studio Classic profil pengguna secara langsung terkait dengan profil pengguna. Untuk informasi selengkapnya, lihat [Profil pengguna domain](domain-user-profile.md).
Administrator dapat secara opsional mengatur default konfigurasi untuk pelatihan JumpStart model dan penerapan melalui konfigurasi siklus hidup. `JupyterServer` Untuk informasi selengkapnya, lihat [Membuat dan Mengaitkan Konfigurasi Siklus Hidup dengan Amazon SageMaker Studio Classic](studio-lcc-create.md).
### Konfigurasi nilai default file YAMAL
File konfigurasi Anda harus mematuhi struktur file [konfigurasi SageMaker ](https://sagemaker.readthedocs.io/en/stable/overview.html#configuration-file-structure) Python SDK. Perhatikan bahwa bidang tertentu dalam`TrainingJob`,`Model`, dan `EndpointConfig` konfigurasi berlaku untuk pelatihan JumpStart model dan nilai default penerapan.
```
SchemaVersion: '1.0'
SageMaker:
TrainingJob:
OutputDataConfig:
KmsKeyId: example-key-id
ResourceConfig:
# Training configuration - Volume encryption key
VolumeKmsKeyId: example-key-id
# Training configuration form - IAM role
RoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
VpcConfig:
# Training configuration - Security groups
SecurityGroupIds:
- sg-1
- sg-2
# Training configuration - Subnets
Subnets:
- subnet-1
- subnet-2
# Training configuration - Custom resource tags
Tags:
- Key: Example-key
Value: Example-value
Model:
EnableNetworkIsolation: true
# Deployment configuration - IAM role
ExecutionRoleArn: arn:aws:iam::123456789012:role/SageMakerExecutionRole
VpcConfig:
# Deployment configuration - Security groups
SecurityGroupIds:
- sg-1
- sg-2
# Deployment configuration - Subnets
Subnets:
- subnet-1
- subnet-2
EndpointConfig:
AsyncInferenceConfig:
OutputConfig:
KmsKeyId: example-key-id
DataCaptureConfig:
# Deployment configuration - Volume encryption key
KmsKeyId: example-key-id
KmsKeyId: example-key-id
# Deployment configuration - Custom resource tags
Tags:
- Key: Example-key
Value: Example-value
```
# Sempurnakan Model
Fine-tuning melatih model yang telah dilatih sebelumnya pada dataset baru tanpa pelatihan dari awal. Proses ini, juga dikenal sebagai pembelajaran transfer, dapat menghasilkan model yang akurat dengan kumpulan data yang lebih kecil dan waktu pelatihan yang lebih sedikit. **Anda dapat menyempurnakan model jika kartunya menunjukkan atribut **fine-tunable yang disetel** ke Yes.**
![\[JumpStart fine-tunable Image Classification - TensorFlow model\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-finetune-model.png)
**penting**
Pada 30 November 2023, pengalaman Amazon SageMaker Studio sebelumnya sekarang bernama Amazon SageMaker Studio Classic. Bagian berikut ini khusus untuk menggunakan aplikasi Studio Classic. Untuk informasi tentang menggunakan pengalaman Studio yang diperbarui, lihat[SageMaker Studio Amazon](studio-updated.md).
Studio Classic masih dipertahankan untuk beban kerja yang ada tetapi tidak lagi tersedia untuk orientasi. Anda hanya dapat menghentikan atau menghapus aplikasi Studio Classic yang ada dan tidak dapat membuat yang baru. Kami menyarankan Anda [memigrasikan beban kerja Anda ke pengalaman Studio yang baru](studio-updated-migrate.md).
**catatan**
Untuk informasi selengkapnya tentang fine-tuning JumpStart model di Studio, lihat [Sempurnakan model di Studio](jumpstart-foundation-models-use-studio-updated-fine-tune.md)
## Sumber data Fine-Tuning
Saat menyempurnakan model, Anda dapat menggunakan kumpulan data default atau memilih data Anda sendiri, yang terletak di bucket Amazon S3.
Untuk menelusuri bucket yang tersedia untuk Anda, pilih bucket **Find S3**. Bucket ini dibatasi oleh izin yang digunakan untuk menyiapkan akun Studio Classic Anda. Anda juga dapat menentukan URI Amazon S3 dengan memilih **Masukkan lokasi bucket Amazon S3**.
![\[JumpStart data source settings with default dataset selected.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-dataset.png)
**Tip**
Untuk mengetahui cara memformat data di bucket, pilih **Pelajari lebih lanjut**. Bagian deskripsi untuk model memiliki informasi rinci tentang input dan output.
Untuk model teks:
+ Bucket harus memiliki file data.csv.
+ Kolom pertama harus berupa bilangan bulat unik untuk label kelas. Misalnya:`1`,`2`,`3`,`4`, `n`
+ Kolom kedua harus berupa string.
+ Kolom kedua harus memiliki teks yang sesuai yang cocok dengan jenis dan bahasa untuk model.
Untuk model visi:
+ Bucket harus memiliki subdirektori sebanyak jumlah kelas.
+ Setiap subdirektori harus berisi gambar yang termasuk dalam kelas itu dalam format.jpg.
**catatan**
Bucket Amazon S3 harus sama dengan Wilayah AWS tempat Anda menjalankan SageMaker Studio Classic karena SageMaker AI tidak mengizinkan permintaan Lintas wilayah.
## Konfigurasi penyebaran Fine-Tuning
Keluarga p3 direkomendasikan sebagai yang tercepat untuk pelatihan pembelajaran mendalam, dan ini direkomendasikan untuk menyempurnakan model. Bagan berikut menunjukkan jumlah GPUs dalam setiap jenis instance. Ada opsi lain yang tersedia yang dapat Anda pilih, termasuk jenis instans p2 dan g4.
| Tipe instans | GPUs |
| --- | --- |
| p3.2xlarge | 1 |
| p3.8xlarge | 4 |
| p3.16xlarge | 8 |
| p3dn.24xlarge | 8 |
## Hyperparameter
Anda dapat menyesuaikan hyperparameters dari pekerjaan pelatihan yang digunakan untuk menyempurnakan model. Hiperparameter yang tersedia untuk setiap model yang dapat disetel berbeda tergantung pada modelnya. Untuk informasi tentang setiap hyperparameter yang tersedia, rujuk dokumentasi hyperparameters untuk model yang Anda pilih. [Algoritma bawaan dan model yang telah dilatih sebelumnya di Amazon SageMaker](algos.md) Misalnya, lihat [Klasifikasi Gambar - TensorFlow Hyperparameters](IC-TF-Hyperparameter.md) detail tentang Klasifikasi Gambar yang dapat disetel dengan baik - hiperparameter. TensorFlow
Jika Anda menggunakan dataset default untuk model teks tanpa mengubah hyperparameters, Anda mendapatkan model yang hampir identik sebagai hasilnya. Untuk model visi, kumpulan data default berbeda dari kumpulan data yang digunakan untuk melatih model yang telah dilatih sebelumnya, sehingga model Anda berbeda sebagai hasilnya.
Hyperparameter berikut umum di antara model:
+ **Epoch** — Satu epoch adalah satu siklus melalui seluruh dataset. Beberapa interval menyelesaikan batch, dan beberapa batch akhirnya menyelesaikan sebuah epoch. Beberapa zaman dijalankan hingga keakuratan model mencapai tingkat yang dapat diterima, atau ketika tingkat kesalahan turun di bawah tingkat yang dapat diterima.
+ **Laju belajar** — Jumlah nilai yang harus diubah antar zaman. Saat model disempurnakan, bobot internalnya didorong dan tingkat kesalahan diperiksa untuk melihat apakah model membaik. Tingkat pembelajaran tipikal adalah 0,1 atau 0,01, di mana 0,01 adalah penyesuaian yang jauh lebih kecil dan dapat menyebabkan pelatihan memakan waktu lama untuk bertemu, sedangkan 0,1 jauh lebih besar dan dapat menyebabkan pelatihan melampaui batas. Ini adalah salah satu hiperparameter utama yang mungkin Anda sesuaikan untuk melatih model Anda. Perhatikan bahwa untuk model teks, tingkat pembelajaran yang jauh lebih kecil (5e-5 untuk BERT) dapat menghasilkan model yang lebih akurat.
+ **Ukuran Batch** — Jumlah catatan dari kumpulan data yang akan dipilih untuk setiap interval untuk dikirim ke GPUs pelatihan.
Dalam contoh gambar, Anda mungkin mengirimkan 32 gambar per GPU, jadi 32 akan menjadi ukuran batch Anda. Jika Anda memilih jenis instans dengan lebih dari satu GPU, batch dibagi dengan jumlah. GPUs Ukuran batch yang disarankan bervariasi tergantung pada data dan model yang Anda gunakan. Misalnya, cara Anda mengoptimalkan data gambar berbeda dari cara Anda menangani data bahasa.
Di bagan tipe instans di bagian konfigurasi penerapan, Anda dapat melihat jumlah GPUs per jenis instance. Mulailah dengan ukuran batch standar yang direkomendasikan (misalnya, 32 untuk model visi). Kemudian, kalikan ini dengan jumlah GPUs dalam jenis instance yang Anda pilih. Misalnya, jika Anda menggunakan a`p3.8xlarge`, ini akan menjadi 32 (ukuran batch) dikalikan dengan 4 (GPUs), dengan total 128, karena ukuran batch Anda menyesuaikan dengan jumlah. GPUs Untuk model teks seperti BERT, coba mulai dengan ukuran batch 64, dan kemudian kurangi sesuai kebutuhan.
## Output pelatihan
Ketika proses fine-tuning selesai, JumpStart berikan informasi tentang model: model induk, nama pekerjaan pelatihan, ARN pekerjaan pelatihan, waktu pelatihan, dan jalur keluaran. Jalur keluaran adalah tempat Anda dapat menemukan model baru Anda di bucket Amazon S3. Struktur folder menggunakan nama model yang Anda berikan dan file model ada di `/output` subfolder dan selalu diberi nama`model.tar.gz`.
Contoh: `s3://bucket/model-name/output/model.tar.gz`
## Konfigurasikan nilai default untuk pelatihan model
Anda dapat mengonfigurasi nilai default untuk parameter seperti peran IAM VPCs, dan kunci KMS untuk diisi sebelumnya untuk penerapan dan pelatihan JumpStart model. Untuk informasi selengkapnya, lihat, [Konfigurasikan nilai default untuk JumpStart model](jumpstart-deploy.md#jumpstart-config-defaults).
# Bagikan Model
**penting**
Pada 30 November 2023, pengalaman Amazon SageMaker Studio sebelumnya sekarang bernama Amazon SageMaker Studio Classic. Bagian berikut ini khusus untuk menggunakan aplikasi Studio Classic. Untuk informasi tentang menggunakan pengalaman Studio yang diperbarui, lihat[SageMaker Studio Amazon](studio-updated.md).
Studio Classic masih dipertahankan untuk beban kerja yang ada tetapi tidak lagi tersedia untuk orientasi. Anda hanya dapat menghentikan atau menghapus aplikasi Studio Classic yang ada dan tidak dapat membuat yang baru. Kami menyarankan Anda [memigrasikan beban kerja Anda ke pengalaman Studio yang baru](studio-updated-migrate.md).
Anda dapat berbagi JumpStart model melalui UI Studio Classic langsung dari halaman ** JumpStart Aset yang diluncurkan** menggunakan prosedur berikut:
1. Buka Amazon SageMaker Studio Classic dan pilih ** JumpStart Aset yang diluncurkan** di **JumpStart**bagian panel navigasi kiri.
1. Pilih tab **Pekerjaan pelatihan** untuk melihat daftar pekerjaan pelatihan model Anda.
1. Di bawah daftar **Pekerjaan pelatihan**, pilih pekerjaan pelatihan yang ingin Anda bagikan. Ini membuka halaman detail pekerjaan pelatihan. Anda tidak dapat berbagi lebih dari satu pekerjaan pelatihan dalam satu waktu.
1. Di header untuk pekerjaan pelatihan, pilih **Bagikan**, dan pilih **Bagikan dengan organisasi saya**.
Untuk informasi selengkapnya tentang berbagi model dengan organisasi Anda, lihat[Model dan Notebook Bersama](jumpstart-content-sharing.md).
# Model dan Notebook Bersama
**penting**
Per 30 November 2023, pengalaman Amazon SageMaker Studio sebelumnya sekarang bernama Amazon SageMaker Studio Classic. Bagian berikut khusus untuk menggunakan aplikasi Studio Classic. Untuk informasi tentang menggunakan pengalaman Studio yang diperbarui, lihat[SageMaker Studio Amazon](studio-updated.md).
Studio Classic masih dipertahankan untuk beban kerja yang ada tetapi tidak lagi tersedia untuk orientasi. Anda hanya dapat menghentikan atau menghapus aplikasi Studio Classic yang ada dan tidak dapat membuat yang baru. Kami menyarankan Anda [memigrasikan beban kerja Anda ke pengalaman Studio yang baru](studio-updated-migrate.md).
Bagikan model dan buku catatan Anda untuk memusatkan artefak model, memfasilitasi kemampuan ditemukan, dan meningkatkan penggunaan kembali model dalam organisasi Anda. Saat membagikan model Anda, Anda dapat memberikan informasi lingkungan pelatihan dan inferensi dan memungkinkan kolaborator menggunakan lingkungan ini untuk pekerjaan pelatihan dan inferensi mereka sendiri.
Semua model yang Anda bagikan dan model yang dibagikan dengan Anda dapat dicari di lokasi terpusat langsung di Amazon SageMaker Studio Classic. Untuk informasi tentang langkah-langkah orientasi untuk masuk ke Amazon SageMaker Studio Classic, lihat [Onboard to Amazon SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/gs-studio-onboard.html) Domain.
**Topics**
+ [Berbagi model dan notebook](jumpstart-content-sharing-access.md)
+ [Akses konten bersama](jumpstart-content-sharing-access-filter.md)
+ [Tambahkan model](jumpstart-content-sharing-add-model.md)
# Berbagi model dan notebook
Untuk berbagi model dan buku catatan, navigasikan ke bagian **Model bersama** di Amazon SageMaker Studio Classic, pilih **Dibagikan oleh organisasi saya**, lalu pilih daftar tarik-turun **Tambah**. Pilih untuk menambahkan model atau menambahkan buku catatan.
![\[Menu untuk menambahkan model atau notebook bersama. JumpStart\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-shared-models.png)
# Akses konten bersama
Dari Amazon SageMaker Studio Classic UI, Anda dapat mengakses konten bersama dan memfilter apa yang Anda lihat.
Ada tiga opsi utama untuk memfilter model dan notebook bersama:
1. **Dibagikan oleh saya** - Model dan buku catatan yang Anda bagikan. JumpStart
1. **Berbagi dengan saya** - Model dan notebook dibagikan dengan Anda
1. **Dibagikan oleh organisasi saya** — Semua model dan buku catatan yang dibagikan kepada siapa pun di organisasi Anda
Anda juga dapat mengurutkan model dan buku catatan Anda berdasarkan waktu terakhir diperbarui atau dengan urutan abjad naik atau turun. Pilih ikon filter (![\[Funnel or filter icon representing data filtering or narrowing down options.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-filter-icon.png)) untuk mengurutkan pilihan Anda lebih lanjut.
# Tambahkan model
Untuk menambahkan model, pilih **Dibagikan oleh organisasi saya**, lalu pilih **Tambah model** dari daftar tarik-turun **Tambah**. Masukkan informasi dasar untuk model Anda, dan tambahkan informasi pelatihan atau inferensi apa pun yang ingin Anda bagikan dengan kolaborator untuk melatih atau menerapkan model Anda. Setelah Anda memasukkan semua informasi yang diperlukan, pilih **Tambahkan model** di sudut kanan bawah layar.
**Topics**
+ [Tambahkan informasi dasar](jumpstart-content-sharing-info.md)
+ [Aktifkan pelatihan](jumpstart-content-sharing-training.md)
+ [Aktifkan penerapan](jumpstart-content-sharing-deployment.md)
+ [Tambahkan buku catatan](jumpstart-content-sharing-notebooks.md)
# Tambahkan informasi dasar
Menambahkan model JumpStart melibatkan penyediaan beberapa informasi dasar tentang model yang ingin Anda latih. Informasi ini membantu menentukan karakteristik dan kemampuan model Anda, serta meningkatkan kemampuan untuk ditemukan dan dicari. Untuk membuat model baru, ikuti langkah-langkah ini:
1. Tambahkan judul untuk model ini. Menambahkan judul secara otomatis mengisi pengenal unik di bidang ID berdasarkan judul model.
1. Tambahkan deskripsi model.
1. Pilih tipe data dari opsi: *teks*, *visi*, *tabular*, atau *audio*.
1. Pilih tugas pembelajaran mesin dari daftar tugas yang tersedia, seperti *klasifikasi gambar* atau *pembuatan teks*.
1. Pilih kerangka pembelajaran mesin.
1. Tambahkan informasi metadata dengan kata kunci atau frasa untuk digunakan saat mencari model. Gunakan koma untuk memisahkan kata kunci. Setiap spasi secara otomatis diganti dengan koma.
# Aktifkan pelatihan
Saat menambahkan model untuk dibagikan, Anda dapat menyediakan lingkungan pelatihan secara opsional dan memungkinkan kolaborator di organisasi Anda untuk melatih model bersama.
**catatan**
Jika Anda menambahkan model tabular, Anda juga perlu menentukan format kolom dan kolom target untuk mengaktifkan pelatihan.
Setelah memberikan detail dasar tentang model Anda, Anda harus mengonfigurasi pengaturan untuk pekerjaan pelatihan yang akan digunakan untuk melatih model Anda. Ini melibatkan menentukan lingkungan kontainer, skrip kode, kumpulan data, lokasi keluaran, dan berbagai parameter lainnya untuk mengontrol bagaimana pekerjaan pelatihan dijalankan. Untuk mengonfigurasi pengaturan pekerjaan pelatihan, ikuti langkah-langkah ini:
1. Tambahkan wadah untuk digunakan untuk pelatihan model. Anda dapat memilih wadah yang digunakan untuk pekerjaan pelatihan yang ada, membawa wadah Anda sendiri di Amazon ECR, atau menggunakan Amazon SageMaker Deep Learning Container.
1. Tambahkan variabel lingkungan.
1. Berikan lokasi skrip pelatihan.
1. Berikan titik masuk mode skrip.
1. Berikan URI Amazon S3 untuk artefak model yang dihasilkan selama pelatihan.
1. Berikan URI Amazon S3 ke kumpulan data pelatihan default.
1. Berikan jalur keluaran model. Jalur keluaran model harus berupa jalur URI Amazon S3 untuk artefak model apa pun yang dihasilkan dari pelatihan. SageMaker AI menyimpan artefak model sebagai file TAR terkompresi tunggal di Amazon S3.
1. Berikan kumpulan data validasi yang akan digunakan untuk mengevaluasi model Anda selama pelatihan. Kumpulan data validasi harus berisi jumlah kolom yang sama dan header fitur yang sama dengan kumpulan data pelatihan.
1. Nyalakan isolasi jaringan. Isolasi jaringan mengisolasi wadah model sehingga tidak ada panggilan jaringan masuk atau keluar yang dapat dilakukan ke atau dari wadah model.
1. Sediakan saluran pelatihan di mana SageMaker AI dapat mengakses data Anda. Misalnya, Anda dapat menentukan saluran input bernama `train` atau`test`. Untuk setiap saluran, tentukan nama saluran dan URI ke lokasi data Anda. Pilih **Jelajahi** untuk mencari lokasi Amazon S3.
1. Berikan hiperparameter. Tambahkan hiperparameter apa pun yang harus dilakukan kolaborator selama pelatihan. Berikan berbagai nilai yang valid untuk hiperparameter ini. Rentang ini digunakan untuk melatih validasi hyperparameter pekerjaan. Anda dapat menentukan rentang berdasarkan tipe data hyperparameter.
1. Pilih jenis instance. Kami merekomendasikan instans GPU dengan lebih banyak memori untuk pelatihan dengan ukuran batch besar. Untuk daftar lengkap instans SageMaker pelatihan di seluruh AWS Wilayah, lihat tabel **Harga Sesuai Permintaan di Harga** [Amazon SageMaker ](https://aws.amazon.com/sagemaker/pricing/).
1. Berikan metrik. Tentukan metrik untuk pekerjaan pelatihan dengan menentukan nama dan ekspresi reguler untuk setiap metrik yang dipantau pelatihan Anda. Rancang ekspresi reguler untuk menangkap nilai metrik yang dipancarkan algoritme Anda. Misalnya, metrik `loss` mungkin memiliki ekspresi reguler`"Loss =(.*?);"`.
# Aktifkan penerapan
Saat menambahkan model untuk dibagikan, Anda dapat secara opsional menyediakan lingkungan inferensi di mana kolaborator di organisasi Anda dapat menerapkan model bersama untuk inferensi.
Setelah melatih model pembelajaran mesin Anda, Anda harus menerapkannya ke titik akhir Amazon SageMaker AI untuk inferensi. Ini melibatkan penyediaan lingkungan kontainer, skrip inferensi, artefak model yang dihasilkan selama pelatihan, dan memilih jenis instance komputasi yang sesuai. Mengkonfigurasi pengaturan ini dengan benar sangat penting untuk memastikan model yang Anda gunakan dapat membuat prediksi yang akurat dan menangani permintaan inferensi secara efisien. Untuk menyiapkan model Anda untuk inferensi, ikuti langkah-langkah berikut:
1. Tambahkan wadah untuk digunakan untuk inferensi. Anda dapat membawa wadah Anda sendiri di Amazon ECR atau menggunakan Amazon SageMaker Deep Learning Container.
1. Berikan URI Amazon S3 ke skrip inferensi. Skrip inferensi kustom berjalan di dalam wadah pilihan Anda. Skrip inferensi Anda harus menyertakan fungsi untuk pemuatan model, dan fungsi opsional menghasilkan prediksi, serta pemrosesan input dan output. Untuk informasi selengkapnya tentang membuat skrip inferensi untuk kerangka kerja pilihan Anda, lihat [Kerangka kerja](https://sagemaker.readthedocs.io/en/stable/frameworks/index.html) dalam dokumentasi Python SageMaker SDK. Misalnya, untuk TensorFlow, lihat [Cara mengimplementasikan handler pra- and/or pasca-pemrosesan.](https://sagemaker.readthedocs.io/en/stable/frameworks/tensorflow/deploying_tensorflow_serving.html#how-to-implement-the-pre-and-or-post-processing-handler-s)
1. Menyediakan URI Amazon S3 untuk artefak model. Artefak model adalah output yang dihasilkan dari pelatihan model, dan biasanya terdiri dari parameter terlatih, definisi model yang menjelaskan cara menghitung kesimpulan, dan metadata lainnya. Jika Anda melatih model Anda dalam SageMaker AI, artefak model disimpan sebagai file TAR terkompresi tunggal di Amazon S3. Jika Anda melatih model Anda di luar SageMaker AI, Anda perlu membuat file TAR terkompresi tunggal ini dan menyimpannya di lokasi Amazon S3.
1. Pilih jenis instance. Kami merekomendasikan instans GPU dengan lebih banyak memori untuk pelatihan dengan ukuran batch besar. Untuk daftar lengkap instans SageMaker pelatihan di seluruh AWS Wilayah, lihat tabel **Harga Sesuai Permintaan di Harga** [Amazon SageMaker ](https://aws.amazon.com/sagemaker/pricing/).
# Tambahkan buku catatan
Untuk menambahkan buku catatan, pilih **Dibagikan oleh organisasi saya**, lalu pilih **Tambahkan buku catatan** dari daftar tarik-turun **Tambah**. Masukkan informasi dasar untuk buku catatan Anda dan berikan URI Amazon S3 untuk lokasi buku catatan tersebut.
Pertama, tambahkan informasi deskriptif dasar tentang buku catatan Anda. Informasi ini digunakan untuk meningkatkan kemampuan pencarian notebook Anda.
1. Tambahkan judul untuk buku catatan ini. Menambahkan judul secara otomatis mengisi pengenal unik di bidang ID berdasarkan judul buku catatan.
1. Tambahkan deskripsi notebook.
1. Pilih tipe data dari opsi: *teks*, *visi*, *tabular*, atau *audio*.
1. Pilih tugas ML dari daftar tugas yang tersedia, seperti *klasifikasi gambar* atau *pembuatan teks*.
1. Pilih kerangka kerja ML.
1. Tambahkan informasi metadata dengan kata kunci atau frasa untuk digunakan saat mencari buku catatan. Gunakan koma untuk memisahkan kata kunci. Setiap spasi secara otomatis diganti dengan koma.
Setelah menentukan informasi dasar, Anda dapat memberikan URI Amazon S3 untuk lokasi buku catatan tersebut. Anda dapat memilih **Browse** untuk mencari melalui bucket Amazon S3 Anda untuk lokasi file notebook Anda. **Setelah menemukan buku catatan, salin URI Amazon S3, pilih **Batal**, lalu tambahkan URI Amazon S3 ke bidang Lokasi Notebook.**
Setelah Anda memasukkan semua informasi yang diperlukan, pilih **Tambahkan buku catatan** di sudut kanan bawah.
# End-to-end JumpStart template solusi
**penting**
Pada 30 November 2023, pengalaman Amazon SageMaker Studio sebelumnya sekarang bernama Amazon SageMaker Studio Classic. Bagian berikut ini khusus untuk menggunakan aplikasi Studio Classic. Untuk informasi tentang menggunakan pengalaman Studio yang diperbarui, lihat[SageMaker Studio Amazon](studio-updated.md).
Studio Classic masih dipertahankan untuk beban kerja yang ada tetapi tidak lagi tersedia untuk orientasi. Anda hanya dapat menghentikan atau menghapus aplikasi Studio Classic yang ada dan tidak dapat membuat yang baru. Kami menyarankan Anda [memigrasikan beban kerja Anda ke pengalaman Studio yang baru](studio-updated-migrate.md).
**catatan**
JumpStart Solusi hanya tersedia di Studio Classic.
SageMaker JumpStart menyediakan satu-klik, end-to-end solusi yang dirancang untuk mengatasi kasus penggunaan pembelajaran mesin yang umum. Mereka menggunakan algoritme yang telah terbukti untuk domain mereka dan menyediakan alur kerja lengkap yang biasanya mencakup pemrosesan data, pelatihan model, penyebaran, inferensi, dan pemantauan. Jelajahi kasus penggunaan berikut untuk informasi lebih lanjut tentang templat solusi yang tersedia.
+ [Peramalan permintaan](#jumpstart-solutions-demand-forecasting)
+ [Prediksi peringkat kredit](#jumpstart-solutions-credit-prediction)
+ [Deteksi penipuan](#jumpstart-solutions-fraud-detection)
+ [Visi komputer](#jumpstart-solutions-computer-vision)
+ [Ekstrak dan analisis data dari dokumen](#jumpstart-solutions-documents)
+ [Pemeliharaan prediktif](#jumpstart-solutions-predictive-maintenance)
+ [Prediksi Churn](#jumpstart-solutions-churn-prediction)
+ [Rekomendasi yang dipersonalisasi](#jumpstart-solutions-recommendations)
+ [Pembelajaran penguatan](#jumpstart-solutions-reinforcement-learning)
+ [Kesehatan dan ilmu kehidupan](#jumpstart-solutions-healthcare-life-sciences)
+ [Harga keuangan](#jumpstart-solutions-financial-pricing)
+ [Inferensi kausal](#jumpstart-solutions-causal-inference)
Pilih template solusi yang paling sesuai dengan kasus penggunaan Anda dari halaman JumpStart arahan. Saat Anda memilih template solusi, JumpStart buka tab baru yang menampilkan deskripsi solusi dan tombol **Luncurkan**. Saat Anda memilih **Launch**, JumpStart buat semua sumber daya yang Anda butuhkan untuk menjalankan solusi, termasuk pelatihan dan contoh hosting model. Untuk informasi lebih lanjut tentang meluncurkan JumpStart solusi, lihat[Luncurkan Solusi](jumpstart-solutions-launch.md).
Setelah meluncurkan solusi, Anda dapat menjelajahi fitur solusi dan artefak apa pun yang dihasilkan. JumpStart Gunakan menu ** JumpStart Aset yang diluncurkan** untuk menemukan solusi Anda. Di tab solusi, pilih **Buka Notebook** untuk menggunakan buku catatan yang disediakan dan jelajahi fitur solusinya. Saat artefak dihasilkan selama peluncuran atau setelah menjalankan buku catatan yang disediakan, artefak tersebut tercantum dalam tabel **Artefak yang Dihasilkan**. Anda dapat menghapus artefak individual dengan ikon sampah ()![\[The trash icon for JumpStart.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-trash.png). Anda dapat menghapus semua sumber daya solusi dengan memilih **Hapus sumber daya solusi**.
## Peramalan permintaan
Peramalan permintaan menggunakan data deret waktu historis untuk membuat estimasi masa depan dalam kaitannya dengan permintaan pelanggan selama periode tertentu dan merampingkan proses pengambilan keputusan permintaan-penawaran di seluruh bisnis.
Kasus penggunaan perkiraan permintaan termasuk memprediksi penjualan tiket di industri transportasi, harga saham, jumlah kunjungan rumah sakit, jumlah perwakilan pelanggan yang akan dipekerjakan untuk beberapa lokasi di bulan depan, penjualan produk di beberapa wilayah pada kuartal berikutnya, penggunaan server cloud untuk hari berikutnya untuk layanan streaming video, konsumsi listrik untuk beberapa wilayah selama minggu depan, jumlah perangkat dan sensor IoT seperti konsumsi energi, dan banyak lagi.
*Data deret waktu dikategorikan sebagai *univariat dan multi-variat.** Misalnya, total konsumsi listrik untuk satu rumah tangga adalah deret waktu univariat selama periode waktu tertentu. Ketika beberapa deret waktu univariat ditumpuk satu sama lain, itu disebut deret waktu multi-variat. Misalnya, total konsumsi listrik dari 10 rumah tangga yang berbeda (tetapi berkorelasi) dalam satu lingkungan membentuk kumpulan data deret waktu multi-variat.
| Nama solusi | Deskripsi | Memulai |
| --- | --- | --- |
| Peramalan permintaan | [Peramalan permintaan untuk data deret waktu multivariat menggunakan tiga algoritma peramalan deret state-of-the-art waktu: [LSTNet](https://ts.gluon.ai/stable/api/gluonts/gluonts.mx.model.lstnet.html), Nabi[,](https://facebook.github.io/prophet/) dan AI DeepAR. SageMaker ](https://docs.aws.amazon.com/sagemaker/latest/dg/deepar.html) | [GitHub »](https://github.com/awslabs/sagemaker-deep-demand-forecast) |
## Prediksi peringkat kredit
Solusi prediksi peringkat kredit Use JumpStart untuk memprediksi peringkat kredit perusahaan atau untuk menjelaskan keputusan prediksi kredit yang dibuat oleh model pembelajaran mesin. Dibandingkan dengan metode pemodelan peringkat kredit tradisional, model pembelajaran mesin dapat mengotomatiskan dan meningkatkan akurasi prediksi kredit.
| Nama solusi | Deskripsi | Memulai |
| --- | --- | --- |
| Prediksi peringkat kredit perusahaan | [Pembelajaran mesin multimodal (teks panjang dan tabular) untuk prediksi kredit berkualitas menggunakan Tabular. AWS AutoGluon ](https://auto.gluon.ai/scoredebugweight/tutorials/tabular_prediction/index.html) | [GitHub »](https://github.com/awslabs/sagemaker-corporate-credit-rating) |
| Penilaian kredit berbasis grafik | Memprediksi peringkat kredit perusahaan menggunakan data tabular dan jaringan perusahaan dengan melatih [Graph Neural Network GraphSage dan model AWS AutoGluon ](https://cs.stanford.edu/people/jure/pubs/graphsage-nips17.pdf) [Tabular](https://auto.gluon.ai/scoredebugweight/tutorials/tabular_prediction/index.html). | Temukan di Amazon SageMaker Studio Classic. |
| Jelaskan keputusan kredit | Memprediksi default kredit dalam aplikasi kredit dan memberikan penjelasan menggunakan [LightGBM](https://lightgbm.readthedocs.io/en/latest/) dan [SHAP (SHapley](https://shap.readthedocs.io/en/latest/index.html)Penjelasan Aditif). | [GitHub »](https://github.com/awslabs/sagemaker-explaining-credit-decisions) |
## Deteksi penipuan
Banyak bisnis kehilangan miliaran per tahun karena penipuan. Model deteksi penipuan berbasis pembelajaran mesin dapat membantu secara sistematis mengidentifikasi kemungkinan aktivitas penipuan dari sejumlah besar data. Solusi berikut menggunakan kumpulan data transaksi dan identitas pengguna untuk mengidentifikasi transaksi penipuan.
| Nama solusi | Deskripsi | Memulai |
| --- | --- | --- |
| Mendeteksi pengguna dan transaksi jahat | Secara otomatis mendeteksi aktivitas yang berpotensi penipuan dalam transaksi menggunakan [SageMaker AI XGBoost](https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html) dengan teknik over-sampling [Synthetic Minority](https://arxiv.org/abs/1106.1813) Oversampling (SMOTE). | [GitHub »](https://github.com/awslabs/fraud-detection-using-machine-learning) |
| Deteksi penipuan dalam transaksi keuangan menggunakan Deep Graph Library | [Deteksi penipuan dalam transaksi keuangan dengan melatih [jaringan convolutional grafik](https://arxiv.org/pdf/1703.06103.pdf) dengan [perpustakaan grafik dalam dan model](https://www.dgl.ai/) AI. SageMaker XGBoost](https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html) | [GitHub »](https://github.com/awslabs/sagemaker-graph-fraud-detection) |
| Klasifikasi pembayaran keuangan | Klasifikasi pembayaran keuangan berdasarkan informasi transaksi menggunakan [SageMaker AI XGBoost](https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html). Gunakan template solusi ini sebagai langkah perantara dalam deteksi penipuan, personalisasi, atau deteksi anomali. | Temukan di Amazon SageMaker Studio Classic. |
## Visi komputer
Dengan munculnya kasus penggunaan bisnis seperti kendaraan otonom, pengawasan video pintar, pemantauan perawatan kesehatan dan berbagai tugas penghitungan objek, sistem deteksi objek yang cepat dan akurat meningkat dalam permintaan. Sistem ini melibatkan tidak hanya mengenali dan mengklasifikasikan setiap objek dalam gambar, tetapi melokalisasi masing-masing dengan menggambar kotak pembatas yang sesuai di sekitarnya. Dalam dekade terakhir, kemajuan pesat teknik pembelajaran mendalam sangat mempercepat momentum deteksi objek.
| Nama solusi | Deskripsi | Memulai |
| --- | --- | --- |
| Deteksi cacat produk visual | Identifikasi wilayah yang rusak dalam gambar produk baik dengan melatih [model deteksi objek dari awal atau menyempurnakan model](https://ieeexplore.ieee.org/document/8709818) AI yang telah dilatih sebelumnya. SageMaker | [GitHub »](https://github.com/awslabs/sagemaker-defect-detection) |
| Pengenalan tulisan tangan | Kenali teks tulisan tangan dalam gambar dengan melatih [model deteksi objek dan model](https://mxnet.apache.org/versions/1.0.0/api/python/gluon/model_zoo.html#mxnet.gluon.model_zoo.vision.resnet34_v1) [pengenalan tulisan tangan](https://arxiv.org/abs/1910.00663). Beri label data Anda sendiri menggunakan [SageMaker Ground Truth](https://aws.amazon.com/sagemaker/data-labeling/). | [GitHub »](https://github.com/awslabs/sagemaker-handwritten-text-recognition) |
| Deteksi objek untuk spesies burung | Identifikasi spesies burung dalam sebuah adegan menggunakan [model deteksi objek SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/object-detection.html). | Temukan di Amazon SageMaker Studio Classic. |
## Ekstrak dan analisis data dari dokumen
JumpStart memberikan solusi bagi Anda untuk mengungkap wawasan dan koneksi berharga dalam dokumen penting bisnis. Kasus penggunaan termasuk klasifikasi teks, ringkasan dokumen, pengenalan tulisan tangan, ekstraksi hubungan, pertanyaan dan jawaban, dan mengisi nilai yang hilang dalam catatan tabel.
| Nama solusi | Deskripsi | Memulai |
| --- | --- | --- |
| Privasi untuk klasifikasi sentimen | [Menganonimkan teks](https://www.amazon.science/blog/preserving-privacy-in-analyses-of-textual-data) untuk menjaga privasi pengguna dalam klasifikasi sentimen dengan lebih baik. | [GitHub »](https://github.com/awslabs/sagemaker-privacy-for-nlp) |
| Pemahaman dokumen | Ringkasan dokumen, entitas, dan ekstraksi hubungan menggunakan perpustakaan [transformer](https://huggingface.co/docs/transformers/index) di. PyTorch | [GitHub »](https://github.com/awslabs/sagemaker-document-understanding) |
| Pengenalan tulisan tangan | Kenali teks tulisan tangan dalam gambar dengan melatih [model deteksi objek dan model](https://mxnet.apache.org/versions/1.0.0/api/python/gluon/model_zoo.html#mxnet.gluon.model_zoo.vision.resnet34_v1) [pengenalan tulisan tangan](https://arxiv.org/abs/1910.00663). Beri label data Anda sendiri menggunakan [SageMaker Ground Truth](https://aws.amazon.com/sagemaker/data-labeling/). | [GitHub »](https://github.com/awslabs/sagemaker-handwritten-text-recognition) |
| Mengisi nilai yang hilang dalam catatan tabel | Isi nilai yang hilang dalam catatan tabel dengan melatih model [SageMaker Autopilot](https://aws.amazon.com/sagemaker/autopilot/). | [GitHub »](https://github.com/awslabs/filling-in-missing-values-in-tabular-records) |
## Pemeliharaan prediktif
Pemeliharaan prediktif bertujuan untuk mengoptimalkan keseimbangan antara pemeliharaan korektif dan preventif dengan memfasilitasi penggantian komponen secara tepat waktu. Solusi berikut menggunakan data sensor dari aset industri untuk memprediksi kegagalan alat berat, waktu henti yang tidak direncanakan, dan biaya perbaikan.
| Nama solusi | Deskripsi | Memulai |
| --- | --- | --- |
| Perawatan prediktif untuk armada kendaraan | Memprediksi kegagalan armada kendaraan menggunakan sensor kendaraan dan informasi pemeliharaan dengan model jaringan saraf convolutional. | [GitHub »](https://github.com/awslabs/aws-fleet-predictive-maintenance/) |
| Pemeliharaan prediktif untuk manufaktur | Memprediksi masa manfaat yang tersisa untuk setiap sensor dengan melatih model [jaringan saraf LSTM Dua Arah yang ditumpuk menggunakan pembacaan](https://arxiv.org/pdf/1801.02143.pdf) sensor historis. | [GitHub »](https://github.com/awslabs/predictive-maintenance-using-machine-learning) |
## Prediksi Churn
Churn pelanggan, atau tingkat gesekan, adalah masalah mahal yang dihadapi oleh berbagai perusahaan. Dalam upaya untuk mengurangi churn, perusahaan dapat mengidentifikasi pelanggan yang cenderung meninggalkan layanan mereka untuk memfokuskan upaya mereka pada retensi pelanggan. Gunakan solusi prediksi JumpStart churn untuk menganalisis sumber data seperti perilaku pengguna dan log obrolan dukungan pelanggan untuk mengidentifikasi pelanggan yang berisiko tinggi membatalkan langganan atau layanan.
| Nama solusi | Deskripsi | Memulai |
| --- | --- | --- |
| Prediksi Churn dengan teks | [Memprediksi churn menggunakan fitur numerik, kategoris, dan tekstual dengan encoder BERT dan. [RandomForestClassifier](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html)](https://huggingface.co/) | [GitHub »](https://github.com/awslabs/sagemaker-churn-prediction-text) |
| Prediksi Churn untuk pelanggan ponsel | Identifikasi pelanggan ponsel yang tidak senang menggunakan [SageMaker AI XGBoost](https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html). | Temukan di Amazon SageMaker Studio Classic. |
## Rekomendasi yang dipersonalisasi
Anda dapat menggunakan JumpStart solusi untuk menganalisis grafik identitas pelanggan atau sesi pengguna untuk lebih memahami dan memprediksi perilaku pelanggan. Gunakan solusi berikut untuk rekomendasi yang dipersonalisasi untuk memodelkan identitas pelanggan di beberapa perangkat, untuk menentukan kemungkinan pelanggan melakukan pembelian, atau untuk membuat rekomendasi film khusus berdasarkan perilaku pelanggan sebelumnya.
| Nama solusi | Deskripsi | Memulai |
| --- | --- | --- |
| Resolusi entitas dalam grafik identitas dengan pustaka grafik dalam | [Lakukan penautan entitas lintas perangkat untuk iklan online dengan melatih [jaringan convolutional grafik](https://arxiv.org/pdf/1703.06103.pdf) dengan pustaka grafik dalam.](https://www.dgl.ai/) | [GitHub »](https://github.com/awslabs/sagemaker-graph-entity-resolution) |
| Pemodelan pembelian | Memprediksi apakah pelanggan akan melakukan pembelian dengan melatih XGBoost model [SageMaker AI](https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html). | [GitHub »](https://github.com/awslabs/sagemaker-purchase-modelling) |
| Sistem rekomendasi yang disesuaikan | Latih dan terapkan sistem pemberi rekomendasi khusus yang menghasilkan saran film untuk pelanggan berdasarkan perilaku masa lalu menggunakan Neural Collaborative Filtering di AI. SageMaker | Temukan di Amazon SageMaker Studio Classic. |
## Pembelajaran penguatan
Pembelajaran penguatan (RL) adalah jenis pembelajaran yang didasarkan pada interaksi dengan lingkungan. Jenis pembelajaran ini digunakan oleh agen yang harus mempelajari perilaku melalui trial-and-error interaksi dengan lingkungan yang dinamis di mana tujuannya adalah untuk memaksimalkan imbalan jangka panjang yang diterima agen sebagai hasil dari tindakannya. Hadiah dimaksimalkan dengan menukar tindakan penjelajahan yang memiliki imbalan yang tidak pasti dengan mengeksploitasi tindakan yang telah diketahui imbalan.
RL sangat cocok untuk memecahkan masalah besar dan kompleks, seperti manajemen rantai pasokan, sistem HVAC, robotika industri, kecerdasan buatan game, sistem dialog, dan kendaraan otonom.
| Nama solusi | Deskripsi | Memulai |
| --- | --- | --- |
| Pembelajaran penguatan untuk kompetisi AI Battlesnake | Berikan alur kerja pembelajaran penguatan untuk pelatihan dan inferensi dengan kompetisi [BattleSnake](https://play.battlesnake.com/)AI. | [GitHub »](https://github.com/awslabs/sagemaker-battlesnake-ai) |
| Pembelajaran penguatan terdistribusi untuk tantangan Procgen | Kit starter pembelajaran penguatan terdistribusi untuk tantangan pembelajaran [NeurIPs 2020 Procgen](https://www.aicrowd.com/challenges/neurips-2020-procgen-competition) Reinforcement. | [GitHub »](https://github.com/aws-samples/sagemaker-rl-procgen-ray) |
## Kesehatan dan ilmu kehidupan
Dokter dan peneliti dapat menggunakan JumpStart solusi untuk menganalisis citra medis, informasi genom, dan catatan kesehatan klinis.
| Nama solusi | Deskripsi | Memulai |
| --- | --- | --- |
| Prediksi kelangsungan hidup kanker paru-paru | [Memprediksi status kelangsungan hidup pasien kanker paru-paru non-sel kecil dengan pemindaian tomografi terkomputerisasi paru (CT) 3 dimensi, data genom, dan catatan kesehatan klinis menggunakan AI. SageMaker XGBoost](https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html) | [GitHub »](https://github.com/aws-samples/machine-learning-pipelines-for-multimodal-health-data/tree/sagemaker-soln-lcsp) |
## Harga keuangan
Banyak bisnis secara dinamis menyesuaikan harga secara teratur untuk memaksimalkan pengembalian mereka. Gunakan JumpStart solusi berikut untuk pengoptimalan harga, penetapan harga dinamis, harga opsi, atau kasus penggunaan pengoptimalan portofolio.
| Nama solusi | Deskripsi | Memulai |
| --- | --- | --- |
| Optimalisasi harga | Estimasi elastisitas harga menggunakan Double Machine Learning (ML) untuk inferensi kausal dan prosedur peramalan [Nabi](https://facebook.github.io/prophet/). Gunakan perkiraan ini untuk mengoptimalkan harga harian. | Temukan di Amazon SageMaker Studio Classic. |
## Inferensi kausal
Peneliti dapat menggunakan model pembelajaran mesin seperti jaringan Bayesian untuk mewakili ketergantungan kausal dan menarik kesimpulan kausal berdasarkan data. Gunakan JumpStart solusi berikut untuk memahami hubungan sebab akibat antara aplikasi pupuk berbasis nitrogen dan hasil tanaman jagung.
| Nama solusi | Deskripsi | Memulai |
| --- | --- | --- |
| Kontrafaktual hasil panen | Hasilkan analisis kontrafaktual respons jagung terhadap nitrogen. [Solusi ini mempelajari siklus fenologi tanaman secara keseluruhan menggunakan citra satelit multi-spektral dan pengamatan di permukaan tanah.](https://www.sciencedirect.com/science/article/pii/S2352340921010283#tbl0001) | Temukan di Amazon SageMaker Studio Classic. |
# Luncurkan Solusi
**penting**
Pada 30 November 2023, pengalaman Amazon SageMaker Studio sebelumnya sekarang bernama Amazon SageMaker Studio Classic. Bagian berikut ini khusus untuk menggunakan aplikasi Studio Classic. Untuk informasi tentang menggunakan pengalaman Studio yang diperbarui, lihat[SageMaker Studio Amazon](studio-updated.md).
Studio Classic masih dipertahankan untuk beban kerja yang ada tetapi tidak lagi tersedia untuk orientasi. Anda hanya dapat menghentikan atau menghapus aplikasi Studio Classic yang ada dan tidak dapat membuat yang baru. Kami menyarankan Anda [memigrasikan beban kerja Anda ke pengalaman Studio yang baru](studio-updated-migrate.md).
**catatan**
JumpStart Solusi hanya tersedia di Studio Classic.
Pertama, pilih solusi melalui halaman SageMaker JumpStart arahan di Amazon SageMaker Studio Classic UI. Untuk informasi tentang langkah-langkah orientasi untuk masuk ke Amazon SageMaker Studio Classic, lihat [Onboard to Amazon SageMaker AI domain](https://docs.aws.amazon.com/sagemaker/latest/dg/gs-studio-onboard.html). Untuk detail tentang membuka halaman SageMaker JumpStart arahan, lihat[Buka dan gunakan JumpStart di Studio Classic](studio-jumpstart.md#jumpstart-open-use).
Setelah Anda memilih solusi, tab solusi terbuka menunjukkan deskripsi solusi dan `Launch` tombol. Untuk meluncurkan solusi, pilih `Launch` di bagian **Launch Solution**. JumpStart kemudian membuat semua sumber daya yang dibutuhkan untuk menjalankan solusi. Ini termasuk pelatihan dan contoh hosting model.
## Parameter lanjutan
Solusi yang Anda pilih mungkin memiliki parameter lanjutan yang dapat Anda pilih. Pilih **Parameter Lanjutan** untuk menentukan AWS Identity and Access Management peran solusi.
Solusi dapat meluncurkan sumber daya di 9 AWS layanan yang berinteraksi satu sama lain. Agar solusi berfungsi seperti yang diharapkan, komponen yang baru dibuat dari satu layanan harus dapat bertindak pada komponen yang baru dibuat dari layanan lain. Kami menyarankan Anda menggunakan peran IAM default untuk memastikan bahwa semua izin yang diperlukan ditambahkan. Untuk informasi selengkapnya tentang peran IAM, lihat[AWS Identity and Access Management untuk Amazon SageMaker AI](security-iam.md).
**Peran IAM default**
Jika Anda memilih opsi ini, peran IAM default yang diperlukan oleh solusi ini akan digunakan. Setiap solusi membutuhkan sumber daya yang berbeda. Daftar berikut menjelaskan peran default yang digunakan untuk solusi berdasarkan layanan yang dibutuhkan. Untuk deskripsi tentang izin yang diperlukan untuk setiap layanan, lihat[AWS Kebijakan Terkelola untuk SageMaker Proyek dan JumpStart](security-iam-awsmanpol-sc.md).
+ **API Gateway** — AmazonSageMakerServiceCatalogProductsApiGatewayRole
+ **CloudFormation** – AmazonSageMakerServiceCatalogProductsCloudformationRole
+ **CodeBuild** – AmazonSageMakerServiceCatalogProductsCodeBuildRole
+ **CodePipeline** – AmazonSageMakerServiceCatalogProductsCodePipelineRole
+ **Kejadian** – AmazonSageMakerServiceCatalogProductsEventsRole
+ **Firehose** — AmazonSageMakerServiceCatalogProductsFirehoseRole
+ **Glue** — AmazonSageMakerServiceCatalogProductsGlueRole
+ **Lambda** – AmazonSageMakerServiceCatalogProductsLambdaRole
+ **SageMaker AI** — AmazonSageMakerServiceCatalogProductsExecutionRole
Jika Anda menggunakan domain SageMaker AI baru dengan templat JumpStart proyek diaktifkan, peran ini secara otomatis dibuat di akun Anda.
Jika Anda menggunakan domain SageMaker AI yang ada, peran ini mungkin tidak ada di akun Anda. Jika ini masalahnya, Anda akan menerima kesalahan berikut saat meluncurkan solusi.
```
Unable to locate the updated roles required to launch this solution, a general role '/service-role/AmazonSageMakerServiceCatalogProductsUseRole' will be used. Please update your studio domain to generate these roles.
```
Anda masih dapat meluncurkan solusi tanpa peran yang diperlukan, tetapi peran default lama `AmazonSageMakerServiceCatalogProductsUseRole` digunakan sebagai pengganti peran yang diperlukan. Peran default lama memiliki hubungan kepercayaan dengan semua layanan yang perlu berinteraksi dengan JumpStart solusi. Untuk keamanan terbaik, sebaiknya Anda memperbarui domain agar memiliki peran default yang baru dibuat untuk setiap AWS layanan.
Jika Anda sudah onboard ke domain SageMaker AI, Anda dapat memperbarui domain Anda untuk menghasilkan peran default menggunakan prosedur berikut.
1. Buka konsol Amazon SageMaker AI di [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. Pilih **Control Panel** di kiri atas halaman.
1. Dari halaman **domain**, pilih ikon **Pengaturan** (![\[Black square icon representing a placeholder or empty image.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/icons/Settings_squid.png)) untuk mengedit pengaturan domain.
1. Pada **Pengaturan Umum** pilih **Berikutnya**.
1. Di bawah **SageMaker Proyek dan JumpStart**, pilih **Aktifkan templat SageMaker proyek Amazon dan Amazon SageMaker JumpStart untuk akun ini** dan **Aktifkan templat SageMaker proyek Amazon dan Amazon SageMaker JumpStart untuk pengguna Studio Classic**, pilih **Berikutnya**.
1. Pilih **Kirim**.
Anda harus dapat melihat peran default yang tercantum dalam **Proyek - Templat SageMaker proyek Amazon diaktifkan untuk akun ini** di bawah tab **Apps - Studio**.
**Temukan peran IAM**
Jika Anda memilih opsi ini, Anda harus memilih peran IAM yang ada dari daftar tarik-turun untuk setiap layanan yang diperlukan. Peran yang dipilih harus memiliki setidaknya izin minimum yang diperlukan untuk layanan terkait. Untuk deskripsi tentang izin yang diperlukan untuk setiap layanan, lihat[AWS Kebijakan Terkelola untuk SageMaker Proyek dan JumpStart](security-iam-awsmanpol-sc.md).
**Masukan peran IAM**
Jika Anda memilih opsi ini, Anda harus memasukkan ARN secara manual untuk peran IAM yang ada. Peran yang dipilih harus memiliki setidaknya izin minimum yang diperlukan untuk layanan terkait. Untuk deskripsi tentang izin yang diperlukan untuk setiap layanan, lihat[AWS Kebijakan Terkelola untuk SageMaker Proyek dan JumpStart](security-iam-awsmanpol-sc.md).
# SageMaker JumpStart Industri Amazon: Keuangan
Gunakan SageMaker JumpStart Industri: Solusi keuangan, model, dan contoh notebook untuk mempelajari tentang fitur dan kemampuan SageMaker AI melalui solusi satu langkah yang dikuratori dan contoh notebook masalah pembelajaran mesin (ML) yang berfokus pada industri. Notebook juga berjalan melalui cara menggunakan SDK Python SageMaker JumpStart Industri untuk meningkatkan data teks industri dan menyempurnakan model yang telah dilatih sebelumnya.
**Topics**
+ [SDK Python SageMaker JumpStart Industri Amazon](#studio-jumpstart-industry-pysdk)
+ [SageMaker JumpStart Industri Amazon: Solusi Keuangan](#studio-jumpstart-industry-solutions)
+ [SageMaker JumpStart Industri Amazon: Model Keuangan](#studio-jumpstart-industry-models)
+ [SageMaker JumpStart Industri Amazon: Notebook Contoh Keuangan](#studio-jumpstart-industry-examples)
+ [SageMaker JumpStart Industri Amazon: Postingan Blog Keuangan](#studio-jumpstart-industry-blogs)
+ [SageMaker JumpStart Industri Amazon: Penelitian Terkait Keuangan](#studio-jumpstart-industry-research)
+ [SageMaker JumpStart Industri Amazon: Sumber Daya Tambahan Keuangan](#studio-jumpstart-industry-resources)
## SDK Python SageMaker JumpStart Industri Amazon
SageMaker Runtime JumpStart menyediakan alat pemrosesan untuk mengkurasi kumpulan data industri dan menyempurnakan model yang telah dilatih sebelumnya melalui pustaka kliennya yang disebut Industry Python SDK. SageMaker JumpStart Untuk dokumentasi API SDK yang mendetail, dan untuk mempelajari selengkapnya tentang pemrosesan dan penyempurnaan kumpulan data teks industri untuk meningkatkan kinerja state-of-the-art model SageMaker JumpStart, lihat dokumentasi sumber terbuka SDK [SageMaker JumpStartPython](https://sagemaker-jumpstart-industry-pack.readthedocs.io) Industri.
## SageMaker JumpStart Industri Amazon: Solusi Keuangan
SageMaker JumpStart Industri: Keuangan menyediakan notebook solusi berikut:
+ **Prediksi Peringkat Kredit Perusahaan**
SageMaker JumpStart Industri ini: Solusi keuangan menyediakan template untuk model peringkat kredit perusahaan yang ditingkatkan teks. Ini menunjukkan bagaimana mengambil model berdasarkan fitur numerik (dalam hal ini, 5 rasio keuangan Altman yang terkenal) dikombinasikan dengan teks dari pengajuan SEC untuk mencapai peningkatan dalam prediksi peringkat kredit. Selain rasio 5 Altman, Anda dapat menambahkan lebih banyak variabel sesuai kebutuhan atau mengatur variabel khusus. Notebook solusi ini menunjukkan bagaimana SDK Python SageMaker JumpStart Industri membantu memproses penilaian Natural Language Processing (NLP) teks dari pengajuan SEC. Selain itu, solusi ini menunjukkan cara melatih model menggunakan dataset yang disempurnakan untuk mencapai best-in-class model, menyebarkan model ke titik akhir SageMaker AI untuk produksi, dan menerima prediksi yang ditingkatkan secara real time.
+ **Penilaian Kredit Berbasis Grafik**
Peringkat kredit secara tradisional dihasilkan menggunakan model yang menggunakan data laporan keuangan dan data pasar, yang hanya tabular (numerik dan kategoris). Solusi ini membangun jaringan perusahaan menggunakan [pengarsipan SEC](https://www.sec.gov/edgar/searchedgar/companysearch.html) dan menunjukkan bagaimana menggunakan jaringan hubungan perusahaan dengan data tabular untuk menghasilkan prediksi peringkat yang akurat. Solusi ini menunjukkan metodologi untuk menggunakan data tentang hubungan perusahaan untuk memperluas model penilaian kredit berbasis tabular tradisional, yang telah digunakan oleh industri peringkat selama beberapa dekade, ke kelas model pembelajaran mesin di jaringan.
**catatan**
Notebook solusi hanya untuk tujuan demonstrasi. Mereka tidak boleh diandalkan sebagai nasihat keuangan atau investasi.
Anda dapat menemukan solusi layanan keuangan ini melalui SageMaker JumpStart halaman di Studio Classic.
**penting**
Pada 30 November 2023, pengalaman Amazon SageMaker Studio sebelumnya sekarang bernama Amazon SageMaker Studio Classic. Bagian berikut khusus untuk menggunakan aplikasi Studio Classic. Untuk informasi tentang menggunakan pengalaman Studio yang diperbarui, lihat[SageMaker Studio Amazon](studio-updated.md).
Studio Classic masih dipertahankan untuk beban kerja yang ada tetapi tidak lagi tersedia untuk orientasi. Anda hanya dapat menghentikan atau menghapus aplikasi Studio Classic yang ada dan tidak dapat membuat yang baru. Kami menyarankan Anda [memigrasikan beban kerja Anda ke pengalaman Studio yang baru](studio-updated-migrate.md).
**catatan**
SageMaker JumpStart Industri: Solusi keuangan, kartu model, dan contoh notebook dihosting dan dijalankan hanya melalui SageMaker Studio Classic. Masuk ke [konsol SageMaker AI](https://console.aws.amazon.com/sagemaker), dan luncurkan SageMaker Studio Classic. Untuk informasi selengkapnya tentang cara menemukan kartu solusi, lihat topik sebelumnya di [SageMaker JumpStart](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-jumpstart.html).
## SageMaker JumpStart Industri Amazon: Model Keuangan
SageMaker JumpStart Industri: Keuangan menyediakan model [pendekatan BERT (BERTaRo](https://arxiv.org/pdf/1907.11692.pdf)) yang telah dilatih sebelumnya yang telah dilatih sebelumnya:
+ **Penyematan Teks Keuangan (Ro BERTa -sec-base)**
+ **RoBERTa-SEC-WIKI-Base **
+ **RoBERTa-SEC-Large **
+ **RoBERTa-SEC-WIKI-Large **
RoBERTa-SEC-LargeModel RoBERTa-SEC-Base and adalah model penyematan teks berdasarkan model [BERTa Ro GluonNLP](https://nlp.gluon.ai/api/model.html#gluonnlp.model.RoBERTaModel) dan dilatih sebelumnya pada laporan S&P 500 SEC 10-K/10-Q dekade 2010 (dari 2010 hingga 2019). Selain itu, SageMaker AI JumpStart Industry: Financial menyediakan dua BERTa variasi Ro lagi, RoBERTa-SEC-WIKI-Base dan RoBERTa-SEC-WIKI-Large, yang dilatih sebelumnya pada pengajuan SEC dan teks umum Wikipedia.
**Anda dapat menemukan model ini SageMaker JumpStart dengan menavigasi ke node Model **Teks, memilih Jelajahi Semua Model** **Teks**, dan kemudian memfilter untuk Penyematan Teks Tugas ML.** Anda dapat mengakses notebook yang sesuai setelah memilih model pilihan Anda. Notebook yang dipasangkan akan memandu Anda melalui bagaimana model yang telah dilatih sebelumnya dapat disetel dengan baik untuk tugas klasifikasi tertentu pada kumpulan data multimodal, yang ditingkatkan oleh SDK Python Industri. SageMaker JumpStart
**catatan**
Notebook model hanya untuk tujuan demonstrasi. Mereka tidak boleh diandalkan sebagai nasihat keuangan atau investasi.
Tangkapan layar berikut menunjukkan kartu model terlatih yang disediakan melalui JumpStart halaman SageMaker AI di Studio Classic.
![\[Kartu model yang telah dilatih sebelumnya disediakan melalui JumpStart halaman SageMaker AI di Studio Classic.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/jumpstart/jumpstart-finance-models.png)
**catatan**
SageMaker JumpStart Industri: Solusi keuangan, kartu model, dan contoh notebook dihosting dan dijalankan hanya melalui SageMaker Studio Classic. Masuk ke [konsol SageMaker AI](https://console.aws.amazon.com/sagemaker), dan luncurkan SageMaker Studio Classic. Untuk informasi lebih lanjut tentang cara menemukan kartu model, lihat topik sebelumnya di [SageMaker JumpStart](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-jumpstart.html).
## SageMaker JumpStart Industri Amazon: Notebook Contoh Keuangan
SageMaker JumpStart Industri: Financial menyediakan contoh notebook berikut untuk menunjukkan solusi untuk masalah ML yang berfokus pada industri:
+ **Konstruksi TabText Data Keuangan** — Contoh ini memperkenalkan cara menggunakan SDK Python SageMaker JumpStart Industri untuk memproses pengajuan SEC, seperti ringkasan teks dan teks penilaian berdasarkan jenis skor NLP dan daftar kata yang sesuai. Untuk melihat pratinjau konten buku catatan ini, lihat [Konstruksi Sederhana Dataset Multimodal dari Pengarsipan SEC dan Skor NLP.](https://sagemaker-jumpstart-industry-pack.readthedocs.io/en/latest/notebooks/finance/notebook1/SEC_Retrieval_Summarizer_Scoring.html)
+ **Multimodal MS on TabText Data - Contoh ini menunjukkan cara menggabungkan berbagai jenis dataset ke dalam kerangka data tunggal yang disebut dan melakukan multimodal ML.** TabText Untuk melihat pratinjau konten buku catatan ini, lihat [Machine Learning on a TabText Dataframe — Contoh Berdasarkan Program Perlindungan Gaji](https://sagemaker-jumpstart-industry-pack.readthedocs.io/en/latest/notebooks/finance/notebook2/PPP_TabText_ML.html).
+ **Multi-kategori MLpada data pengarsipan SEC** — Contoh ini menunjukkan cara melatih model AutoGluon NLP melalui kumpulan data multimodal (TabText) yang dikuratori dari pengajuan SEC untuk tugas klasifikasi multiclass. [Klasifikasi Pengajuan SEC 10K/Q ke Kode Industri Berdasarkan Kolom Teks MDNA.](https://sagemaker-jumpstart-industry-pack.readthedocs.io/en/latest/notebooks/finance/notebook3/SEC_MNIST_ML.html)
**catatan**
Contoh notebook hanya untuk tujuan demonstratif. Mereka tidak boleh diandalkan sebagai nasihat keuangan atau investasi.
**catatan**
SageMaker JumpStart Industri: Solusi keuangan, kartu model, dan contoh notebook dihosting dan dijalankan hanya melalui SageMaker Studio Classic. Masuk ke [konsol SageMaker AI](https://console.aws.amazon.com/sagemaker), dan luncurkan SageMaker Studio Classic. Untuk informasi selengkapnya tentang cara menemukan contoh buku catatan, lihat topik sebelumnya di [SageMaker JumpStart](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-jumpstart.html).
Untuk melihat pratinjau konten notebook contoh, lihat [Tutorial — Dokumentasi SDK Python Keuangan](https://sagemaker-jumpstart-industry-pack.readthedocs.io/en/latest/notebooks/index.html) *dalam SageMaker JumpStart Industri*.
## SageMaker JumpStart Industri Amazon: Postingan Blog Keuangan
Untuk aplikasi menyeluruh menggunakan SageMaker JumpStart Industri: Solusi keuangan, model, contoh, dan SDK, lihat posting blog berikut:
+ [Gunakan model bahasa keuangan pra-terlatih untuk pembelajaran transfer di Amazon SageMaker JumpStart](https://aws.amazon.com/blogs/machine-learning/use-pre-trained-financial-language-models-for-transfer-learning-in-amazon-sagemaker-jumpstart/)
+ [Gunakan teks SEC untuk klasifikasi peringkat menggunakan multimodal MLdi Amazon SageMaker JumpStart](https://aws.amazon.com/blogs/machine-learning/use-sec-text-for-ratings-classification-using-multimodal-ml-in-amazon-sagemaker-jumpstart/)
+ [Buat dasbor dengan teks SEC untuk NLP keuangan di Amazon SageMaker JumpStart](https://aws.amazon.com/blogs/machine-learning/create-a-dashboard-with-sec-text-for-financial-nlp-in-amazon-sagemaker-jumpstart/)
+ [Buat pengklasifikasi peringkat kredit perusahaan menggunakan pembelajaran mesin grafik di Amazon SageMaker JumpStart](https://aws.amazon.com/blogs/machine-learning/build-a-corporate-credit-ratings-classifier-using-graph-machine-learning-in-amazon-sagemaker-jumpstart/)
+ [Penyesuaian Adaptasi Domain Model Foundation di Amazon pada data Keuangan SageMaker JumpStart ](https://aws.amazon.com/blogs/machine-learning/domain-adaptation-fine-tuning-of-foundation-models-in-amazon-sagemaker-jumpstart-on-financial-data/)
## SageMaker JumpStart Industri Amazon: Penelitian Terkait Keuangan
Untuk penelitian yang berkaitan dengan SageMaker JumpStart Industri: Solusi keuangan, lihat makalah berikut:
+ [Konteks, Pemodelan Bahasa, dan Data Multimodal di bidang Keuangan](https://www.pm-research.com/content/iijjfds/3/3/52)
+ [Machine Learning Multimodal untuk Pemodelan Kredit](https://www.amazon.science/publications/multimodal-machine-learning-for-credit-modeling)
+ [Tentang Kurangnya Interpretasi yang Kuat dari Pengklasifikasi Teks Saraf](https://www.amazon.science/publications/on-the-lack-of-robust-interpretability-of-neural-text-classifiers)
+ [FinLex: Penggunaan Penyematan Kata yang Efektif untuk Generasi Leksikon Keuangan](https://www.sciencedirect.com/science/article/pii/S2405918821000131)
## SageMaker JumpStart Industri Amazon: Sumber Daya Tambahan Keuangan
Untuk dokumentasi dan tutorial tambahan, lihat sumber daya berikut:
+ [ SageMaker JumpStart Industri: SDK Python Keuangan](https://pypi.org/project/smjsindustry/)
+ [SageMaker JumpStart Industri: Tutorial SDK Python Keuangan](https://sagemaker-jumpstart-industry-pack.readthedocs.io/en/latest/notebooks/index.html#)
+ [ SageMaker JumpStart Industri: GitHub Repositori keuangan](https://github.com/aws/sagemaker-jumpstart-industry-pack/)
+ [Memulai dengan Amazon SageMaker AI - Tutorial Machine Learning](https://aws.amazon.com/sagemaker/getting-started/)