Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Mengatasi kesalahan saat membuat pekerjaan evaluasi model di Amazon SageMaker AI
**penting**
Untuk menggunakan SageMaker Clarify Foundation Model Evaluations (FMEval), Anda harus meningkatkan ke pengalaman Studio baru.
Pada 30 November 2023, pengalaman Amazon SageMaker Studio sebelumnya sekarang bernama Amazon SageMaker Studio Classic. FMEval tidak tersedia di Amazon SageMaker Studio Classic.
Untuk informasi tentang cara meningkatkan ke pengalaman Studio baru, lihat[Migrasi dari Amazon SageMaker Studio Classic](studio-updated-migrate.md). Untuk informasi tentang menggunakan aplikasi Studio Classic, lihat[Amazon SageMaker Studio Klasik](studio.md).
Jika Anda mengalami kesalahan saat membuat pekerjaan evaluasi model, gunakan daftar berikut untuk memecahkan masalah evaluasi Anda. Jika Anda memerlukan bantuan lebih lanjut, hubungi [Dukungan](https://console.aws.amazon.com/support/)atau [Forum AWS Pengembang untuk Amazon SageMaker AI](https://forums.aws.amazon.com/forum.jspa?forumID=285).
**Topik**
+ [Kesalahan saat mengunggah data Anda dari bucket Amazon S3](#clarify-foundation-model-evaluate-troubleshooting-cors)
+ [Pekerjaan pemrosesan gagal diselesaikan](#clarify-foundation-model-evaluate-troubleshooting-failure)
+ [Anda tidak dapat menemukan evaluasi model dasar di konsol SageMaker AI](#clarify-foundation-model-evaluate-troubleshooting-upgrade)
+ [Model Anda tidak mendukung stereotip cepat](#clarify-foundation-model-evaluate-troubleshooting-ps)
+ [Kesalahan validasi kumpulan data (Manusia)](#clarify-foundation-model-evaluate-troubleshooting-valid)
## Kesalahan saat mengunggah data Anda dari bucket Amazon S3
Saat membuat evaluasi model foundation, Anda harus menetapkan izin yang benar untuk bucket S3 tempat Anda ingin menyimpan input dan output model Anda. Jika izin berbagi sumber daya lintas asal (CORS) tidak disetel dengan benar, SageMaker AI menghasilkan kesalahan berikut:
Kesalahan: Gagal meletakkan objek di s3: Kesalahan saat mengunggah objek ke S3Error: Gagal menempatkan objek di S3: NetworkError saat mencoba mengambil sumber daya.
Untuk menyetel izin bucket yang benar, ikuti petunjuk di bawah **Mengatur lingkungan Anda** di[Buat pekerjaan evaluasi model otomatis di Studio](clarify-foundation-model-evaluate-auto-ui.md).
## Pekerjaan pemrosesan gagal diselesaikan
Alasan paling umum bahwa pekerjaan pemrosesan Anda gagal diselesaikan adalah sebagai berikut:
+ [Kuota tidak mencukupi](#clarify-foundation-model-evaluate-troubleshooting-failure-quota)
+ [Memori tidak mencukupi](#clarify-foundation-model-evaluate-troubleshooting-failure-memory)
+ [Tidak lulus cek ping](#clarify-foundation-model-evaluate-troubleshooting-failure-ping)
Lihat bagian berikut untuk membantu Anda mengurangi setiap masalah.
### Kuota tidak mencukupi
Saat Anda menjalankan evaluasi model dasar untuk model yang tidak diterapkan, SageMaker Clarify menyebarkan JumpStart model bahasa besar (LLM) Anda ke titik akhir SageMaker AI di akun Anda. Jika akun Anda tidak memiliki kuota yang cukup untuk menjalankan JumpStart model yang dipilih, pekerjaan gagal dengan a`ClientError`. Untuk meningkatkan kuota Anda, ikuti langkah-langkah berikut:
**Minta peningkatan AWS Service Quotas**
1. Ambil nama instans, kuota saat ini dan kuota yang diperlukan dari pesan kesalahan di layar. Misalnya, dalam kesalahan berikut:
+ Nama instance-nya adalah`ml.g5.12xlarge`.
+ Kuota saat ini dari nomor berikut `current utilization` adalah `0 instances`
+ Tambahan kuota yang diperlukan dari nomor berikut `request delta` adalah`1 instances`.
Kesalahan sampel berikut:
`ClientError: An error occurred (ResourceLimitExceeded) when calling the CreateEndpoint operation: The account-level service limit 'ml.g5.12xlarge for endpoint usage' is 0 Instances, with current utilization of 0 Instances and a request delta of 1 Instances. Please use AWS Service Quotas to request an increase for this quota. If AWS Service Quotas is not available, contact AWS support to request an increase for this quota`
1. Masuk ke Konsol Manajemen AWS dan buka konsol [Service Quotas](https://console.aws.amazon.com/servicequotas/home).
1. Di panel navigasi, di bawah **Kelola kuota, masukan**. **Amazon SageMaker AI**
1. Pilih **Lihat kuota**.
1. Di bilah pencarian di bawah **Kuota layanan**, masukkan nama instance dari Langkah 1. Misalnya, menggunakan informasi yang terkandung dalam pesan kesalahan dari Langkah 1, masukan**ml.g5.12xlarge**.
1. Pilih nama **Kuota yang muncul di sebelah nama** instans Anda dan diakhiri dengan **untuk penggunaan titik akhir**. Misalnya, menggunakan informasi yang terkandung dalam pesan kesalahan dari Langkah 1, pilih **ml.g5.12xlarge** untuk penggunaan endpoint.
1. Pilih **Permintaan peningkatan di tingkat akun.**
1. Di bawah **Meningkatkan nilai kuota**, masukkan kuota yang diperlukan dari informasi yang diberikan dalam pesan kesalahan dari Langkah 1. Masukan **total** `current utilization` dan`request delta`. Dalam contoh kesalahan sebelumnya, `current utilization` is`0 Instances`, dan `request delta` is`1 Instances`. Dalam contoh ini, mintalah kuota `1` untuk memasok kuota yang diperlukan.
1. Pilih **Minta**.
1. Pilih **Riwayat permintaan kuota** dari panel navigasi.
1. Saat **Status** berubah dari **Tertunda** menjadi **Disetujui**, jalankan kembali pekerjaan Anda. Anda mungkin perlu menyegarkan browser Anda untuk melihat perubahannya.
Untuk informasi selengkapnya tentang meminta peningkatan kuota, lihat [Meminta](https://docs.aws.amazon.com/servicequotas/latest/userguide/request-quota-increase.html) kenaikan kuota.
### Memori tidak mencukupi
Jika Anda memulai evaluasi model dasar pada instans Amazon EC2 yang tidak memiliki memori yang cukup untuk menjalankan algoritme evaluasi, pekerjaan akan gagal dengan kesalahan berikut:
`The actor is dead because its worker process has died. Worker exit type: SYSTEM_ERROR Worker exit detail: Worker unexpectedly exits with a connection error code 2. End of file. There are some potential root causes. (1) The process is killed by SIGKILL by OOM killer due to high memory usage. (2) ray stop --force is called. (3) The worker is crashed unexpectedly due to SIGSEGV or other unexpected errors. The actor never ran - it was cancelled before it started running.`
Untuk meningkatkan memori yang tersedia untuk pekerjaan evaluasi Anda, ubah instance Anda menjadi yang memiliki lebih banyak memori. Jika Anda menggunakan antarmuka pengguna, Anda dapat memilih jenis instans di bawah **Konfigurasi prosesor** di **Langkah 2**. Jika Anda menjalankan pekerjaan Anda di dalam konsol SageMaker AI, luncurkan ruang baru menggunakan instance dengan kapasitas memori yang meningkat.
[Untuk daftar instans Amazon EC2, lihat Jenis instans.](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/instance-types.html#AvailableInstanceTypes)
Untuk informasi selengkapnya, tentang instans dengan kapasitas memori yang lebih besar, lihat [Instans yang dioptimalkan untuk memori](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/memory-optimized-instances.html).
### Tidak lulus cek ping
Dalam beberapa kasus, pekerjaan evaluasi model dasar Anda akan gagal karena tidak lulus pemeriksaan ping ketika SageMaker AI menerapkan titik akhir Anda. Jika tidak lulus tes ping, kesalahan berikut muncul:
`ClientError: Error hosting endpoint your_endpoint_name: Failed. Reason: The primary container for production variant AllTraffic did not pass the ping health check. Please check CloudWatch logs for this endpoint..., Job exited for model: your_model_name of model_type: your_model_type `
Jika pekerjaan Anda menghasilkan kesalahan ini, tunggu beberapa menit dan jalankan pekerjaan Anda lagi. Jika kesalahan berlanjut, hubungi [AWS Support](https://console.aws.amazon.com/support/) atau [Forum AWS Pengembang untuk Amazon SageMaker AI](https://forums.aws.amazon.com/forum.jspa?forumID=285).
## Anda tidak dapat menemukan evaluasi model dasar di konsol SageMaker AI
Untuk menggunakan SageMaker Clarify Foundation Model Evaluations, Anda harus meningkatkan ke pengalaman Studio baru. Pada 30 November 2023, pengalaman Amazon SageMaker Studio sebelumnya sekarang bernama Amazon SageMaker Studio Classic. Fitur evaluasi pondasi hanya dapat digunakan dalam pengalaman yang diperbarui. Untuk informasi tentang cara memperbarui Studio, lihat[Migrasi dari Amazon SageMaker Studio Classic](studio-updated-migrate.md).
## Model Anda tidak mendukung stereotip cepat
Hanya beberapa JumpStart model yang mendukung stereotip cepat. Jika Anda memilih JumpStart model yang tidak didukung, kesalahan berikut akan muncul:
`{"evaluationMetrics":"This model does not support Prompt stereotyping evaluation. Please remove that evaluation metric or select another model that supports it."}`
Jika Anda menerima kesalahan ini, Anda tidak dapat menggunakan model yang Anda pilih dalam evaluasi yayasan. SageMaker Clarify saat ini sedang bekerja untuk memperbarui semua JumpStart model untuk tugas stereotip yang cepat sehingga dapat digunakan dalam evaluasi model dasar.
## Kesalahan validasi kumpulan data (Manusia)
Dataset prompt kustom dalam pekerjaan evaluasi model yang menggunakan pekerja manusia harus diformat menggunakan format baris JSON menggunakan ekstensi. `.jsonl`
Saat Anda memulai pekerjaan, setiap objek JSON dalam kumpulan data prompt divalidasi secara saling bergantung. Jika salah satu objek JSON tidak valid, Anda mendapatkan kesalahan berikut.
```
Customer Error: Your input dataset could not be validated. Your dataset can have up to 1000 prompts. The dataset must be a valid jsonl file, and each prompt valid json object.To learn more about troubleshooting dataset validations errors, see Troubleshooting guide. Job executed for models: meta-textgeneration-llama-2-7b-f, pytorch-textgeneration1-alexa20b.
```
Agar kumpulan data prompt kustom melewati semua validasi, berikut ini harus *benar* untuk semua objek JSON dalam file baris JSON.
+ Setiap baris dalam file dataset prompt harus berupa objek JSON yang valid.
+ Karakter khusus seperti tanda kutip (`"`) harus lolos dengan benar. Misalnya, jika prompt Anda adalah sebagai berikut, tanda `"Claire said to the crowd, "Bananas are the best!""` kutip harus diloloskan menggunakan`\`,`"Claire said to the crowd, \"Bananas are the best!\""`.
+ Objek JSON yang valid harus berisi setidaknya pasangan `prompt` kunci/nilai.
+ File dataset prompt tidak dapat berisi lebih dari 1.000 objek JSON dalam satu file.
+ Jika Anda menentukan `responses` kunci dalam objek JSON *apa pun*, itu harus ada di *semua* objek JSON.
+ Jumlah maksimum objek dalam `responses` kunci adalah 1. Jika Anda memiliki tanggapan dari beberapa model yang ingin Anda bandingkan, masing-masing memerlukan kumpulan data BYOI terpisah.
+ Jika Anda menentukan `responses` kunci dalam *setiap* objek JSON, itu juga harus berisi `modelIdentifier` dan `text` kunci di *semua* `responses` objek.