Pemecahan Masalah Operasi Batch S3 - Amazon Simple Storage Service
NoSuchJobExceptionInvalidManifestContent

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pemecahan Masalah Operasi Batch S3

Operasi Batch Amazon S3 memungkinkan Anda melakukan operasi skala besar pada objek Amazon S3. Panduan ini membantu Anda memecahkan masalah umum yang mungkin Anda temui.

Untuk memecahkan masalah dengan Replikasi Batch S3, lihat. Memecahkan masalah replikasi

Ada dua jenis kegagalan utama yang mengakibatkan kesalahan operasi Batch:

  1. Kegagalan API — API yang diminta (sepertiCreateJob) gagal dijalankan.

  2. Job Failure — Permintaan API awal berhasil tetapi pekerjaan gagal, misalnya, karena masalah dengan manifes atau izin ke objek yang ditentukan dalam manifes.

NoSuchJobException

Jenis: Kegagalan API

NoSuchJobExceptionTerjadi ketika Operasi Batch S3 tidak dapat menemukan pekerjaan yang ditentukan. Kesalahan ini dapat terjadi dalam beberapa skenario di luar kedaluwarsa pekerjaan sederhana. Penyebab umum termasuk yang berikut ini.

  1. Job expiration — Pekerjaan secara otomatis dihapus 90 hari setelah mencapai status terminal (Complete,Cancelled, atauFailed).

  2. ID pekerjaan salah - ID pekerjaan yang digunakan DescribeJob atau UpdateJobStatus tidak cocok dengan ID yang dikembalikan olehCreateJob.

  3. Wilayah yang salah — Mencoba mengakses pekerjaan di wilayah yang berbeda dari tempat pekerjaan itu dibuat.

  4. Akun salah — Menggunakan ID pekerjaan dari AWS akun yang berbeda.

  5. Kesalahan format Job ID - Kesalahan ketik, karakter tambahan, atau pemformatan yang salah di ID pekerjaan.

  6. Masalah waktu - Memeriksa status pekerjaan segera setelah pembuatan sebelum pekerjaan terdaftar sepenuhnya.

Pesan kesalahan terkait termasuk yang berikut ini.

  1. No such job

  2. The specified job does not exist

Praktik terbaik untuk mencegah kegagalan NoSuchJobException API

  1. Simpan pekerjaan IDs segera - Simpan ID pekerjaan dari CreateJob respons sebelum melakukan panggilan API berikutnya.

  2. Terapkan logika coba lagi - Tambahkan backoff eksponensial saat memeriksa status pekerjaan segera setelah pembuatan.

  3. Siapkan pemantauan — Buat CloudWatch alarm untuk melacak penyelesaian pekerjaan sebelum kedaluwarsa 90 hari. Untuk detailnya, lihat Menggunakan CloudWatch alarm di Panduan CloudWatch Pengguna Amazon.

  4. Gunakan wilayah yang konsisten — Pastikan semua operasi pekerjaan menggunakan wilayah yang sama dengan penciptaan lapangan kerja.

  5. Validasi input - Periksa format ID pekerjaan sebelum melakukan panggilan API.

Saat pekerjaan kedaluwarsa

Pekerjaan di status terminal secara otomatis dihapus setelah 90 hari. Untuk menghindari kehilangan informasi pekerjaan, pertimbangkan hal berikut.

  1. Unduh laporan penyelesaian sebelum kedaluwarsa — Untuk petunjuk tentang mengambil dan menyimpan hasil pekerjaan, lihat.

  2. Arsipkan metadata pekerjaan di sistem Anda sendiri — Simpan informasi pekerjaan penting di database atau sistem pemantauan Anda.

  3. Siapkan notifikasi otomatis sebelum batas waktu 90 hari — Gunakan Amazon EventBridge untuk membuat aturan yang memicu pemberitahuan saat pekerjaan selesai. Untuk informasi selengkapnya, lihat Notifikasi Peristiwa Amazon S3.

Memecahkan Masalah NoSuchJobException

  1. Gunakan perintah berikut untuk memverifikasi pekerjaan yang ada di akun dan wilayah Anda.

    
aws s3control list-jobs --account-id 111122223333 --region us-east-1

  2. Gunakan comamand berikut untuk mencari di semua status pekerjaan. Status pekerjaan yang mungkin termasukActive,Cancelled,Cancelling,Complete,,Completing,Failed,Failing,New,Paused,Pausing, PreparingReady, danSuspended.

    
aws s3control list-jobs --account-id 111122223333 --job-statuses your-job-status

  3. Gunakan perintah berikut untuk memeriksa apakah pekerjaan itu ada di wilayah lain tempat Anda biasanya membuat pekerjaan.

    
aws s3control list-jobs --account-id 111122223333 --region job-region-1 aws s3control list-jobs --account-id 111122223333 --region job-region-2

  4. Validasi format ID pekerjaan. Job IDs biasanya berisi 36 karakter, seperti12345678-1234-1234-1234-123456789012. Periksa spasi tambahan, karakter yang hilang, atau masalah sensitivitas kasus dan verifikasi bahwa Anda menggunakan ID pekerjaan lengkap yang dikembalikan oleh CreateJob perintah.

  5. Gunakan perintah berikut untuk memeriksa CloudTrail log untuk acara penciptaan pekerjaan.

    
    aws logs filter-log-events --log-group-name CloudTrail/S3BatchOperations \ --filter-pattern "{ $.eventName = CreateJob }" \ --start-time timestamp

AccessDeniedException

Jenis: Kegagalan API

AccessDeniedExceptionHal ini terjadi ketika permintaan Operasi Batch S3 diblokir karena izin yang tidak memadai, operasi yang tidak didukung, atau pembatasan kebijakan. Ini adalah salah satu kesalahan paling umum dalam Operasi Batch. Ini memiliki penyebab umum berikut:

  1. Izin IAM tidak ada - Identitas IAM tidak memiliki izin yang diperlukan untuk Operasi Batch. APIs

  2. Izin S3 tidak memadai - Izin tidak ada untuk mengakses bucket dan objek sumber atau tujuan.

  3. Masalah peran eksekusi Job — Peran eksekusi pekerjaan tidak memiliki izin untuk melakukan operasi yang ditentukan.

  4. Operasi yang tidak didukung — Mencoba menggunakan operasi yang tidak didukung di wilayah saat ini atau tipe bucket.

  5. Masalah akses lintas akun — Izin tidak ada untuk bucket lintas akun atau akses objek.

  6. Pembatasan kebijakan berbasis sumber daya — Kebijakan bucket atau objek ACLs yang memblokir operasi.

  7. Pembatasan Kebijakan Kontrol Layanan (SCP) — Kebijakan tingkat organisasi yang mencegah operasi.

Pesan kesalahan terkait:

  1. Access Denied

  2. User: arn:aws:iam::account:user/username is not authorized to perform: s3:operation

  3. Cross-account pass role is not allowed

  4. The bucket policy does not allow the specified operation

Praktik terbaik untuk mencegah kegagalan AccessDeniedException API

  1. Gunakan prinsip hak istimewa terkecil — Berikan hanya izin minimum yang diperlukan untuk operasi spesifik Anda.

  2. Izin uji sebelum pekerjaan besar — Jalankan pekerjaan pengujian kecil untuk memvalidasi izin sebelum memproses ribuan objek.

  3. Gunakan simulator kebijakan IAM — Uji kebijakan sebelum penerapan menggunakan simulator kebijakan IAM. Untuk informasi selengkapnya, lihat pengujian kebijakan IAM dengan simulator kebijakan IAM di Panduan Pengguna IAM.

  4. Terapkan pengaturan lintas akun yang tepat — Periksa konfigurasi akses lintas akun Anda untuk konfigurasi pekerjaan lintas akun. Untuk informasi selengkapnya, lihat tutorial IAM: Mendelegasikan akses di seluruh AWS akun menggunakan peran IAM dalam Panduan Pengguna IAM.

  5. Pantau perubahan izin — Siapkan CloudTrail peringatan untuk modifikasi kebijakan IAM yang mungkin memengaruhi Operasi Batch.

  6. Persyaratan peran dokumen - Pertahankan dokumentasi yang jelas tentang izin yang diperlukan untuk setiap jenis pekerjaan.

  7. Gunakan templat izin umum - Gunakan contoh izin dan templat polcy:

    1. Memberikan izin untuk Batch Operations

    2. Sumber daya lintas akun di IAM di Panduan Pengguna IAM.

    3. Kontrol akses ke titik akhir VPC menggunakan kebijakan titik akhir dalam Panduan. AWS PrivateLink

AccessDeniedException pemecahan masalah

Ikuti langkah-langkah ini secara sistematis untuk mengidentifikasi dan menyelesaikan masalah izin.

  1. Periksa Operasi yang didukung oleh Operasi Batch S3 operasi yang didukung berdasarkan wilayah. Operasi bucket direktori konfirmasi hanya tersedia di titik akhir Regional dan Zonal. Pastikan operasi didukung untuk kelas penyimpanan bucket Anda.

  2. Gunakan perintah berikut untuk menentukan apakah Anda dapat membuat daftar pekerjaan.

    
 aws s3control list-jobs --account-id 111122223333

  3. Gunakan perintah berikut untuk memeriksa izin IAM untuk identitas yang meminta. Akun yang menjalankan pekerjaan memerlukan izin berikut:s3:CreateJob,, s3:DescribeJobs3:ListJobs-s3:UpdateJobPriority,s3:UpdateJobStatus-iam:PassRole.

    
aws sts get-caller-identity 111122223333

  4. Gunakan perintah berikut untuk memeriksa apakah peran itu ada dan dapat diasumsikan.

    
aws iam get-role --role-name role-name

  5. Gunakan perintah berikut untuk meninjau kebijakan kepercayaan peran. Peran menjalankan pekerjaan harus memiliki yang berikut:

    1. Hubungan kepercayaan yang memungkinkan batchoperations.s3.amazonaws.com untuk mengambil peran.

    2. Operasi yang dilakukan operasi batch (seperti s3:PutObjectTagging untuk operasi penandaan).

    3. Akses ke ember sumber dan tujuan.

    4. Izin untuk membaca file manifes.

    5. Izin untuk menulis laporan penyelesaian.

    
aws iam get-role --role-name role-name --query 'Role.AssumeRolePolicyDocument'

  6. Gunakan perintah berikut untuk mengistirahatkan akses ke manifes dan ember sumber.

    
aws s3 ls s3://bucket-name

  7. Uji operasi yang dilakukan oleh operasi batch. Misalnya, jika operasi batch melakukan penandaan, beri tag objek sampel di bucket sumber.

  8. Tinjau kebijakan bucket untuk kebijakan yang mungkin menolak operasi.

    1. Periksa objek ACLs jika bekerja dengan kontrol akses lama.

    2. Verifikasi tidak ada Kebijakan Kontrol Layanan (SCPs) yang memblokir operasi.

    3. Konfirmasi kebijakan titik akhir VPC mengizinkan Operasi Batch jika menggunakan titik akhir VPC.

  9. Gunakan perintah berikut untuk digunakan CloudTrail untuk mengidentifikasi kegagalan izin.

    
aws logs filter-log-events --log-group-name CloudTrail/S3BatchOperations \
    --filter-pattern "{ $.errorCode = AccessDenied }" \
    --start-time timestamp

SlowDownError

Jenis: Kegagalan API

SlowDownErrorPengecualian terjadi ketika akun Anda telah melampaui batas tingkat permintaan untuk Operasi Batch S3. APIs Ini adalah mekanisme pelambatan untuk melindungi layanan agar tidak kewalahan oleh terlalu banyak permintaan. Ini memiliki penyebab umum berikut:

  1. Frekuensi permintaan API tinggi - Membuat terlalu banyak panggilan API dalam waktu singkat.

  2. Operasi pekerjaan bersamaan — Beberapa aplikasi atau creating/managing pekerjaan pengguna secara bersamaan.

  3. Skrip otomatis tanpa pembatasan tarif — Skrip yang tidak menerapkan strategi backoff yang tepat.

  4. Polling status pekerjaan terlalu sering — Memeriksa status pekerjaan lebih sering daripada yang diperlukan.

  5. Pola lalu lintas burst — Lonjakan mendadak dalam penggunaan API selama waktu pemrosesan puncak.

  6. Batas kapasitas regional — Melebihi kapasitas permintaan yang dialokasikan untuk wilayah Anda.

Pesan kesalahan terkait:

  1. SlowDown

  2. Please reduce your request rate

  3. Request rate exceeded

Praktik terbaik untuk mencegah kegagalan SlowDownError API

  1. Menerapkan pembatasan tingkat sisi klien — Tambahkan penundaan di antara panggilan API di aplikasi Anda.

  2. Gunakan backoff eksponensial dengan jitter — Acak penundaan coba lagi untuk menghindari masalah kawanan yang menggelegar.

  3. Siapkan logika coba lagi yang tepat - Terapkan percobaan ulang otomatis dengan peningkatan penundaan untuk kesalahan sementara.

  4. Gunakan arsitektur berbasis peristiwa — Ganti polling dengan EventBridge notifikasi untuk perubahan status pekerjaan.

  5. Mendistribusikan beban sepanjang waktu — Pembuatan lapangan kerja yang mengejutkan dan pemeriksaan status di seluruh periode waktu yang berbeda.

  6. Pantau dan waspada pada batas tarif - Siapkan CloudWatch alarm untuk mendeteksi saat Anda mendekati batas.

Sebagian besar AWS SDKs menyertakan logika coba ulang bawaan untuk kesalahan pembatas laju. Konfigurasikan mereka sebagai berikut:

  1. AWS CLI— Gunakan cli-read-timeout dan cli-connect-timeout parameter.

  2. AWS SDK for Python (Boto3) - Konfigurasikan mode coba lagi dan upaya maksimal dalam konfigurasi klien Anda.

  3. AWS SDK for Java - RetryPolicy Penggunaan ClientConfiguration dan pengaturan.

  4. AWS SDK untuk JavaScript — Konfigurasi maxRetries danretryDelayOptions.

Untuk informasi lebih lanjut tentang pola coba lagi dan praktik terbaik, lihat Coba lagi dengan pola backoff di panduan Panduan Preskriptif. AWS

SlowDownError pemecahan masalah

  1. Dalam kode Anda, segera terapkan backoff eksponensial.

    contoh dari backoff eksponensial di bash
    
for attempt in {1..5}; do
    if aws s3control describe-job --account-id 111122223333 --job-id job-id; then 
        break
    else 
        wait_time=$((2**attempt)) echo "Rate limited, waiting ${wait_time} seconds..." sleep $wait_time
        fi
done

  2. Gunakan CloudTrail untuk mengidentifikasi sumber volume permintaan tinggi.

    
aws logs filter-log-events \
    --log-group-name CloudTrail/S3BatchOperations \
    --filter-pattern "{ $.eventName = CreateJob || $.eventName = DescribeJob }" \
    --start-time timestamp \
    --query 'events[*].[eventTime,sourceIPAddress,userIdentity.type,eventName]'

  3. Tinjau frekuensi polling.

    1. Hindari memeriksa status pekerjaan lebih dari sekali setiap 30 detik untuk pekerjaan aktif.

    2. Gunakan pemberitahuan penyelesaian pekerjaan alih-alih melakukan polling jika memungkinkan.

    3. Terapkan jitter dalam interval polling Anda untuk menghindari permintaan yang disinkronkan.

  4. Optimalkan pola penggunaan API Anda.

    1. Batch beberapa operasi bila memungkinkan.

    2. Gunakan ListJobs untuk mendapatkan status beberapa pekerjaan dalam satu panggilan.

    3. Cache informasi pekerjaan untuk mengurangi panggilan API yang berlebihan.

    4. Sebarkan penciptaan lapangan kerja sepanjang waktu daripada menciptakan banyak pekerjaan secara bersamaan.

  5. Gunakan CloudWatch metrik untuk panggilan API untuk memantau pola permintaan Anda.

    
   aws logs put-metric-filter \
       --log-group-name CloudTrail/S3BatchOperations \
       --filter-name S3BatchOpsAPICallCount \      
       --filter-pattern "{ $.eventSource = s3.amazonaws.com && $.eventName = CreateJob }" \
       --metric-transformations \        
       metricName=S3BatchOpsAPICalls,metricNamespace=Custom/S3BatchOps,metricValue=1

InvalidManifestContent

Jenis: Kegagalan Job

InvalidManifestContentPengecualian terjadi ketika ada masalah dengan format file manifes, konten, atau struktur yang mencegah Operasi Batch S3 memproses pekerjaan. Ini memiliki penyebab umum berikut:

  1. Pelanggaran format — Kolom yang diperlukan tidak ada, pembatas yang salah, atau struktur CSV yang salah.

  2. Masalah pengkodean konten - Pengkodean karakter yang salah, penanda BOM, atau karakter non-UTF-8.

  3. Masalah kunci objek - Karakter tidak valid, pengkodean URL yang tidak tepat, atau kunci yang melebihi batas panjang.

  4. Keterbatasan ukuran - Manifest berisi lebih banyak objek daripada dukungan operasi.

  5. Kesalahan format ID versi - Versi cacat atau tidak valid IDs untuk objek berversi.

  6. ETag masalah format — ETag Format yang salah atau tanda kutip yang hilang untuk operasi yang memerlukan ETags.

  7. Data yang tidak konsisten — Format campuran dalam manifes yang sama atau jumlah kolom yang tidak konsisten.

Pesan kesalahan terkait:

  1. Required fields are missing in the schema: + missingFields

  2. Invalid Manifest Content

  3. The S3 Batch Operations job failed because it contains more keys than the maximum allowed in a single job

  4. Invalid object key format

  5. Manifest file is not properly formatted

  6. Invalid version ID format

  7. ETag format is invalid

Praktik terbaik untuk mencegah kegagalan InvalidManifestContent pekerjaan

  1. Validasi sebelum diunggah - Uji format manifes dengan pekerjaan kecil sebelum memproses kumpulan data besar.

  2. Gunakan pengkodean yang konsisten — Selalu gunakan pengkodean UTF-8 tanpa BOM untuk file manifes.

  3. Menerapkan standar pembuatan manifes — Buat templat dan prosedur validasi untuk pembuatan manifes.

  4. Menangani karakter khusus dengan benar - URL menyandikan kunci objek yang berisi karakter khusus.

  5. Pantau jumlah objek - Lacak ukuran manifes dan pisahkan pekerjaan besar secara proaktif.

  6. Validasi keberadaan objek — Verifikasi objek ada sebelum memasukkannya ke dalam manifes.

  7. Gunakan AWS alat untuk pembuatan manifes — Leverage AWS CLI s3api list-objects-v2 untuk menghasilkan daftar objek yang diformat dengan benar.

Masalah dan solusi manifes umum:

  1. Kolom wajib hilang - Pastikan manifes Anda mencakup semua kolom yang diperlukan untuk jenis operasi Anda. Kolom hilang yang paling umum adalah Bucket dan Key.

  2. Format CSV salah - Gunakan pembatas koma, pastikan jumlah kolom yang konsisten di semua baris, dan hindari jeda baris yang disematkan di dalam bidang.

  3. Karakter khusus dalam kunci objek — URL menyandikan kunci objek yang berisi spasi, karakter Unicode, atau karakter khusus XHTML (<, >, &, “, ').

  4. File manifes besar — Pisahkan manifes dengan lebih dari batas operasi menjadi beberapa manifes yang lebih kecil dan buat pekerjaan terpisah.

  5. Versi tidak valid IDs - Pastikan versi diformat string IDs alfanumerik dengan benar. Hapus kolom ID versi jika tidak diperlukan.

  6. Masalah pengkodean - Simpan file manifes sebagai UTF-8 tanpa BOM. Hindari menyalin manifes melalui sistem yang dapat mengubah pengkodean.

Untuk spesifikasi dan contoh format manifes terperinci, lihat berikut ini:

  1. Menentukan manifes

  2. Operasi yang didukung oleh Operasi Batch S3

  3. Mengganti nama objek Amazon S3

InvalidManifestContent pemecahan masalah

  1. Unduh dan periksa file manifes. Verifikasi manifes secara manual memenuhi persyaratan format:

    1. Format CSV dengan pembatas koma.

    2. Pengkodean UTF-8 tanpa BOM.

    3. Jumlah kolom yang konsisten di semua baris.

    4. Tidak ada garis kosong atau spasi tambahan.

    5. Kunci objek dengan benar URL dikodekan jika mengandung karakter khusus.

    Gunakan perintah berikut untuk mengunduh file manifes.

    
aws s3 cp s3://amzn-s3-demo-bucket1/manifest-key ./manifest.csv

  2. Periksa kolom yang diperlukan untuk operasi Anda:

    1. Semua operasi:Bucket, Key

    2. Operasi penyalinan: VersionId (opsional)

    3. Kembalikan operasi: VersionId (opsional)

    4. Ganti operasi tag: Tidak diperlukan kolom tambahan.

    5. Ganti operasi ACL: Tidak diperlukan kolom tambahan.

    6. Memulai pemulihan: VersionId (opsional)

  3. Periksa batas jumlah objek:

    1. Salin: Maksimal 1 miliar objek.

    2. Hapus: Maksimal 1 miliar objek.

    3. Pulihkan: Maksimal 1 miliar objek.

    4. Penandaan: Maksimal 1 miliar objek.

    5. ACL: Maksimal 1 miliar objek.

  4. Buat manifes uji dengan beberapa objek dari manifes asli Anda.

  5. Gunakan perintah berikut untuk cehck jika sampel objek dari manifes ada.

    
aws s3 ls s3://amzn-s3-demo-bucket1/object-key

  6. Periksa detail kegagalan pekerjaan dan tinjau alasan kegagalan dan detail kesalahan spesifik apa pun dalam deskripsi pekerjaan.

    
aws s3control describe-job --account-id 111122223333 --job-id job-id