View a markdown version of this page

Format File Manifest Augmented untuk Pelatihan Mode Pipa - Amazon SageMaker AI

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Format File Manifest Augmented untuk Pelatihan Mode Pipa

Format manifes yang diperbesar memungkinkan Anda melakukan pelatihan dalam mode Pipe menggunakan file tanpa perlu membuat file Recordio. Anda perlu menentukan saluran kereta dan validasi sebagai nilai untuk InputDataConfig parameter CreateTrainingJob permintaan. File manifes yang diperbesar hanya didukung untuk saluran yang menggunakan mode input Pipe. Untuk setiap saluran, data diekstraksi dari file manifes yang diperbesar dan dialirkan (secara berurutan) ke algoritma melalui pipa bernama saluran. Mode pipa menggunakan metode first in first out (FIFO), sehingga catatan diproses dalam urutan antrean. Untuk informasi tentang mode input Pipa, lihat Input Mode.

Nama atribut dengan akhiran menun "-ref" juk ke data biner yang telah diformat sebelumnya. Dalam beberapa kasus, algoritma tahu cara mengurai data. Dalam kasus lain, Anda mungkin perlu membungkus data sehingga catatan dibatasi untuk algoritma. Jika algoritma kompatibel dengan RecordIO-formatted data, menentukan RecordIO untuk RecordWrapperType memecahkan masalah ini. Jika algoritma tidak kompatibel dengan RecordIO format, tentukan None untuk RecordWrapperType dan pastikan bahwa data Anda diurai dengan benar untuk algoritma Anda.

Menggunakan ["image-ref", "is-a-cat"] contoh, jika Anda menggunakan pembungkus Recordio, aliran data berikut dikirim ke antrian:

recordio_formatted(s3://amzn-s3-demo-bucket/foo/image1.jpg)recordio_formatted("1")recordio_formatted(s3://amzn-s3-demo-bucket/bar/image2.jpg)recordio_formatted("0")

Gambar yang tidak dibungkus dengan format Recordio, dialirkan dengan nilai is-a-cat atribut yang sesuai sebagai satu catatan. Hal ini dapat menyebabkan masalah karena algoritma mungkin tidak membatasi gambar dan atribut dengan benar. Untuk informasi selengkapnya tentang menggunakan file manifes yang diperbesar untuk klasifikasi gambar, lihat Mel atih dengan Format Gambar Manifest Augmented.

Dengan file manifes ditambah dan mode Pipe secara umum, batas ukuran volume EBS tidak berlaku. Ini termasuk pengaturan yang sebaliknya harus berada dalam batas ukuran volume EBS seperti S3DataDistributionType . Untuk informasi selengkapnya tentang mode Pipa dan cara menggunakannya, lihat Menggunakan Algoritma Pelatihan Anda Sendiri - Konfigurasi Data Input.