Format dan unggah data inferensi batch Anda - Amazon Bedrock
Contoh masukan teks untuk Anthropic Claude 3 HaikuContoh masukan video untuk Amazon Nova

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Format dan unggah data inferensi batch Anda

Anda harus menambahkan data inferensi batch ke lokasi S3 yang akan Anda pilih atau tentukan saat mengirimkan pekerjaan pemanggilan model. Lokasi S3 harus berisi item berikut:

  • Setidaknya satu file JSONL yang mendefinisikan input model. Sebuah JSONL berisi baris objek JSON. File JSONL Anda harus diakhiri dengan ekstensi.jsonl dan dalam format berikut:

    { "recordId" : "alphanumeric string", "modelInput" : {JSON body} }
...

    Setiap baris berisi objek JSON dengan recordId bidang dan modelInput bidang yang berisi badan permintaan untuk input yang ingin Anda kirimkan. Format objek modelInput JSON harus cocok dengan body bidang untuk model yang Anda gunakan dalam InvokeModel permintaan. Untuk informasi selengkapnya, lihat Parameter permintaan inferensi dan bidang respons untuk model dasar.

    catatan

    • Jika Anda menghilangkan recordId bidang, Amazon Bedrock menambahkannya di output.

    • Urutan catatan dalam file JSONL keluaran tidak dijamin cocok dengan urutan catatan dalam file JSONL input.

    • Anda menentukan model yang ingin Anda gunakan saat membuat pekerjaan inferensi batch.

  • (Jika konten input Anda berisi lokasi Amazon S3) Beberapa model memungkinkan Anda untuk menentukan konten input sebagai lokasi S3. Lihat Contoh masukan video untuk Amazon Nova.

    Awas

    Saat menggunakan S3 URIs di prompt Anda, semua sumber daya harus berada di bucket dan folder S3 yang sama. InputDataConfigParameter harus menentukan jalur folder yang berisi semua sumber daya yang ditautkan (seperti video atau gambar), bukan hanya .jsonl file individual. Perhatikan bahwa jalur S3 peka huruf besar/kecil, jadi pastikan Anda URIs cocok dengan struktur folder yang tepat.

Pastikan input Anda sesuai dengan kuota inferensi batch. Anda dapat mencari kuota berikut di kuota layanan Amazon Bedrock:

  • Jumlah minimum catatan per pekerjaan inferensi batch - Jumlah minimum catatan (objek JSON) di seluruh file JSONL dalam pekerjaan.

  • Catatan per file input per pekerjaan inferensi batch - Jumlah maksimum catatan (objek JSON) dalam satu file JSONL dalam pekerjaan.

  • Catatan per pekerjaan inferensi batch — Jumlah maksimum catatan (objek JSON) di seluruh file JSONL dalam pekerjaan.

  • Ukuran file input inferensi Batch — Ukuran maksimum satu file dalam pekerjaan.

  • Ukuran pekerjaan inferensi Batch — Ukuran kumulatif maksimum dari semua file input.

Untuk lebih memahami cara mengatur input inferensi batch Anda, lihat contoh berikut:

Contoh masukan teks untuk Anthropic Claude 3 Haiku

Jika Anda berencana untuk menjalankan inferensi batch menggunakan format Messages API untuk Anthropic Claude 3 Haiku model, Anda dapat menyediakan file JSONL yang berisi objek JSON berikut sebagai salah satu baris:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Contoh masukan video untuk Amazon Nova

Jika Anda berencana untuk menjalankan inferensi batch pada input video menggunakan Amazon Nova Pro model Amazon Nova Lite atau, Anda memiliki opsi untuk mendefinisikan video dalam byte atau sebagai lokasi S3 di file JSONL. Misalnya, Anda mungkin memiliki bucket S3 yang jalurnya s3://batch-inference-input-bucket dan berisi file-file berikut:

s3://batch-inference-input-bucket/
├── videos/
│   ├── video1.mp4
│   ├── video2.mp4
│   ├── ...
│   └── video50.mp4
└── input.jsonl

Contoh catatan dari input.jsonl file tersebut adalah sebagai berikut:

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
                                    "bucketOwner": "111122223333"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

Saat Anda membuat pekerjaan inferensi batch, harus menentukan path folder s3://batch-inference-input-bucket dalam InputDataConfig parameter Anda. Inferensi Batch akan memproses input.jsonl file di lokasi ini, bersama dengan sumber daya yang direferensikan (seperti file video di videos subfolder).

Sumber daya berikut memberikan informasi lebih lanjut tentang mengirimkan input video untuk inferensi batch:

  • Untuk mempelajari cara memvalidasi Amazon URIs S3 secara proaktif dalam permintaan input, lihat blog Parsing URL Amazon S3.

  • Untuk informasi lebih lanjut tentang cara mengatur catatan doa untuk pemahaman video dengan Nova, lihat pedoman yang mendorong Amazon Nova visi.

Topik berikut menjelaskan cara mengatur akses S3 dan izin inferensi batch untuk identitas agar dapat melakukan inferensi batch.