View a markdown version of this page

Kirimkan kumpulan petunjuk dengan OpenAI Batch API - Amazon Bedrock
Model dan Wilayah yang didukungPrasyaratBuat pekerjaan batchMengambil pekerjaan batchDaftar pekerjaan batchMembatalkan pekerjaan batch

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Kirimkan kumpulan petunjuk dengan OpenAI Batch API

Anda dapat menjalankan tugas inferensi batch menggunakan OpenAI Create batch API with Amazon Bedrock modelsOpenAI.

Anda dapat memanggil OpenAI Create batch API dengan cara berikut:

  • Buat permintaan HTTP dengan titik akhir Amazon Bedrock Runtime.

  • Gunakan permintaan OpenAI SDK dengan titik akhir Amazon Bedrock Runtime.

Pilih topik untuk mempelajari lebih lanjut:

Model dan Wilayah yang didukung untuk OpenAI API batch

Anda dapat menggunakan OpenAI Create batch API dengan OpenAI model yang didukung di Amazon Bedrock. Untuk daftar model dan Wilayah yang didukung, lihatWilayah dan model yang didukung untuk inferensi batch.

Prasyarat untuk menggunakan OpenAI API batch

Untuk melihat prasyarat untuk menggunakan operasi API OpenAI batch, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:

OpenAI SDK

  • O tentikasi — OpenAI SDK hanya mendukung otentikasi dengan kunci API Amazon Bedrock. Buat kunci API Amazon Bedrock untuk mengotentikasi permintaan Anda. Untuk mempelajari kunci API Amazon Bedrock dan cara membuatnya, lihat bagian kunci API di bagian Build.

  • Endpoint — Temukan titik akhir yang sesuai dengan Wil AWS ayah yang akan digunakan di titik akhir dan kuota Amazon Bedrock Runtime. Jika Anda menggunakan AWS SDK, Anda mungkin hanya perlu menentukan kode wilayah dan bukan seluruh titik akhir saat Anda mengatur klien.

  • Akses model — Meminta akses ke model Amazon Bedrock yang mendukung fitur ini. Untuk informasi selengkapnya, lihat Kelola akses model menggunakan SDK dan CLI.

  • Menginstal OpenAI SDK — Untuk informasi selengkapnya, lihat P ust aka dalam OpenAI dokumentasi.

  • File JSONL batch yang diunggah ke S3 - Ikuti langkah-langkah di Siapkan file batch Anda dalam OpenAI dokumentasi untuk menyiapkan file batch Anda dengan format yang benar. Kemudian unggah ke bucket Amazon S3.

  • Izin IAM — Pastikan Anda memiliki identitas IAM berikut dengan izin yang tepat:

HTTP request

  • Otentikasi — Anda dapat mengotentikasi dengan AWS kredensional Anda atau dengan kunci API Amazon Bedrock.

    Siapkan AWS kredensi Anda atau buat kunci API Amazon Bedrock untuk mengotentikasi permintaan Anda.

    • Untuk mempelajari cara menyiapkan AWS kredenSIAL Anda, lihat Akses terprogram dengan kredenSIAL AWS keamanan.

    • Untuk mempelajari kunci API Amazon Bedrock dan cara membuatnya, lihat bagian kunci API di bagian Build.

  • Endpoint — Temukan titik akhir yang sesuai dengan Wil AWS ayah yang akan digunakan di titik akhir dan kuota Amazon Bedrock Runtime. Jika Anda menggunakan AWS SDK, Anda mungkin hanya perlu menentukan kode wilayah dan bukan seluruh titik akhir saat Anda mengatur klien.

  • Akses model — Meminta akses ke model Amazon Bedrock yang mendukung fitur ini. Untuk informasi selengkapnya, lihat Kelola akses model menggunakan SDK dan CLI.

  • File JSONL batch yang diunggah ke S3 - Ikuti langkah-langkah di Siapkan file batch Anda dalam OpenAI dokumentasi untuk menyiapkan file batch Anda dengan format yang benar. Kemudian unggah ke bucket Amazon S3.

  • Izin IAM — Pastikan Anda memiliki identitas IAM berikut dengan izin yang tepat:

Buat OpenAI tugas batch

Untuk detail tentang OpenAI Create batch API, lihat sumber daya berikut dalam OpenAI dokumentasi:

  • Buat batch — Merinci permintaan dan respons.

  • Objek output permintaan — Merinci bidang output yang dihasilkan dari pekerjaan batch. Lihat dokumentasi ini saat menafsirkan hasil di bucket S3 Anda.

Bentuk permintaan

Saat membentuk permintaan inferensi batch, perhatikan Bedrock-specific bidang dan nilai Amazon berikut:

Minta header
Minta parameter tubuh:

  • titik akhir - Harusv1/chat/completions.

  • input_file_id — Tentukan URI S3 dari file JSONL batch Anda.

Temukan hasil yang dihasilkan

Respons pembuatan menyertakan ID batch. Hasil dan logging kesalahan dari pekerjaan inferensi batch ditulis ke folder S3 yang berisi file input. Hasilnya akan berada di folder dengan nama yang sama dengan ID batch, seperti dalam struktur folder berikut:

---- {batch_input_folder}
        |---- {batch_input}.jsonl
        |---- {batch_id}
	           |---- {batch_input}.jsonl.out
	           |---- {batch_input}.jsonl.err

Untuk melihat contoh penggunaan OpenAI Create batch API dengan metode yang berbeda, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:

OpenAI SDK (Python)

Untuk membuat pekerjaan batch dengan OpenAI SDK, lakukan hal berikut:

  1. Imp OpenAI or SDK dan atur klien dengan bidang berikut:

    • base_url— Mengawali titik akhir Amazon Bedrock Runtime ke/openai/v1, seperti dalam format berikut:

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key— Tentukan kunci API Amazon Bedrock.

    • default_headers- Jika Anda perlu menyertakan header apa pun, Anda dapat memasukkannya sebagai pasangan kunci-nilai dalam objek ini. Sebagai alternatif, Anda dapat menentukan header extra_headers saat melakukan panggilan API tertentu.

  2. Gunakan metode batches.create () dengan klien.

Sebelum menjalankan contoh berikut, ganti placeholder di bidang berikut:

  • api_key — Ganti $AWS_BEARER_TOKEN_BEDROCK dengan kunci API Anda yang sebenarnya.

  • X-Amzn-BedrockRoleArn — Ganti arn:aws:iam::123456789012:role/BatchServiceRole dengan peran layanan inferensi batch aktual yang Anda atur.

  • input_file_id — Ganti s3://amzn-s3-demo-bucket/openai-input.jsonl dengan URI S3 yang sebenarnya tempat Anda mengunggah file JSONL batch Anda.

Contoh memanggil OpenAI Create batch job API us-west-2 dan menyertakan satu bagian metadata.

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK", # Replace with actual API key
    default_headers={
        "X-Amzn-Bedrock-RoleArn": "arn:aws:iam::123456789012:role/BatchServiceRole" # Replace with actual service role ARN
    }
)

job = client.batches.create(
    input_file_id="s3://amzn-s3-demo-bucket/openai-input.jsonl", # Replace with actual S3 URI
    endpoint="/v1/chat/completions",
    completion_window="24h",
    metadata={
        "description": "test input"
    },
    extra_headers={
        "X-Amzn-Bedrock-ModelId": "openai.gpt-oss-20b-1:0",
    }
)
print(job)
HTTP request

Untuk membuat penyelesaian obrolan dengan permintaan HTTP langsung, lakukan hal berikut:

  1. Gunakan metode POST dan tentukan URL dengan mengawali titik akhir Amazon Bedrock Runtime ke/openai/v1/batches, seperti dalam format berikut:

    https://${bedrock-runtime-endpoint}/openai/v1/batches

  2. Tentukan AWS kredenSIAL Anda atau kunci API Amazon Bedrock di Authorization header.

Sebelum menjalankan contoh berikut, pertama-tama ganti placeholder di bidang berikut:

  • Otorisasi — Ganti $AWS_BEARER_TOKEN_BEDROCK dengan kunci API Anda yang sebenarnya.

  • X-Amzn-BedrockRoleArn — Ganti arn:aws:iam::123456789012:role/BatchServiceRole dengan peran layanan inferensi batch aktual yang Anda atur.

  • input_file_id — Ganti s3://amzn-s3-demo-bucket/openai-input.jsonl dengan URI S3 yang sebenarnya tempat Anda mengunggah file JSONL batch Anda.

Contoh berikut memanggil API penyelesaian obrolan Buat us-west-2 dan menyertakan satu bagian metadata:

curl -X POST 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' \  
    -H 'Content-Type: application/json' \
    -H 'X-Amzn-Bedrock-ModelId: openai.gpt-oss-20b-1:0' \
    -H 'X-Amzn-Bedrock-RoleArn: arn:aws:iam::123456789012:role/BatchServiceRole' \  
    -d '{    
    "input_file_id": "s3://amzn-s3-demo-bucket/openai-input.jsonl",    
    "endpoint": "/v1/chat/completions",    
    "completion_window": "24h",
    "metadata": {"description": "test input"}  
}'

Mengambil sebuah OpenAI tugas batch

Untuk detail tentang permintaan dan respons Retrieve batch API, lihat Meng ambil batch. OpenAI

Saat Anda membuat permintaan, Anda menentukan ID pekerjaan batch untuk mendapatkan informasi. Respons mengembalikan informasi tentang pekerjaan batch, termasuk nama file keluaran dan kesalahan yang dapat Anda cari di bucket S3 Anda.

Untuk melihat contoh penggunaan Retri OpenAI eve batch API dengan metode yang berbeda, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:

OpenAI SDK (Python)

Untuk mengambil pekerjaan batch dengan OpenAI SDK, lakukan hal berikut:

  1. Imp OpenAI or SDK dan atur klien dengan bidang berikut:

    • base_url— Mengawali titik akhir Amazon Bedrock Runtime ke/openai/v1, seperti dalam format berikut:

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key— Tentukan kunci API Amazon Bedrock.

    • default_headers- Jika Anda perlu menyertakan header apa pun, Anda dapat memasukkannya sebagai pasangan kunci-nilai dalam objek ini. Sebagai alternatif, Anda dapat menentukan header extra_headers saat melakukan panggilan API tertentu.

  2. Gunakan metode batches.() dengan klien dan tentukan ID batch yang akan diambil informasinya.

Sebelum menjalankan contoh berikut, ganti placeholder di bidang berikut:

  • api_key — Ganti $AWS_BEARER_TOKEN_BEDROCK dengan kunci API Anda yang sebenarnya.

  • batch_id — Ganti $AWS_BEARER_TOKEN_BEDROCK dengan kunci API Anda yang sebenarnya.

Contoh memanggil Ret OpenAI rieve batch job API us-west-2 pada pekerjaan batch yang ID-nya adalahbatch_abc123.

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)

job = client.batches.retrieve(batch_id="batch_abc123") # Replace with actual ID

print(job)
HTTP request

Untuk mengambil pekerjaan batch dengan permintaan HTTP langsung, lakukan hal berikut:

  1. Gunakan metode GET dan tentukan URL dengan mengawali titik akhir Amazon Bedrock Runtime ke/openai/v1/batches/${batch_id}, seperti dalam format berikut:

    https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123

  2. Tentukan AWS kredenSIAL Anda atau kunci API Amazon Bedrock di Authorization header.

Sebelum menjalankan contoh berikut, pertama-tama ganti placeholder di bidang berikut:

  • Otorisasi — Ganti $AWS_BEARER_TOKEN_BEDROCK dengan kunci API Anda yang sebenarnya.

  • batch_abc123 — Di jalur, ganti nilai ini dengan ID aktual pekerjaan batch Anda.

Contoh berikut memanggil Ret OpenAI rieve batch API us-west-2 pada pekerjaan batch yang ID-nya adalahbatch_abc123.

curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'

Daftar OpenAI lowongan kerja batch

Untuk detail tentang permintaan dan respons API batch OpenAI Daftar, lihat Daftar batch. Respons mengembalikan array informasi tentang pekerjaan batch Anda.

Saat Anda membuat permintaan, Anda dapat menyertakan parameter kueri untuk memfilter hasil. Respons mengembalikan informasi tentang pekerjaan batch, termasuk nama file keluaran dan kesalahan yang dapat Anda cari di bucket S3 Anda.

Untuk melihat contoh penggunaan API batch OpenAI Daftar dengan metode yang berbeda, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:

OpenAI SDK (Python)

Untuk membuat daftar pekerjaan batch dengan OpenAI SDK, lakukan hal berikut:

  1. Imp OpenAI or SDK dan atur klien dengan bidang berikut:

    • base_url— Mengawali titik akhir Amazon Bedrock Runtime ke/openai/v1, seperti dalam format berikut:

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key— Tentukan kunci API Amazon Bedrock.

    • default_headers- Jika Anda perlu menyertakan header apa pun, Anda dapat memasukkannya sebagai pasangan kunci-nilai dalam objek ini. Sebagai alternatif, Anda dapat menentukan header extra_headers saat melakukan panggilan API tertentu.

  2. Gunakan metode batches.list () dengan klien. Anda dapat menyertakan salah satu parameter opsional.

Sebelum menjalankan contoh berikut, ganti placeholder di bidang berikut:

  • api_key — Ganti $AWS_BEARER_TOKEN_BEDROCK dengan kunci API Anda yang sebenarnya.

Contoh memanggil API pekerjaan batch OpenAI Daftar us-west-2 dan menentukan batas 2 hasil untuk dikembalikan.

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)

job = client.batches.list(limit=2)

print(job)
HTTP request

Untuk membuat daftar pekerjaan batch dengan permintaan HTTP langsung, lakukan hal berikut:

  1. Gunakan metode GET dan tentukan URL dengan mengawali titik akhir Amazon Bedrock Runtime ke/openai/v1/batches, seperti dalam format berikut:

    https://${bedrock-runtime-endpoint}/openai/v1/batches

    Anda dapat menyertakan salah satu parameter kueri opsional.

  2. Tentukan AWS kredenSIAL Anda atau kunci API Amazon Bedrock di Authorization header.

Sebelum menjalankan contoh berikut, pertama-tama ganti placeholder di bidang berikut:

  • Otorisasi — Ganti $AWS_BEARER_TOKEN_BEDROCK dengan kunci API Anda yang sebenarnya.

Contoh berikut memanggil OpenAI List batch API us-west-2 dan menentukan batas 2 hasil untuk dikembalikan.

curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches?limit=2' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' \

Batalkan OpenAI tugas batch

Untuk detail tentang permintaan dan respons Batal Batal Batch API, lihat Bat alkan batch. OpenAI Respons mengembalikan informasi tentang pekerjaan batch yang dibatalkan.

Saat membuat permintaan, Anda menentukan ID pekerjaan batch yang ingin Anda batalkan.

Untuk melihat contoh penggunaan Batal OpenAI batch API dengan metode yang berbeda, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:

OpenAI SDK (Python)

Untuk membatalkan pekerjaan batch dengan OpenAI SDK, lakukan hal berikut:

  1. Imp OpenAI or SDK dan atur klien dengan bidang berikut:

    • base_url— Mengawali titik akhir Amazon Bedrock Runtime ke/openai/v1, seperti dalam format berikut:

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key— Tentukan kunci API Amazon Bedrock.

    • default_headers- Jika Anda perlu menyertakan header apa pun, Anda dapat memasukkannya sebagai pasangan kunci-nilai dalam objek ini. Sebagai alternatif, Anda dapat menentukan header extra_headers saat melakukan panggilan API tertentu.

  2. Gunakan metode batches.cancel () dengan klien dan tentukan ID batch yang akan diambil informasinya.

Sebelum menjalankan contoh berikut, ganti placeholder di bidang berikut:

  • api_key — Ganti $AWS_BEARER_TOKEN_BEDROCK dengan kunci API Anda yang sebenarnya.

  • batch_id — Ganti $AWS_BEARER_TOKEN_BEDROCK dengan kunci API Anda yang sebenarnya.

Contoh memanggil Bat OpenAI al Batch job API us-west-2 pada pekerjaan batch yang ID-nya adalahbatch_abc123.

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)

job = client.batches.cancel(batch_id="batch_abc123") # Replace with actual ID

print(job)
HTTP request

Untuk membatalkan pekerjaan batch dengan permintaan HTTP langsung, lakukan hal berikut:

  1. Gunakan metode POST dan tentukan URL dengan mengawali titik akhir Amazon Bedrock Runtime ke/openai/v1/batches/${batch_id}/cancel, seperti dalam format berikut:

    https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123/cancel

  2. Tentukan AWS kredenSIAL Anda atau kunci API Amazon Bedrock di Authorization header.

Sebelum menjalankan contoh berikut, pertama-tama ganti placeholder di bidang berikut:

  • Otorisasi — Ganti $AWS_BEARER_TOKEN_BEDROCK dengan kunci API Anda yang sebenarnya.

  • batch_abc123 — Di jalur, ganti nilai ini dengan ID aktual pekerjaan batch Anda.

Contoh berikut memanggil Bat OpenAI al Batch API us-west-2 pada pekerjaan batch yang ID-nya adalahbatch_abc123.

curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123/cancel' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'