Dukungan API yang Ditingkatkan: Beberapa Format API Pertanyaan yang Sering Diajukan Penanganan ModelNotReadyException

Panggil model impor Anda

Pekerjaan impor model dapat memakan waktu beberapa menit untuk mengimpor model Anda setelah Anda mengirim CreateModelImportJobpermintaan. Anda dapat memeriksa status pekerjaan impor Anda di konsol atau dengan memanggil GetModelImportJoboperasi dan memeriksa Status bidang dalam respons. Pekerjaan impor selesai jika Status untuk model Selesai.

Setelah model impor Anda tersedia di Amazon Bedrock, Anda dapat menggunakan model dengan throughput sesuai permintaan dengan mengirim InvokeModelatau InvokeModelWithResponseStreammeminta untuk melakukan panggilan inferensi ke model. Untuk informasi selengkapnya, lihat Kirim satu prompt dengan InvokeModel.

Untuk berinteraksi dengan model yang diimpor menggunakan format pesan, Anda dapat memanggil Converse atau ConverseStreamoperasi. Untuk informasi selengkapnya, lihat Menggunakan API Converse ini.

catatan

Converse API tidak didukung untuk Qwen2.5, QWen2-vl, Qwen2.5-vl, dan model. GPT-OSS

Dukungan API yang Ditingkatkan: Beberapa Format API

Mulai 17 November 2025, Amazon Bedrock Custom Model Import mendukung format API komprehensif yang kompatibel dengan OpenAI, memberikan fleksibilitas dalam cara Anda mengintegrasikan dan menerapkan model kustom Anda. Semua model yang diimpor setelah 11 November 2025, secara otomatis akan mendapat manfaat dari kemampuan yang ditingkatkan ini tanpa memerlukan konfigurasi tambahan.

Impor Model Kustom sekarang mendukung tiga format API:

BedrockCompletion (Teks) - Kompatibel dengan alur kerja Bedrock saat ini
Buka AICompletion (Teks) - Kompatibilitas Skema Penyelesaian OpenAI
Open AIChat Completion (Teks dan Gambar) - Kompatibilitas Skema percakapan penuh

Kemampuan yang ditingkatkan ini mencakup output terstruktur untuk menegakkan skema dan pola JSON, dukungan penglihatan yang ditingkatkan dengan pemrosesan multi-gambar, probabilitas log untuk wawasan kepercayaan model, dan kemampuan pemanggilan alat untuk model. GPT-OSS

Untuk dokumentasi referensi API mendetail, lihat dokumentasi OpenAI resmi:

Penyelesaian: OpenAI Completions API
ChatCompletion: API Obrolan OpenAI

Contoh Format API

Contoh berikut menunjukkan cara menggunakan masing-masing dari empat format API yang didukung dengan model impor Anda.

BedrockCompletion

BedrockCompletionformat kompatibel dengan alur kerja Bedrock saat ini dan mendukung permintaan inferensi berbasis teks.

Contoh permintaan:


import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')

payload = {
    "prompt": "How is the rainbow formed?",
    "max_gen_len": 100,
    "temperature": 0.5
}

response = client.invoke_model(
    modelId='your-model-arn',
    body=json.dumps(payload),
    accept='application/json',
    contentType='application/json'
)

response_body = json.loads(response['body'].read())

Contoh respons:


{
    "generation": " – A scientific explanation\nA rainbow is a beautiful natural phenomenon that occurs when sunlight passes through water droplets in the air. It is formed through a process called refraction, which is the bending of light as it passes from one medium to another.\nHere's a step-by-step explanation of how a rainbow is formed:\n1. Sunlight enters the Earth's atmosphere: The first step in forming a rainbow is for sunlight to enter the Earth's atmosphere. This sunlight is made up of a spectrum of",
    "prompt_token_count": 7,
    "generation_token_count": 100,
    "stop_reason": "length",
    "logprobs": null
}

BedrockCompletion mendukung output terstruktur menggunakan response_format parameter dengan json_object dan json_schema tipe.

OpenAICompletion

AICompletionFormat terbuka menyediakan kompatibilitas OpenAI Completions Schema. Untuk menggunakan format ini, sertakan max_tokens parameter alih-alihmax_gen_len.

Contoh permintaan:


import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')

payload = {
    "prompt": "How is the rainbow formed?",
    "max_tokens": 100,
    "temperature": 0.5
}

response = client.invoke_model(
    modelId='your-model-arn',
    body=json.dumps(payload),
    accept='application/json',
    contentType='application/json'
)

response_body = json.loads(response['body'].read())

Contoh respons:


{
    "id": "cmpl-b09d5810bd64428f8a853be71c31f912",
    "object": "text_completion",
    "created": 1763166682,
    "choices": [
        {
            "index": 0,
            "text": " The formation of a rainbow is a complex process that involves the interaction of sunlight with water droplets in the air. Here's a simplified explanation: 1. Sunlight enters the Earth's atmosphere and is refracted, or bent, as it passes through the air. 2. When sunlight encounters a water droplet, such as a cloud, mist, or fog, it is refracted again and split into its individual colors, a process known as dispersion. 3. The refracted and",
            "finish_reason": "length"
        }
    ],
    "usage": {
        "prompt_tokens": 7,
        "total_tokens": 107,
        "completion_tokens": 100
    }
}

Open AICompletion mendukung kemampuan output terstruktur penuh termasukjson,regex,choice, dan grammar kendala menggunakan parameter. structured_outputs

OpenAIChatCompletion

Format Open AIChat Completion menyediakan kompatibilitas Skema percakapan penuh dan mendukung input teks dan gambar.

Contoh permintaan:


import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')

payload = {
    "messages": [
        {
            "role": "user",
            "content": "How is the rainbow formed?"
        }
    ],
    "max_tokens": 100,
    "temperature": 0.5
}

response = client.invoke_model(
    modelId='your-model-arn',
    body=json.dumps(payload),
    accept='application/json',
    contentType='application/json'
)

response_body = json.loads(response['body'].read())

Contoh respons:


{
    "id": "chatcmpl-1d84ce1d3d61418e8c6d1973f87173db",
    "object": "chat.completion",
    "created": 1763166683,
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "A rainbow is a beautiful natural phenomenon that occurs when sunlight passes through water droplets in the air. The process of forming a rainbow involves several steps:\n\n1. **Sunlight**: The first requirement for a rainbow is sunlight. The sun should be shining brightly, but not directly overhead.\n2. **Water droplets**: The second requirement is water droplets in the air..."
            },
            "finish_reason": "length"
        }
    ],
    "usage": {
        "prompt_tokens": 41,
        "completion_tokens": 100,
        "total_tokens": 141
    }
}

Open AIChat Completion mendukung output terstruktur menggunakan keduanya response_format dan structured_outputs parameter. Untuk kemampuan penglihatan, sertakan gambar dalam array konten dengan data gambar yang disandikan base64.

catatan

Untuk menggunakan ChatCompletion format, template obrolan harus menjadi bagian daritokenizer_config.json. Impor Model Kustom tidak akan menerapkan templat obrolan default apa pun ke permintaan.

Anda memerlukan model ARN untuk melakukan panggilan inferensi ke model Anda yang baru diimpor. Setelah berhasil menyelesaikan pekerjaan impor dan setelah model impor Anda aktif, Anda bisa mendapatkan model ARN dari model impor Anda di konsol atau dengan mengirimkan permintaan. ListImportedModels

Ketika Anda memanggil model impor Anda menggunakan InvokeModel atauInvokeModelWithStream, permintaan Anda disajikan dalam waktu 5 menit atau Anda mungkin mendapatkannyaModelNotReadyException. Untuk memahami ModelNotReadyException, ikuti langkah-langkah di bagian selanjutnya untuk penanganannya ModelNotreadyException.

Pertanyaan yang Sering Diajukan

T: Format API apa yang harus saya gunakan?

J: Untuk kompatibilitas maksimum dengan berbagai format SDKs, sebaiknya gunakan format Open AICompletion atau Open AIChat Completion karena menyediakan skema yang kompatibel dengan OpenAI yang didukung secara luas di berbagai alat dan pustaka.

T: Apakah GPT-OSS di Amazon Bedrock Custom Model Import mendukung Converse API?

A: Tidak. GPT-OSSmodel impor model kustom berbasis tidak mendukung Converse API atau ConverseStream API. Anda harus menggunakan InvokeModelAPI dengan skema yang kompatibel dengan OpenAI saat bekerja dengan model kustom GPT-OSS berbasis.

T: Model apa yang mendukung pemanggilan alat?

A: model kustom GPT-OSS berbasis mendukung kemampuan pemanggilan alat. Pemanggilan alat memungkinkan pemanggilan fungsi untuk alur kerja yang kompleks.

T: Bagaimana dengan model yang diimpor sebelum 11 November 2025?

J: Model yang diimpor sebelum 11 November 2025, terus berfungsi sebagaimana adanya dengan format dan kemampuan API yang ada.

T: Bagaimana generation_config.json dengan model berbasis OpenAI?

J: Sangat penting bahwa Anda menyertakan generation_config.json file yang benar saat mengimpor model berbasis OpenAI seperti. GPT-OSS Anda harus menggunakan file konfigurasi yang diperbarui (diperbarui 13 Agustus 2024) yang tersedia di https://huggingface. co/openai/gpt-oss-20b/blob/main/generation_config.json. Konfigurasi yang diperbarui mencakup tiga end-of-sequence token IDs ([200002, 199999, 200012]), sedangkan versi yang lebih lama hanya menyertakan dua token ([200002, 199999]). Menggunakan generation_config.json file yang sudah ketinggalan zaman akan menyebabkan kesalahan runtime selama pemanggilan model. File ini penting untuk perilaku model yang tepat dan harus disertakan dengan impor model berbasis OpenAI Anda.

Penanganan ModelNotReadyException

Amazon Bedrock Custom Model Import mengoptimalkan pemanfaatan perangkat keras dengan menghapus model yang tidak aktif. Jika Anda mencoba memanggil model yang telah dihapus, Anda akan mendapatkan file. ModelNotReadyException Setelah model dihapus dan Anda memanggil model untuk pertama kalinya, Impor Model Kustom mulai memulihkan model. Waktu restorasi tergantung pada ukuran armada sesuai permintaan dan ukuran model.

Jika InvokeModelWithStream permintaan InvokeModel atau Anda kembaliModelNotReadyException, ikuti langkah-langkah untuk menangani pengecualian.

Konfigurasikan percobaan ulang

Secara default, permintaan secara otomatis dicoba ulang dengan backoff eksponensial. Anda dapat mengonfigurasi jumlah percobaan ulang maksimum.

Contoh berikut menunjukkan cara mengkonfigurasi coba lagi. Ganti ${region-name}${model-arn},, dan 10 dengan Wilayah Anda, model ARN, dan upaya maksimum.


import json
import boto3
from botocore.config import Config


REGION_NAME = ${region-name}
MODEL_ID= '${model-arn}'

config = Config(
    retries={
        'total_max_attempts': 10, //customizable
        'mode': 'standard'
    }
)
message = "Hello"


session = boto3.session.Session()
br_runtime = session.client(service_name = 'bedrock-runtime', 
                                 region_name=REGION_NAME, 
                                 config=config)
    
try:
    invoke_response = br_runtime.invoke_model(modelId=MODEL_ID, 
                                            body=json.dumps({'prompt': message}), 
                                            accept="application/json", 
                                            contentType="application/json")
    invoke_response["body"] = json.loads(invoke_response["body"].read().decode("utf-8"))
    print(json.dumps(invoke_response, indent=4))
except Exception as e:
    print(e)
    print(e.__repr__())

Pantau kode respons selama upaya coba lagi

Setiap upaya coba lagi memulai proses restorasi model. Waktu restorasi tergantung pada ketersediaan armada sesuai permintaan dan ukuran model. Pantau kode respons saat proses restorasi sedang berlangsung.

Jika percobaan ulang secara konsisten gagal, lanjutkan dengan langkah selanjutnya.
Verifikasi model berhasil diimpor

Anda dapat memverifikasi apakah model berhasil diimpor dengan memeriksa status pekerjaan impor Anda di konsol atau dengan memanggil GetModelImportJoboperasi. Periksa Status bidang dalam respons. Pekerjaan impor berhasil jika Status untuk model Selesai.
Kontak Dukungan untuk penyelidikan lebih lanjut

Buka tiket dengan Dukungan Untuk informasi selengkapnya, lihat Membuat kasus dukungan.

Sertakan detail yang relevan seperti ID model dan stempel waktu dalam tiket dukungan.

Awas Javascript dinonaktifkan atau tidak tersedia di browser Anda.

Untuk menggunakan Dokumentasi AWS, Javascript harus diaktifkan. Lihat halaman Bantuan browser Anda untuk petunjuk.

Konvensi Dokumen

Kirim pekerjaan impor model

Fitur API canggih untuk model yang diimpor

Panggil model impor Anda

catatan

Dukungan API yang Ditingkatkan: Beberapa Format API

Contoh Format API

catatan

Pertanyaan yang Sering Diajukan

Penanganan ModelNotReadyException

Konfigurasikan percobaan ulang

Pantau kode respons selama upaya coba lagi

Verifikasi model berhasil diimpor

Kontak Dukungan untuk penyelidikan lebih lanjut