Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menangani Template dan Tokenizer Obrolan Kustom

Template obrolan khusus dan tokenizer adalah komponen penting untuk memformat input percakapan dengan benar dan mengelola pembuatan token dalam model impor Anda. Impor Model Kustom mendukung pengimporan model dengan templat obrolan khusus yang menentukan bagaimana percakapan multi-turn terstruktur dan diberi token.

Mengimpor Model dengan Templat Obrolan Kustom

Saat mengimpor model dengan templat obrolan khusus, pastikan Anda mengikuti praktik terbaik yang diuraikan dalam dokumentasi Impor Model Kustom utama, termasuk memasukkan bobot model dalam format tensor aman dan menyediakan semua file konfigurasi yang diperlukan.

Persyaratan Format Template Obrolan

Jika model Anda menggunakan template obrolan khusus dan Anda ingin menggunakan template itu dengan Amazon Bedrock, Anda harus menyertakan file template obrolan dalam salah satu format berikut:

Custom Model Impor akan secara otomatis memproses file-file ini dan memasukkannya ke dalam direktori yang benar selama proses impor.

Prioritas Template Obrolan

Jika Anda menyediakan beberapa sumber template obrolan, Amazon Bedrock menerapkan aturan prioritas berikut:

Contoh Format Template Obrolan

Berikut adalah contoh dari dua format template obrolan yang didukung:

Jinja Format (chat_template.jinja)

Contoh sederhana dari template Jinja2-based obrolan:

{% for message in messages %}
{% if loop.first and message['role'] != 'system' %}
<|im_start|>system
You are a helpful assistant.<|im_end|>
{% endif %}
<|im_start|>{{ message['role'] }}
{{ message['content'] }}<|im_end|>
{% endfor %}
{% if add_generation_prompt %}
<|im_start|>assistant
{% endif %}

Untuk contoh lengkapnya, lihat template GPT-OSS obrolan di Hugging Face.

JSON Format (chat_template.json)

Contoh sederhana dari template JSON-based obrolan dengan dukungan visi:

{
    "chat_template": "{% for message in messages %}{% if loop.first and message['role'] != 'system' %}<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n{% endif %}<|im_start|>{{ message['role'] }}\n{% if message['content'] is string %}{{ message['content'] }}<|im_end|>\n{% else %}{% for content in message['content'] %}{% if content['type'] == 'image' %}<|vision_start|><|image_pad|><|vision_end|>{% elif 'text' in content %}{{ content['text'] }}{% endif %}{% endfor %}<|im_end|>\n{% endif %}{% endfor %}{% if add_generation_prompt %}<|im_start|>assistant\n{% endif %}"
}

Untuk contoh lengkap dengan dukungan multimodal, lihat template Qwen2-VL obrolan di Hugging Face.

Memanggil Model dengan Template Obrolan Kustom

Setelah Anda mengimpor model dengan template obrolan khusus, Anda memiliki dua opsi untuk memanggil model dengan input percakapan yang diformat dengan benar:

Menggunakan OpenAI ChatCompletion API dengan Pesan

Jika Anda memberikan input dalam format skema pesan, Anda harus menggunakan OpenAI ChatCompletion API. Saat Anda menggunakan format API ini dengan model yang memiliki template obrolan yang diunggah (chat_template.jinjaatauchat_template.json), Amazon Bedrock akan secara otomatis mengonversi pesan masukan Anda ke format yang benar menggunakan template obrolan.

Ini adalah pendekatan yang disarankan karena menyediakan integrasi paling mulus dan memungkinkan Amazon Bedrock menangani aplikasi template obrolan secara otomatis.

Contoh: Menggunakan OpenAI ChatCompletion API dengan template obrolan khusus

import json
import boto3

# Initialize Bedrock Runtime client
client = boto3.client('bedrock-runtime', region_name='us-east-1')

# Define the model ARN for your imported model with custom chat template
model_id = 'arn:aws:bedrock:us-east-1:123456789012:imported-model/your-model-id'

# Prepare the request payload using messages format
payload = {
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "Hello, how are you?"
        }
    ],
    "max_tokens": 150,
    "temperature": 0.7
}

# Invoke the model
response = client.invoke_model(
    modelId=model_id,
    body=json.dumps(payload),
    accept='application/json',
    contentType='application/json'
)

# Parse and display the response
response_body = json.loads(response['body'].read())
print(json.dumps(response_body, indent=2))

Dalam contoh ini, Amazon Bedrock akan secara otomatis menerapkan template obrolan kustom Anda ke array pesan, mengubahnya menjadi format yang sesuai untuk model Anda.

Pendekatan Tokenisasi Manual

Atau, jika Anda lebih suka memiliki kontrol penuh atas aplikasi template obrolan dan proses tokenisasi, Anda dapat menerapkan template obrolan secara manual ke percakapan Anda dan kemudian menggunakan API Penyel esaian (tidak ChatCompletion) dengan teks yang telah diformat sebelumnya.

Pendekatan ini berguna ketika Anda perlu menyesuaikan logika aplikasi template atau saat bekerja dengan persyaratan tokenisasi khusus.

Langkah 1: Terapkan Template Obrolan Secara Lokal

Gunakan cuplikan kode berikut untuk memuat template obrolan kustom Anda dan menerapkannya ke percakapan secara lokal:

from transformers import AutoTokenizer

# Configuration paths - update these with your actual paths
TOKENIZER_PATH = ""  # Path to tokenizer directory

# Load tokenizer with updated chat template
tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH)

# Test chat template with sample conversation
chat_history = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello, how are you?"},
]

# Apply chat template and display formatted output to make sure chat template works as expected
formatted_chat = tokenizer.apply_chat_template(chat_history, tokenize=False)
print(formatted_chat)

Kode ini menunjukkan cara:

Langkah 2: Panggil dengan API Penyelesaian

Setelah menerapkan template obrolan secara lokal, gunakan teks yang diformat dengan API Penyelesaian:

import json
import boto3

# Initialize Bedrock Runtime client
client = boto3.client('bedrock-runtime', region_name='us-east-1')

# Define the model ARN for your imported model
model_id = 'arn:aws:bedrock:us-east-1:123456789012:imported-model/your-model-id'

# Use the formatted_chat output from Step 1 as the prompt
payload = {
    "prompt": formatted_chat,
    "max_tokens": 150,
    "temperature": 0.7
}

# Invoke the model using Completion format (not ChatCompletion)
response = client.invoke_model(
    modelId=model_id,
    body=json.dumps(payload),
    accept='application/json',
    contentType='application/json'
)

# Parse and display the response
response_body = json.loads(response['body'].read())
print(json.dumps(response_body, indent=2))

Praktik Terbaik