本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

處理自訂聊天範本和權杖化工具

自訂聊天範本和權杖化工具是正確格式化對話輸入和管理匯入模型中權杖產生的重要元件。自訂模型匯入支援使用自訂聊天範本匯入模型，這些範本定義多迴轉對話的結構和字符化方式。

使用自訂聊天範本匯入模型

使用自訂聊天範本匯入模型時，請務必遵循主要自訂模型匯入文件中概述的最佳實務，包括以安全張量格式引入模型權重，並提供所有必要的組態檔案。

聊天範本格式需求

如果您的模型使用自訂聊天範本，且您想要將該範本與 Amazon Bedrock 搭配使用，您必須以下列其中一種格式包含聊天範本檔案：

自訂模型匯入會自動處理這些檔案，並在匯入過程中將其包含在正確的目錄中。

聊天範本優先順序

如果您提供多個聊天範本來源，Amazon Bedrock 會套用下列優先順序規則：

聊天範本格式範例

以下是兩種支援的聊天範本格式範例：

Jinja Format (chat_template.jinja)

Jinja2-based聊天範本的簡化範例：

{% for message in messages %}
{% if loop.first and message['role'] != 'system' %}
<|im_start|>system
You are a helpful assistant.<|im_end|>
{% endif %}
<|im_start|>{{ message['role'] }}
{{ message['content'] }}<|im_end|>
{% endfor %}
{% if add_generation_prompt %}
<|im_start|>assistant
{% endif %}

如需完整範例，請參閱 Hugging Face 上的GPT-OSS聊天範本。

JSON Format (chat_template.json)

具有願景支援的 JSON 型聊天範本的簡化範例：

{
    "chat_template": "{% for message in messages %}{% if loop.first and message['role'] != 'system' %}<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n{% endif %}<|im_start|>{{ message['role'] }}\n{% if message['content'] is string %}{{ message['content'] }}<|im_end|>\n{% else %}{% for content in message['content'] %}{% if content['type'] == 'image' %}<|vision_start|><|image_pad|><|vision_end|>{% elif 'text' in content %}{{ content['text'] }}{% endif %}{% endfor %}<|im_end|>\n{% endif %}{% endfor %}{% if add_generation_prompt %}<|im_start|>assistant\n{% endif %}"
}

如需多模式支援的完整範例，請參閱 Hugging Face 上的Qwen2-VL聊天範本。

使用自訂聊天範本調用模型

使用自訂聊天範本匯入模型後，您有兩個選項可以使用正確格式的對話輸入叫用模型：

搭配訊息使用 OpenAI ChatCompletion API

如果您以訊息結構描述格式提供輸入，您應該使用 OpenAI ChatCompletion API。當您將此 API 格式用於具有上傳聊天範本 (chat_template.jinja 或 chat_template.json) 的模型時，Amazon Bedrock 將使用聊天範本自動將您的輸入訊息轉換為正確的格式。

這是建議的方法，因為它提供最無縫的整合，並允許 Amazon Bedrock 自動處理聊天範本應用程式。

範例：搭配自訂聊天範本使用 OpenAI ChatCompletion API

import json
import boto3

# Initialize Bedrock Runtime client
client = boto3.client('bedrock-runtime', region_name='us-east-1')

# Define the model ARN for your imported model with custom chat template
model_id = 'arn:aws:bedrock:us-east-1:123456789012:imported-model/your-model-id'

# Prepare the request payload using messages format
payload = {
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "Hello, how are you?"
        }
    ],
    "max_tokens": 150,
    "temperature": 0.7
}

# Invoke the model
response = client.invoke_model(
    modelId=model_id,
    body=json.dumps(payload),
    accept='application/json',
    contentType='application/json'
)

# Parse and display the response
response_body = json.loads(response['body'].read())
print(json.dumps(response_body, indent=2))

在此範例中，Amazon Bedrock 會自動將自訂聊天範本套用至訊息陣列，並將其轉換為適合您模型的格式。

手動權杖化方法

或者，如果您偏好完全控制聊天範本應用程式和字符化程序，您可以手動將聊天範本套用至您的對話，然後使用完成 API （而非 ChatCompletion) 搭配預先格式化的文字。

當您需要自訂範本應用程式邏輯或處理特殊字符化需求時，此方法非常有用。

步驟 1：在本機套用聊天範本

使用下列程式碼片段載入您的自訂聊天範本，並將其套用至本機的對話：

from transformers import AutoTokenizer

# Configuration paths - update these with your actual paths
TOKENIZER_PATH = ""  # Path to tokenizer directory

# Load tokenizer with updated chat template
tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH)

# Test chat template with sample conversation
chat_history = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello, how are you?"},
]

# Apply chat template and display formatted output to make sure chat template works as expected
formatted_chat = tokenizer.apply_chat_template(chat_history, tokenize=False)
print(formatted_chat)

此程式碼示範如何：

步驟 2：使用完成 API 叫用

在本機套用聊天範本之後，請將格式化的文字與完成 API 搭配使用：

import json
import boto3

# Initialize Bedrock Runtime client
client = boto3.client('bedrock-runtime', region_name='us-east-1')

# Define the model ARN for your imported model
model_id = 'arn:aws:bedrock:us-east-1:123456789012:imported-model/your-model-id'

# Use the formatted_chat output from Step 1 as the prompt
payload = {
    "prompt": formatted_chat,
    "max_tokens": 150,
    "temperature": 0.7
}

# Invoke the model using Completion format (not ChatCompletion)
response = client.invoke_model(
    modelId=model_id,
    body=json.dumps(payload),
    accept='application/json',
    contentType='application/json'
)

# Parse and display the response
response_body = json.loads(response['body'].read())
print(json.dumps(response_body, indent=2))

最佳實務