本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

处理自定义聊天模板和分词器

自定义聊天模板和分词器是在导入的模型中正确格式化对话输入和管理代币生成的必不可少的组件。Custom Model Import 支持导入带有自定义聊天模板的模型，这些模板定义了多回合对话的结构和标记化方式。

使用自定义聊天模板导入模型

使用自定义聊天模板导入模型时，请确保遵循自定义模型导入主文档中概述的最佳实践，包括以安全的张量格式引入模型权重以及提供所有必要的配置文件。

聊天模板格式要求

如果您的模特使用自定义聊天模板，并且您想在 Amazon Bedrock 中使用该模板，则必须包含以下格式之一的聊天模板文件：

Custom Model Import 将自动处理这些文件，并在导入过程中将它们包含在正确的目录中。

聊天模板优先级

如果您提供多个聊天模板来源，Amazon Bedrock 将应用以下优先规则：

聊天模板格式示例

以下是两种支持的聊天模板格式的示例：

Jinja Format (chat_template.jinja)

基于 Jinja2 的聊天模板的简化示例：

{% for message in messages %}
{% if loop.first and message['role'] != 'system' %}
<|im_start|>system
You are a helpful assistant.<|im_end|>
{% endif %}
<|im_start|>{{ message['role'] }}
{{ message['content'] }}<|im_end|>
{% endfor %}
{% if add_generation_prompt %}
<|im_start|>assistant
{% endif %}

有关完整的示例，请参阅 Hugging Face 上的GPT-OSS聊天模板。

JSON Format (chat_template.json)

带有视觉支持的基于 JSON 的聊天模板的简化示例：

{
    "chat_template": "{% for message in messages %}{% if loop.first and message['role'] != 'system' %}<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n{% endif %}<|im_start|>{{ message['role'] }}\n{% if message['content'] is string %}{{ message['content'] }}<|im_end|>\n{% else %}{% for content in message['content'] %}{% if content['type'] == 'image' %}<|vision_start|><|image_pad|><|vision_end|>{% elif 'text' in content %}{{ content['text'] }}{% endif %}{% endfor %}<|im_end|>\n{% endif %}{% endfor %}{% if add_generation_prompt %}<|im_start|>assistant\n{% endif %}"
}

有关支持多模式的完整示例，请参阅 Hugging Face 上的Qwen2-VL聊天模板。

使用自定义聊天模板调用模型

导入带有自定义聊天模板的模型后，您可以通过两种方式使用格式正确的对话输入来调用模型：

在消息中使用 OpenAI ChatCompletion API

如果您以消息架构格式提供输入，则应使用 OpenAI API ChatCompletion 。当您将此 API 格式与已上传的聊天模板（chat_template.jinja或chat_template.json）的模型一起使用时，Amazon Bedrock 会使用聊天模板自动将您的输入消息转换为正确的格式。

这是推荐的方法，因为它提供了最无缝的集成，并允许 Amazon Bedrock 自动处理聊天模板应用程序。

示例：将 OpenA ChatCompletion I API 与自定义聊天模板配合使用

import json
import boto3

# Initialize Bedrock Runtime client
client = boto3.client('bedrock-runtime', region_name='us-east-1')

# Define the model ARN for your imported model with custom chat template
model_id = 'arn:aws:bedrock:us-east-1:123456789012:imported-model/your-model-id'

# Prepare the request payload using messages format
payload = {
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "Hello, how are you?"
        }
    ],
    "max_tokens": 150,
    "temperature": 0.7
}

# Invoke the model
response = client.invoke_model(
    modelId=model_id,
    body=json.dumps(payload),
    accept='application/json',
    contentType='application/json'
)

# Parse and display the response
response_body = json.loads(response['body'].read())
print(json.dumps(response_body, indent=2))

在此示例中，Amazon Bedrock 会自动将您的自定义聊天模板应用于消息数组，将其转换为适合您模型的格式。

手动标记化方法

或者，如果您希望完全控制聊天模板应用程序和标记化过程，则可以手动将聊天模板应用于对话，然后使用带有预格式化文本的完成 API（不是 ChatCompletion）。

当您需要自定义模板应用程序逻辑或处理专门的标记化要求时，这种方法非常有用。

第 1 步：在本地应用聊天模板

使用以下代码片段加载您的自定义聊天模板并将其应用于本地对话：

from transformers import AutoTokenizer

# Configuration paths - update these with your actual paths
TOKENIZER_PATH = ""  # Path to tokenizer directory

# Load tokenizer with updated chat template
tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH)

# Test chat template with sample conversation
chat_history = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello, how are you?"},
]

# Apply chat template and display formatted output to make sure chat template works as expected
formatted_chat = tokenizer.apply_chat_template(chat_history, tokenize=False)
print(formatted_chat)

此代码演示了如何：

第 2 步：使用完成 API 进行调用

在本地应用聊天模板后，使用带有 Completion API 的格式化文本：

import json
import boto3

# Initialize Bedrock Runtime client
client = boto3.client('bedrock-runtime', region_name='us-east-1')

# Define the model ARN for your imported model
model_id = 'arn:aws:bedrock:us-east-1:123456789012:imported-model/your-model-id'

# Use the formatted_chat output from Step 1 as the prompt
payload = {
    "prompt": formatted_chat,
    "max_tokens": 150,
    "temperature": 0.7
}

# Invoke the model using Completion format (not ChatCompletion)
response = client.invoke_model(
    modelId=model_id,
    body=json.dumps(payload),
    accept='application/json',
    contentType='application/json'
)

# Parse and display the response
response_body = json.loads(response['body'].read())
print(json.dumps(response_body, indent=2))

最佳实践