기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

사용자 지정 채팅 템플릿 및 토큰화기 처리

사용자 지정 채팅 템플릿과 토큰화기는 대화 입력을 올바르게 포맷하고 가져온 모델에서 토큰 생성을 관리하기 위한 필수 구성 요소입니다. 사용자 지정 모델 가져오기는 멀티턴 대화가 구조화되고 토큰화되는 방식을 정의하는 사용자 지정 채팅 템플릿으로 모델 가져오기를 지원합니다.

사용자 지정 채팅 템플릿을 사용하여 모델 가져오기

사용자 지정 채팅 템플릿으로 모델을 가져올 때는 모델 가중치를 안전한 텐서 형식으로 가져오고 필요한 모든 구성 파일을 제공하는 등 기본 사용자 지정 모델 가져오기 설명서에 설명된 모범 사례를 따라야 합니다.

채팅 템플릿 형식 요구 사항

모델이 사용자 지정 채팅 템플릿을 사용하고 Amazon Bedrock에서 해당 템플릿을 사용하려면 채팅 템플릿 파일을 다음 형식 중 하나로 포함해야 합니다.

사용자 지정 모델 가져오기는 이러한 파일을 자동으로 처리하고 가져오기 프로세스 중에 올바른 디렉터리에 포함합니다.

채팅 템플릿 우선 순위

여러 채팅 템플릿 소스를 제공하는 경우 Amazon Bedrock은 다음 우선 순위 규칙을 적용합니다.

채팅 템플릿 형식 예제

다음은 지원되는 두 가지 채팅 템플릿 형식의 예입니다.

Jinja Format (chat_template.jinja)

Jinja2-based 채팅 템플릿의 간단한 예:

{% for message in messages %}
{% if loop.first and message['role'] != 'system' %}
<|im_start|>system
You are a helpful assistant.<|im_end|>
{% endif %}
<|im_start|>{{ message['role'] }}
{{ message['content'] }}<|im_end|>
{% endfor %}
{% if add_generation_prompt %}
<|im_start|>assistant
{% endif %}

전체 예제는 Hugging Face의 GPT-OSS 채팅 템플릿을 참조하세요.

JSON Format (chat_template.json)

비전 지원이 포함된 JSON 기반 채팅 템플릿의 간단한 예:

{
    "chat_template": "{% for message in messages %}{% if loop.first and message['role'] != 'system' %}<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n{% endif %}<|im_start|>{{ message['role'] }}\n{% if message['content'] is string %}{{ message['content'] }}<|im_end|>\n{% else %}{% for content in message['content'] %}{% if content['type'] == 'image' %}<|vision_start|><|image_pad|><|vision_end|>{% elif 'text' in content %}{{ content['text'] }}{% endif %}{% endfor %}<|im_end|>\n{% endif %}{% endfor %}{% if add_generation_prompt %}<|im_start|>assistant\n{% endif %}"
}

멀티모달 지원이 포함된 전체 예제는 Hugging Face의 Qwen2-VL 채팅 템플릿을 참조하세요.

사용자 지정 채팅 템플릿을 사용하여 모델 호출

사용자 지정 채팅 템플릿으로 모델을 가져온 후에는 적절한 형식의 대화형 입력으로 모델을 호출하는 두 가지 옵션이 있습니다.

메시지와 함께 OpenAI ChatCompletion API 사용

메시지 스키마 형식으로 입력을 제공하는 경우 OpenAI ChatCompletion API를 사용해야 합니다. 업로드된 채팅 템플릿(chat_template.jinja 또는 chat_template.json)이 있는 모델에서이 API 형식을 사용하는 경우 Amazon Bedrock은 채팅 템플릿을 사용하여 입력 메시지를 올바른 형식으로 자동 변환합니다.

이는 가장 원활한 통합을 제공하고 Amazon Bedrock이 채팅 템플릿 애플리케이션을 자동으로 처리할 수 있으므로 권장되는 접근 방식입니다.

예: 사용자 지정 채팅 템플릿과 함께 OpenAI ChatCompletion API 사용 ChatCompletion

import json
import boto3

# Initialize Bedrock Runtime client
client = boto3.client('bedrock-runtime', region_name='us-east-1')

# Define the model ARN for your imported model with custom chat template
model_id = 'arn:aws:bedrock:us-east-1:123456789012:imported-model/your-model-id'

# Prepare the request payload using messages format
payload = {
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "Hello, how are you?"
        }
    ],
    "max_tokens": 150,
    "temperature": 0.7
}

# Invoke the model
response = client.invoke_model(
    modelId=model_id,
    body=json.dumps(payload),
    accept='application/json',
    contentType='application/json'
)

# Parse and display the response
response_body = json.loads(response['body'].read())
print(json.dumps(response_body, indent=2))

이 예제에서 Amazon Bedrock은 메시지 배열에 사용자 지정 채팅 템플릿을 자동으로 적용하여 모델에 적합한 형식으로 변환합니다.

수동 토큰화 접근 방식

또는 채팅 템플릿 애플리케이션 및 토큰화 프로세스를 완전히 제어하려는 경우 채팅 템플릿을 대화에 수동으로 적용한 다음 사전 형식의 텍스트와 함께 완료 API(ChatCompletion 아님)를 사용할 수 있습니다.

이 접근 방식은 템플릿 애플리케이션 로직을 사용자 지정해야 하거나 특수 토큰화 요구 사항으로 작업할 때 유용합니다.

1단계: 채팅 템플릿을 로컬로 적용

다음 코드 조각을 사용하여 사용자 지정 채팅 템플릿을 로드하고 로컬에서 대화에 적용합니다.

from transformers import AutoTokenizer

# Configuration paths - update these with your actual paths
TOKENIZER_PATH = ""  # Path to tokenizer directory

# Load tokenizer with updated chat template
tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH)

# Test chat template with sample conversation
chat_history = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello, how are you?"},
]

# Apply chat template and display formatted output to make sure chat template works as expected
formatted_chat = tokenizer.apply_chat_template(chat_history, tokenize=False)
print(formatted_chat)

이 코드는 다음을 수행하는 방법을 보여줍니다.

2단계: 완료 API로 간접 호출

채팅 템플릿을 로컬에 적용한 후 완료 API와 함께 형식이 지정된 텍스트를 사용합니다.

import json
import boto3

# Initialize Bedrock Runtime client
client = boto3.client('bedrock-runtime', region_name='us-east-1')

# Define the model ARN for your imported model
model_id = 'arn:aws:bedrock:us-east-1:123456789012:imported-model/your-model-id'

# Use the formatted_chat output from Step 1 as the prompt
payload = {
    "prompt": formatted_chat,
    "max_tokens": 150,
    "temperature": 0.7
}

# Invoke the model using Completion format (not ChatCompletion)
response = client.invoke_model(
    modelId=model_id,
    body=json.dumps(payload),
    accept='application/json',
    contentType='application/json'
)

# Parse and display the response
response_body = json.loads(response['body'].read())
print(json.dumps(response_body, indent=2))

모범 사례