Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Manejo de plantillas de chat y tokenizadores personalizados

Las plantillas de chat y los tokenizadores personalizados son componentes esenciales para formatear correctamente las entradas de conversación y gestionar la generación de tokens en los modelos importados. Custom Model Import permite importar modelos con plantillas de chat personalizadas que definen cómo se estructuran y se tokenizan las conversaciones en varios turnos.

Importación de modelos con plantillas de chat personalizadas

Al importar un modelo con plantillas de chat personalizadas, asegúrese de seguir las mejores prácticas descritas en la documentación principal de importación de modelos personalizados, incluida la introducción de los pesos de los modelos en un formato de tensores seguros y el suministro de todos los archivos de configuración necesarios.

Requisitos de formato de la plantilla de chat

Si su modelo usa una plantilla de chat personalizada y quiere usarla con Amazon Bedrock, debe incluir el archivo de plantilla de chat en uno de los siguientes formatos:

Custom Model Import procesará automáticamente estos archivos y los incluirá en los directorios correctos durante el proceso de importación.

Precedencia de la plantilla de chat

Si proporciona varias fuentes de plantillas de chat, Amazon Bedrock aplica las siguientes reglas de prioridad:

Ejemplos de formatos de plantillas de chat

Estos son algunos ejemplos de los dos formatos de plantilla de chat compatibles:

Jinja Format (chat_template.jinja)

Un ejemplo simplificado de una plantilla de chat basada en Jinja2:

{% for message in messages %}
{% if loop.first and message['role'] != 'system' %}
<|im_start|>system
You are a helpful assistant.<|im_end|>
{% endif %}
<|im_start|>{{ message['role'] }}
{{ message['content'] }}<|im_end|>
{% endfor %}
{% if add_generation_prompt %}
<|im_start|>assistant
{% endif %}

Para ver un ejemplo completo, consulta la plantilla de GPT-OSS chat en Hugging Face.

JSON Format (chat_template.json)

Un ejemplo simplificado de una plantilla de chat basada en JSON con soporte visual:

{
    "chat_template": "{% for message in messages %}{% if loop.first and message['role'] != 'system' %}<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n{% endif %}<|im_start|>{{ message['role'] }}\n{% if message['content'] is string %}{{ message['content'] }}<|im_end|>\n{% else %}{% for content in message['content'] %}{% if content['type'] == 'image' %}<|vision_start|><|image_pad|><|vision_end|>{% elif 'text' in content %}{{ content['text'] }}{% endif %}{% endfor %}<|im_end|>\n{% endif %}{% endfor %}{% if add_generation_prompt %}<|im_start|>assistant\n{% endif %}"
}

Para ver un ejemplo completo con soporte multimodal, consulta la plantilla de Qwen2-VL chat en Hugging Face.

Invocar modelos con plantillas de chat personalizadas

Una vez que hayas importado un modelo con una plantilla de chat personalizada, tienes dos opciones para invocar el modelo con entradas de conversación con el formato adecuado:

Uso de la ChatCompletion API OpenAI con mensajes

Si proporciona entradas en el formato de esquema de mensajes, debe usar la API OpenAI ChatCompletion . Cuando utilice este formato de API con un modelo que tenga una plantilla de chat cargada (chat_template.jinjaochat_template.json), Amazon Bedrock convertirá automáticamente los mensajes de entrada al formato correcto mediante la plantilla de chat.

Este es el enfoque recomendado, ya que proporciona la integración más fluida y permite a Amazon Bedrock gestionar la aplicación de plantillas de chat automáticamente.

Ejemplo: uso de la ChatCompletion API OpenAI con una plantilla de chat personalizada

import json
import boto3

# Initialize Bedrock Runtime client
client = boto3.client('bedrock-runtime', region_name='us-east-1')

# Define the model ARN for your imported model with custom chat template
model_id = 'arn:aws:bedrock:us-east-1:123456789012:imported-model/your-model-id'

# Prepare the request payload using messages format
payload = {
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "Hello, how are you?"
        }
    ],
    "max_tokens": 150,
    "temperature": 0.7
}

# Invoke the model
response = client.invoke_model(
    modelId=model_id,
    body=json.dumps(payload),
    accept='application/json',
    contentType='application/json'
)

# Parse and display the response
response_body = json.loads(response['body'].read())
print(json.dumps(response_body, indent=2))

En este ejemplo, Amazon Bedrock aplicará automáticamente la plantilla de chat personalizada a la matriz de mensajes y la convertirá en el formato adecuado para su modelo.

Enfoque de tokenización manual

Como alternativa, si prefieres tener el control total sobre la aplicación de la plantilla de chat y el proceso de tokenización, puedes aplicar manualmente la plantilla de chat a tu conversación y luego usar la API de finalización (no ChatCompletion) con el texto preformateado.

Este enfoque resulta útil cuando se necesita personalizar la lógica de la aplicación de la plantilla o cuando se trabaja con requisitos de tokenización especializados.

Paso 1: Aplicar la plantilla de chat localmente

Usa el siguiente fragmento de código para cargar tu plantilla de chat personalizada y aplicarla a una conversación local:

from transformers import AutoTokenizer

# Configuration paths - update these with your actual paths
TOKENIZER_PATH = ""  # Path to tokenizer directory

# Load tokenizer with updated chat template
tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH)

# Test chat template with sample conversation
chat_history = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello, how are you?"},
]

# Apply chat template and display formatted output to make sure chat template works as expected
formatted_chat = tokenizer.apply_chat_template(chat_history, tokenize=False)
print(formatted_chat)

Este código muestra cómo:

Paso 2: Invoca con la API de finalización

Después de aplicar la plantilla de chat de forma local, usa el texto formateado con la API de finalización:

import json
import boto3

# Initialize Bedrock Runtime client
client = boto3.client('bedrock-runtime', region_name='us-east-1')

# Define the model ARN for your imported model
model_id = 'arn:aws:bedrock:us-east-1:123456789012:imported-model/your-model-id'

# Use the formatted_chat output from Step 1 as the prompt
payload = {
    "prompt": formatted_chat,
    "max_tokens": 150,
    "temperature": 0.7
}

# Invoke the model using Completion format (not ChatCompletion)
response = client.invoke_model(
    modelId=model_id,
    body=json.dumps(payload),
    accept='application/json',
    contentType='application/json'
)

# Parse and display the response
response_body = json.loads(response['body'].read())
print(json.dumps(response_body, indent=2))

Prácticas recomendadas