Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Gestion des modèles de chat et des tokeniseurs personnalisés

Les modèles de chat et les tokeniseurs personnalisés sont des composants essentiels pour formater correctement les entrées conversationnelles et gérer la génération de jetons dans vos modèles importés. L'importation de modèles personnalisés permet d'importer des modèles avec des modèles de chat personnalisés qui définissent la manière dont les conversations à plusieurs tours sont structurées et tokenisées.

Importation de modèles avec des modèles de chat personnalisés

Lorsque vous importez un modèle avec des modèles de chat personnalisés, assurez-vous de suivre les meilleures pratiques décrites dans la documentation principale d'importation de modèles personnalisés, notamment en introduisant les poids des modèles au format de tenseurs sécurisés et en fournissant tous les fichiers de configuration nécessaires.

Exigences relatives au format du modèle de chat

Si votre modèle utilise un modèle de chat personnalisé et que vous souhaitez utiliser ce modèle avec Amazon Bedrock, vous devez inclure le fichier du modèle de chat dans l'un des formats suivants :

L'importation de modèles personnalisés traitera automatiquement ces fichiers et les inclura dans les répertoires appropriés pendant le processus d'importation.

Priorité du modèle de chat

Si vous fournissez plusieurs sources de modèles de chat, Amazon Bedrock applique les règles de priorité suivantes :

Exemples de formats de modèles de chat

Voici des exemples des deux formats de modèles de chat pris en charge :

Jinja Format (chat_template.jinja)

Exemple simplifié de modèle de chat basé sur Jinja2 :

{% for message in messages %}
{% if loop.first and message['role'] != 'system' %}
<|im_start|>system
You are a helpful assistant.<|im_end|>
{% endif %}
<|im_start|>{{ message['role'] }}
{{ message['content'] }}<|im_end|>
{% endfor %}
{% if add_generation_prompt %}
<|im_start|>assistant
{% endif %}

Pour un exemple complet, consultez le modèle de GPT-OSS chat sur Hugging Face.

JSON Format (chat_template.json)

Exemple simplifié de modèle de chat basé sur JSON avec prise en charge de la vision :

{
    "chat_template": "{% for message in messages %}{% if loop.first and message['role'] != 'system' %}<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n{% endif %}<|im_start|>{{ message['role'] }}\n{% if message['content'] is string %}{{ message['content'] }}<|im_end|>\n{% else %}{% for content in message['content'] %}{% if content['type'] == 'image' %}<|vision_start|><|image_pad|><|vision_end|>{% elif 'text' in content %}{{ content['text'] }}{% endif %}{% endfor %}<|im_end|>\n{% endif %}{% endfor %}{% if add_generation_prompt %}<|im_start|>assistant\n{% endif %}"
}

Pour un exemple complet de support multimodal, consultez le modèle de Qwen2-VL chat sur Hugging Face.

Invoquer des modèles avec des modèles de chat personnalisés

Une fois que vous avez importé un modèle avec un modèle de chat personnalisé, deux options s'offrent à vous pour appeler le modèle avec des entrées de conversation correctement formatées :

Utilisation de l' ChatCompletion API OpenAI avec des messages

Si vous fournissez des entrées au format du schéma des messages, vous devez utiliser l'API OpenAI ChatCompletion . Lorsque vous utilisez ce format d'API avec un modèle doté d'un modèle de chat téléchargé (chat_template.jinjaouchat_template.json), Amazon Bedrock convertit automatiquement vos messages d'entrée dans le format approprié à l'aide du modèle de chat.

C'est l'approche recommandée car elle fournit l'intégration la plus fluide possible et permet à Amazon Bedrock de gérer automatiquement l'application de modèle de chat.

Exemple : utilisation de l' ChatCompletion API OpenAI avec un modèle de chat personnalisé

import json
import boto3

# Initialize Bedrock Runtime client
client = boto3.client('bedrock-runtime', region_name='us-east-1')

# Define the model ARN for your imported model with custom chat template
model_id = 'arn:aws:bedrock:us-east-1:123456789012:imported-model/your-model-id'

# Prepare the request payload using messages format
payload = {
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "Hello, how are you?"
        }
    ],
    "max_tokens": 150,
    "temperature": 0.7
}

# Invoke the model
response = client.invoke_model(
    modelId=model_id,
    body=json.dumps(payload),
    accept='application/json',
    contentType='application/json'
)

# Parse and display the response
response_body = json.loads(response['body'].read())
print(json.dumps(response_body, indent=2))

Dans cet exemple, Amazon Bedrock appliquera automatiquement votre modèle de chat personnalisé au tableau de messages, le convertissant au format approprié pour votre modèle.

Approche de tokenisation manuelle

Si vous préférez avoir un contrôle total sur l'application du modèle de chat et le processus de tokenisation, vous pouvez également appliquer manuellement le modèle de chat à votre conversation, puis utiliser l'API de complétion (non ChatCompletion) avec le texte préformaté.

Cette approche est utile lorsque vous devez personnaliser la logique de l'application modèle ou lorsque vous travaillez avec des exigences de tokenisation spécialisées.

Étape 1 : Appliquer le modèle de chat localement

Utilisez l'extrait de code suivant pour charger votre modèle de chat personnalisé et l'appliquer à une conversation en local :

from transformers import AutoTokenizer

# Configuration paths - update these with your actual paths
TOKENIZER_PATH = ""  # Path to tokenizer directory

# Load tokenizer with updated chat template
tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH)

# Test chat template with sample conversation
chat_history = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello, how are you?"},
]

# Apply chat template and display formatted output to make sure chat template works as expected
formatted_chat = tokenizer.apply_chat_template(chat_history, tokenize=False)
print(formatted_chat)

Ce code montre comment :

Étape 2 : Invoquer avec l'API de complétion

Après avoir appliqué le modèle de chat localement, utilisez le texte formaté avec l'API Completion :

import json
import boto3

# Initialize Bedrock Runtime client
client = boto3.client('bedrock-runtime', region_name='us-east-1')

# Define the model ARN for your imported model
model_id = 'arn:aws:bedrock:us-east-1:123456789012:imported-model/your-model-id'

# Use the formatted_chat output from Step 1 as the prompt
payload = {
    "prompt": formatted_chat,
    "max_tokens": 150,
    "temperature": 0.7
}

# Invoke the model using Completion format (not ChatCompletion)
response = client.invoke_model(
    modelId=model_id,
    body=json.dumps(payload),
    accept='application/json',
    contentType='application/json'
)

# Parse and display the response
response_body = json.loads(response['body'].read())
print(json.dumps(response_body, indent=2))

Bonnes pratiques