Modèles Meta Llama

Cette section décrit les paramètres de demande et les champs de réponse pour les modèles Meta Llama. Utilisez ces informations pour effectuer des appels d’inférence aux modèles Meta Llama à l’aide des opérations InvokeModel et InvokeModelWithResponseStream (streaming). Cette section inclut également des exemples de code Python qui montrent comment appeler les modèles Meta Llama. Pour utiliser un modèle dans une opération d’inférence, vous avez besoin de l’ID du modèle. Pour obtenir l’ID du modèle, consultez Modèles de fondation pris en charge dans Amazon Bedrock. Certains modèles fonctionnent également avec l’API Converse. Pour vérifier si l’API Converse prend en charge un modèle Meta Llama spécifique, consultez Modèles et fonctionnalités des modèles pris en charge. Pour plus d’exemples de code, consultez Exemples de code pour Amazon Bedrock utilisant AWS SDKs.

Les modèles de fondation d’Amazon Bedrock prennent en charge les modalités d’entrée et de sortie, qui varient d’un modèle à l’autre. Pour vérifier les modalités prises en charge par les modèles Meta Llama, consultez Modèles de fondation pris en charge dans Amazon Bedrock. Pour vérifier quelles fonctionnalités Amazon Bedrock sont prises en charge par les modèles Meta Llama, consultez Modèles de fondation pris en charge dans Amazon Bedrock. Pour vérifier dans quelles régions AWS les modèles Meta Llama sont disponibles, consultez Modèles de fondation pris en charge dans Amazon Bedrock.

Lorsque vous effectuez des appels d’inférence avec les modèles Meta Llama, vous incluez une invite pour le modèle. Pour plus d’informations générales sur la création d’invites pour les modèles pris en charge par Amazon Bedrock, consultez Concepts d’ingénierie de requête. Pour obtenir des informations sur les invites spécifiques à Meta Llama, consultez le guide d’ingénierie de requête MetaLlama.

Cette section fournit des informations sur l’utilisation des modèles suivants de Meta.

Demande et réponse

Le corps de la demande est transmis dans le champ body d’une demande adressée à InvokeModel ou InvokeModelWithResponseStream.

Exemple de code

Cet exemple montre comment appeler le modèle Llama 3 Instruct.

# Use the native inference API to send a text message to Meta Llama 3.

import boto3
import json

from botocore.exceptions import ClientError

# Create a Bedrock Runtime client in the Région AWS of your choice.
client = boto3.client("bedrock-runtime", region_name="us-west-2")

# Set the model ID, e.g., Llama 3 70b Instruct.
model_id = "meta.llama3-70b-instruct-v1:0"

# Define the prompt for the model.
prompt = "Describe the purpose of a 'hello world' program in one line."

# Embed the prompt in Llama 3's instruction format.
formatted_prompt = f"""
<|begin_of_text|><|start_header_id|>user<|end_header_id|>
{prompt}
<|eot_id|>
<|start_header_id|>assistant<|end_header_id|>
"""

# Format the request payload using the model's native structure.
native_request = {
    "prompt": formatted_prompt,
    "max_gen_len": 512,
    "temperature": 0.5,
}

# Convert the native request to JSON.
request = json.dumps(native_request)

try:
    # Invoke the model with the request.
    response = client.invoke_model(modelId=model_id, body=request)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}")
    exit(1)

# Decode the response body.
model_response = json.loads(response["body"].read())

# Extract and print the response text.
response_text = model_response["generation"]
print(response_text)

Cet exemple montre comment contrôler la durée de la génération à l’aide des modèles Llama 3 Instruct. Pour obtenir des réponses ou des résumés détaillés, ajustez `max_gen_len` et incluez des instructions spécifiques dans votre invite.