Modelos de Meta Llama

En esta sección se describen los parámetros de solicitud y los campos de respuesta de los modelos de Meta Llama. Utilice esta información para realizar llamadas de inferencia a Meta Llama los modelos con las operaciones InvokeModely InvokeModelWithResponseStream(transmisión). En esta sección también se incluyen ejemplos de código de Python que muestran cómo llamar a los modelos de Meta Llama. Para utilizar un modelo en una operación de inferencia, necesitará el ID del modelo. Para obtener el ID del modelo, consulte Modelos fundacionales compatibles en Amazon Bedrock. Algunos modelos también funcionan con la ConverseAPI. Para comprobar si la Converse API es compatible con un Meta Llama modelo específico, consulteModelos y características del modelo compatibles. Para obtener ejemplos de código, consulte Ejemplos de código para Amazon Bedrock mediante AWS SDKs.

Los modelos fundacionales de Amazon Bedrock admiten modalidades de entrada y salida, que varían de un modelo a otro. Para comprobar las modalidades que admiten los modelos de Meta Llama, consulte Modelos fundacionales compatibles en Amazon Bedrock. Para comprobar qué características de Amazon Bedrock son compatibles con los modelos de Meta Llama, consulte Modelos fundacionales compatibles en Amazon Bedrock. Para comprobar en qué AWS regiones están disponibles esos Meta Llama modelos, consulteModelos fundacionales compatibles en Amazon Bedrock.

Cuando realiza llamadas de inferencia con modelos de Meta Llama, usted incluye una petición para el modelo. Para obtener información general sobre cómo crear peticiones para los modelos compatibles con Amazon Bedrock, consulte Conceptos de ingeniería de peticiones. Para obtener información específica sobre las peticiones a Meta Llama, consulte la guía de ingeniería de peticiones de Meta Llama.

En esta sección se proporciona información sobre el uso de los siguientes modelos de Meta.

Solicitud y respuesta

El cuerpo de la solicitud se pasa en el body campo de una solicitud a InvokeModelo InvokeModelWithResponseStream.

Código de ejemplo

En este ejemplo se muestra cómo llamar al Llama 3 Instructmodelo.

# Use the native inference API to send a text message to Meta Llama 3.

import boto3
import json

from botocore.exceptions import ClientError

# Create a Bedrock Runtime client in the Región de AWS of your choice.
client = boto3.client("bedrock-runtime", region_name="us-west-2")

# Set the model ID, e.g., Llama 3 70b Instruct.
model_id = "meta.llama3-70b-instruct-v1:0"

# Define the prompt for the model.
prompt = "Describe the purpose of a 'hello world' program in one line."

# Embed the prompt in Llama 3's instruction format.
formatted_prompt = f"""
<|begin_of_text|><|start_header_id|>user<|end_header_id|>
{prompt}
<|eot_id|>
<|start_header_id|>assistant<|end_header_id|>
"""

# Format the request payload using the model's native structure.
native_request = {
    "prompt": formatted_prompt,
    "max_gen_len": 512,
    "temperature": 0.5,
}

# Convert the native request to JSON.
request = json.dumps(native_request)

try:
    # Invoke the model with the request.
    response = client.invoke_model(modelId=model_id, body=request)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}")
    exit(1)

# Decode the response body.
model_response = json.loads(response["body"].read())

# Extract and print the response text.
response_text = model_response["generation"]
print(response_text)

En este ejemplo se muestra cómo controlar la longitud de generación mediante Llama 3 Instruct modelos. Para obtener respuestas o resúmenes detallados, ajusta `max_gen_len` e incluye instrucciones específicas en el mensaje.