Modelli Meta Llama

In questa sezione vengono descritti i parametri di richiesta e i campi di risposta per i modelli Meta Llama. Utilizza queste informazioni per effettuare chiamate di inferenza ai modelli Meta Llama con le operazioni InvokeModel e InvokeModelWithResponseStream (streaming). Questa sezione include anche esempi di codice Python che mostrano come chiamare i modelli Meta Llama. Per utilizzare un modello in un’operazione di inferenza, è necessario l’ID modello per il modello. Per ottenere l’ID modello, consulta Modelli di fondazione supportati in Amazon Bedrock. Alcuni modelli funzionano anche con l’API Converse. Per verificare se l’API Converse supporta un modello Meta Llama specifico, consulta Modelli e funzionalità del modello supportati. Per ulteriori esempi di codice, consulta Esempi di codice per l'utilizzo di Amazon Bedrock AWS SDKs.

I modelli di fondazione in Amazon Bedrock supportano modalità di input e output, che variano da modello a modello. Per verificare le modalità supportate dai modelli Meta Llama, consulta Modelli di fondazione supportati in Amazon Bedrock. Per verificare quali funzionalità di Amazon Bedrock sono supportate dai modelli Meta Llama, consulta Modelli di fondazione supportati in Amazon Bedrock. Per verificare in quali Regioni AWS sono disponibili i modelli Meta Llama, consulta Modelli di fondazione supportati in Amazon Bedrock.

Quando effettui chiamate di inferenza con modelli Meta Llama, includi un prompt per il modello. Per informazioni generali sulla creazione di prompt per i modelli supportati da Amazon Bedrock, consulta Concetti di progettazione dei prompt. Per informazioni sui prompt specifiche di Meta Llama, consulta la Guida alla progettazione dei prompt Meta Llama.

In questa sezione vengono fornite informazioni per l’utilizzo dei seguenti modelli di Meta.

Richiesta e risposta

Il corpo della richiesta viene passato nel campo body di una richiesta a InvokeModel o InvokeModelWithResponseStream.

Codice di esempio

Questo esempio mostra come chiamare il modello Llama 3 Instruct.

# Use the native inference API to send a text message to Meta Llama 3.

import boto3
import json

from botocore.exceptions import ClientError

# Create a Bedrock Runtime client in the Regione AWS of your choice.
client = boto3.client("bedrock-runtime", region_name="us-west-2")

# Set the model ID, e.g., Llama 3 70b Instruct.
model_id = "meta.llama3-70b-instruct-v1:0"

# Define the prompt for the model.
prompt = "Describe the purpose of a 'hello world' program in one line."

# Embed the prompt in Llama 3's instruction format.
formatted_prompt = f"""
<|begin_of_text|><|start_header_id|>user<|end_header_id|>
{prompt}
<|eot_id|>
<|start_header_id|>assistant<|end_header_id|>
"""

# Format the request payload using the model's native structure.
native_request = {
    "prompt": formatted_prompt,
    "max_gen_len": 512,
    "temperature": 0.5,
}

# Convert the native request to JSON.
request = json.dumps(native_request)

try:
    # Invoke the model with the request.
    response = client.invoke_model(modelId=model_id, body=request)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}")
    exit(1)

# Decode the response body.
model_response = json.loads(response["body"].read())

# Extract and print the response text.
response_text = model_response["generation"]
print(response_text)

Questo esempio mostra come controllare la lunghezza della generazione tramite i modelli Llama 3 Instruct. Per risposte o riepiloghi dettagliati, modifica “max_gen_len” e includi istruzioni specifiche nel prompt.