MetaLlamamodelli - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

MetaLlamamodelli

Questa sezione descrive i parametri di richiesta e i campi di risposta per i Meta Llama modelli. Utilizzate queste informazioni per effettuare chiamate di inferenza ai Meta Llama modelli con le operazioni InvokeModeland InvokeModelWithResponseStream(streaming). Questa sezione include anche esempi di Python codice che mostrano come chiamare Meta Llama i modelli. Per utilizzare un modello in un'operazione di inferenza, è necessario l'ID del modello. Per ottenere l'ID del modello, consultaModelli di fondazione supportati in Amazon Bedrock. Alcuni modelli funzionano anche con l'ConverseAPI. Per verificare se l'ConverseAPI supporta un Meta Llama modello specifico, consultaModelli e caratteristiche del modello supportati. Per altri esempi di codice, consultaEsempi di codice per l'utilizzo di Amazon Bedrock AWS SDKs.

I modelli Foundation di Amazon Bedrock supportano modalità di input e output, che variano da modello a modello. Per verificare le modalità supportate dai Meta Llama modelli, consulta. Modelli di fondazione supportati in Amazon Bedrock Per verificare quali funzionalità di Amazon Bedrock sono supportate dai Meta Llama modelli, consultaModelli di fondazione supportati in Amazon Bedrock. Per verificare in quali AWS regioni i Meta Llama modelli sono disponibili, consultaModelli di fondazione supportati in Amazon Bedrock.

Quando si effettuano chiamate di inferenza con Meta Llama i modelli, viene inclusa una richiesta per il modello. Per informazioni generali sulla creazione di prompt per i modelli supportati da Amazon Bedrock, consulta. Concetti ingegneristici rapidi Per informazioni MetaLlama specifiche sui prompt, consulta la guida tecnica dei MetaLlama prompt.

Nota

Llama 3.2 Instructe i Llama 3.3 Instruct modelli utilizzano il geofencing. Ciò significa che questi modelli non possono essere utilizzati al di fuori delle AWS Regioni disponibili per questi modelli elencate nella tabella Regioni.

Questa sezione fornisce informazioni per l'utilizzo dei seguenti modelli diMeta.

  • Llama 3 Instruct

  • Llama 3.1 Instruct

  • Llama 3.2 Instruct

  • Llama 3.3 Instruct

  • Llama 4 Instruct

Richiesta e risposta

Il corpo della richiesta viene passato nel body campo di una richiesta a InvokeModelo InvokeModelWithResponseStream.

Nota

Non è possibile utilizzare le operazioni InvokeModelWithResponseStreamor ConverseStream(streaming) conLlama 4 Instruct.

Request

I Llama 4 Instruct modelli Llama 3 InstructLlama 3.1 Instruct,Llama 3.2 Instruct, e hanno i seguenti parametri di inferenza:

{ "prompt": string, "temperature": float, "top_p": float, "max_gen_len": int }

NOTA: i modelli Llama 3.2 e successivi si aggiungono images alla struttura della richiesta, che è un elenco di stringhe. Esempio: images: Optional[List[str]]

I seguenti sono parametri obbligatori:

  • prompt — (Obbligatorio) Il prompt che desiderate passare al modello. Per risultati ottimali, formatta la conversazione con il seguente modello.

    <|begin_of_text|><|start_header_id|>user<|end_header_id|> What can you help me with?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

    Modello di esempio con prompt di sistema

    Di seguito è riportato un prompt di esempio che include un prompt di sistema.

    <|begin_of_text|><|start_header_id|>system<|end_header_id|> You are a helpful AI assistant for travel tips and recommendations<|eot_id|><|start_header_id|>user<|end_header_id|> What can you help me with?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

    Esempio di conversazione a turni

    Di seguito è riportato un esempio di richiesta di conversazione a turni.

    <|begin_of_text|><|start_header_id|>user<|end_header_id|> What is the capital of France?<|eot_id|><|start_header_id|>assistant<|end_header_id|> The capital of France is Paris!<|eot_id|><|start_header_id|>user<|end_header_id|> What is the weather like in Paris?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

    Modello di esempio con prompt di sistema

    Per ulteriori informazioni, consulta MetaLlama 3.

I seguenti sono parametri opzionali:

  • temperatura: utilizza un valore più basso per ridurre la casualità nella risposta.

    Predefinita Minimo Massimo

    0,5

    0

    1

  • top_p — Usa un valore più basso per ignorare le opzioni meno probabili. Imposta 0 o 1,0 per disabilitare questa funzionalità.

    Predefinita Minimo Massimo

    0.9

    0

    1

  • max_gen_len — Specificate il numero massimo di token da utilizzare nella risposta generata. Il modello tronca la risposta se il testo generato supera max_gen_len.

    Predefinita Minimo Massimo

    512

    1

    2048

Response

I Llama 3 Instruct modelli restituiscono i seguenti campi per una chiamata di inferenza per il completamento del testo.

{ "generation": "\n\n<response>", "prompt_token_count": int, "generation_token_count": int, "stop_reason" : string }

Di seguito sono fornite ulteriori informazioni su ciascun campo.

  • generation — Il testo generato.

  • prompt_token_count — Il numero di token nel prompt.

  • generation_token_count — Il numero di token nel testo generato.

  • stop_reason — Il motivo per cui la risposta ha smesso di generare testo. I valori possibili sono:

    • stop: il modello ha terminato la generazione del testo per il prompt di input.

    • length: la lunghezza dei token per il testo generato supera max_gen_len nella chiamata a InvokeModel (InvokeModelWithResponseStream, nel caso di streaming dell'output). La risposta viene troncata in base al valore max_gen_len specificato per i token. Valuta la possibilità di aumentare il valore di max_gen_len e riprovare.

Codice di esempio

Questo esempio mostra come chiamare il Llama 3 Instructmodello.

# Use the native inference API to send a text message to Meta Llama 3. import boto3 import json from botocore.exceptions import ClientError # Create a Bedrock Runtime client in the Regione AWS of your choice. client = boto3.client("bedrock-runtime", region_name="us-west-2") # Set the model ID, e.g., Llama 3 70b Instruct. model_id = "meta.llama3-70b-instruct-v1:0" # Define the prompt for the model. prompt = "Describe the purpose of a 'hello world' program in one line." # Embed the prompt in Llama 3's instruction format. formatted_prompt = f""" <|begin_of_text|><|start_header_id|>user<|end_header_id|> {prompt} <|eot_id|> <|start_header_id|>assistant<|end_header_id|> """ # Format the request payload using the model's native structure. native_request = { "prompt": formatted_prompt, "max_gen_len": 512, "temperature": 0.5, } # Convert the native request to JSON. request = json.dumps(native_request) try: # Invoke the model with the request. response = client.invoke_model(modelId=model_id, body=request) except (ClientError, Exception) as e: print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}") exit(1) # Decode the response body. model_response = json.loads(response["body"].read()) # Extract and print the response text. response_text = model_response["generation"] print(response_text)

Questo esempio mostra come controllare la lunghezza della generazione utilizzando Llama 3 Instruct i modelli. Per risposte o riassunti dettagliati, modifica `max_gen_len` e includi istruzioni specifiche nel prompt.