Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
MetaLlamamodelli
Questa sezione descrive i parametri di richiesta e i campi di risposta per i Meta Llama modelli. Utilizzate queste informazioni per effettuare chiamate di inferenza ai Meta Llama modelli con le operazioni InvokeModeland InvokeModelWithResponseStream(streaming). Questa sezione include anche esempi di Python codice che mostrano come chiamare Meta Llama i modelli. Per utilizzare un modello in un'operazione di inferenza, è necessario l'ID del modello. Per ottenere l'ID del modello, consultaModelli di fondazione supportati in Amazon Bedrock. Alcuni modelli funzionano anche con l'ConverseAPI. Per verificare se l'ConverseAPI supporta un Meta Llama modello specifico, consultaModelli e caratteristiche del modello supportati. Per altri esempi di codice, consultaEsempi di codice per l'utilizzo di Amazon Bedrock AWS SDKs.
I modelli Foundation di Amazon Bedrock supportano modalità di input e output, che variano da modello a modello. Per verificare le modalità supportate dai Meta Llama modelli, consulta. Modelli di fondazione supportati in Amazon Bedrock Per verificare quali funzionalità di Amazon Bedrock sono supportate dai Meta Llama modelli, consultaModelli di fondazione supportati in Amazon Bedrock. Per verificare in quali AWS regioni i Meta Llama modelli sono disponibili, consultaModelli di fondazione supportati in Amazon Bedrock.
Quando si effettuano chiamate di inferenza con Meta Llama i modelli, viene inclusa una richiesta per il modello. Per informazioni generali sulla creazione di prompt per i modelli supportati da Amazon Bedrock, consulta. Concetti ingegneristici rapidi Per informazioni MetaLlama specifiche sui prompt, consulta la guida tecnica dei MetaLlama prompt.
Nota
Llama 3.2 Instructe i Llama 3.3 Instruct modelli utilizzano il geofencing. Ciò significa che questi modelli non possono essere utilizzati al di fuori delle AWS Regioni disponibili per questi modelli elencate nella tabella Regioni.
Questa sezione fornisce informazioni per l'utilizzo dei seguenti modelli diMeta.
Llama 3 Instruct
Llama 3.1 Instruct
Llama 3.2 Instruct
Llama 3.3 Instruct
Llama 4 Instruct
Richiesta e risposta
Il corpo della richiesta viene passato nel body
campo di una richiesta a InvokeModelo InvokeModelWithResponseStream.
Nota
Non è possibile utilizzare le operazioni InvokeModelWithResponseStreamor ConverseStream(streaming) conLlama 4 Instruct.
Codice di esempio
Questo esempio mostra come chiamare il Llama 3 Instructmodello.
# Use the native inference API to send a text message to Meta Llama 3. import boto3 import json from botocore.exceptions import ClientError # Create a Bedrock Runtime client in the Regione AWS of your choice. client = boto3.client("bedrock-runtime", region_name="us-west-2") # Set the model ID, e.g., Llama 3 70b Instruct. model_id = "meta.llama3-70b-instruct-v1:0" # Define the prompt for the model. prompt = "Describe the purpose of a 'hello world' program in one line." # Embed the prompt in Llama 3's instruction format. formatted_prompt = f""" <|begin_of_text|><|start_header_id|>user<|end_header_id|> {prompt} <|eot_id|> <|start_header_id|>assistant<|end_header_id|> """ # Format the request payload using the model's native structure. native_request = { "prompt": formatted_prompt, "max_gen_len": 512, "temperature": 0.5, } # Convert the native request to JSON. request = json.dumps(native_request) try: # Invoke the model with the request. response = client.invoke_model(modelId=model_id, body=request) except (ClientError, Exception) as e: print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}") exit(1) # Decode the response body. model_response = json.loads(response["body"].read()) # Extract and print the response text. response_text = model_response["generation"] print(response_text)
Questo esempio mostra come controllare la lunghezza della generazione utilizzando Llama 3 Instruct i modelli. Per risposte o riassunti dettagliati, modifica `max_gen_len` e includi istruzioni specifiche nel prompt.