MetaModelleLlama

In diesem Abschnitt werden die Anforderungsparameter und Antwortfelder für Meta Llama Modelle beschrieben. Verwenden Sie diese Informationen, um mit den Operationen InvokeModelund InvokeModelWithResponseStream(Streaming) Inferenzaufrufen für Meta Llama Modelle durchzuführen. Dieser Abschnitt enthält auch Python Codebeispiele, die zeigen, wie Meta Llama Modelle aufgerufen werden. Um ein Modell in einer Inferenzoperation zu verwenden, benötigen Sie die Modell-ID für das Modell. Informationen zum Abrufen der Modell-ID finden Sie unterUnterstützte Basismodelle in Amazon Bedrock. Einige Modelle funktionieren auch mit der ConverseAPI. Informationen darüber, ob die Converse API ein bestimmtes Meta Llama Modell unterstützt, finden Sie unterUnterstützte Modelle und Modellfunktionen. Weitere Codebeispiele finden Sie unterCodebeispiele für Amazon Bedrock mit AWS SDKs.

Foundation-Modelle in Amazon Bedrock unterstützen Eingabe- und Ausgabemodalitäten, die von Modell zu Modell variieren. Informationen zu den Modalitäten, die von Meta Llama Modellen unterstützt werden, finden Sie unter. Unterstützte Basismodelle in Amazon Bedrock Informationen darüber, welche Amazon Bedrock Meta Llama Modelle unterstützt, finden Sie unterUnterstützte Basismodelle in Amazon Bedrock. Informationen darüber, in welchen AWS Regionen diese Meta Llama Modelle verfügbar sind, finden Sie unterUnterstützte Basismodelle in Amazon Bedrock.

Wenn Sie Inferenzrufe mit Meta Llama Modellen tätigen, fügen Sie eine Eingabeaufforderung für das Modell hinzu. Allgemeine Informationen zum Erstellen von Eingabeaufforderungen für die von Amazon Bedrock unterstützten Modelle finden Sie unter. Schnelle technische Konzepte MetaLlamaSpezifische Informationen zur Eingabeaufforderung finden Sie im technischen Leitfaden für MetaLlama Eingabeaufforderungen.

Dieser Abschnitt enthält Informationen zur Verwendung der folgenden Modelle vonMeta.

Anfrage und Antwort

Der Text der Anfrage wird im body Feld einer Anfrage an InvokeModeloder übergeben InvokeModelWithResponseStream.

Beispiel-Code

Dieses Beispiel zeigt, wie das Modell aufgerufen wird Llama 3 Instruct.

# Use the native inference API to send a text message to Meta Llama 3.

import boto3
import json

from botocore.exceptions import ClientError

# Create a Bedrock Runtime client in the AWS-Region of your choice.
client = boto3.client("bedrock-runtime", region_name="us-west-2")

# Set the model ID, e.g., Llama 3 70b Instruct.
model_id = "meta.llama3-70b-instruct-v1:0"

# Define the prompt for the model.
prompt = "Describe the purpose of a 'hello world' program in one line."

# Embed the prompt in Llama 3's instruction format.
formatted_prompt = f"""
<|begin_of_text|><|start_header_id|>user<|end_header_id|>
{prompt}
<|eot_id|>
<|start_header_id|>assistant<|end_header_id|>
"""

# Format the request payload using the model's native structure.
native_request = {
    "prompt": formatted_prompt,
    "max_gen_len": 512,
    "temperature": 0.5,
}

# Convert the native request to JSON.
request = json.dumps(native_request)

try:
    # Invoke the model with the request.
    response = client.invoke_model(modelId=model_id, body=request)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}")
    exit(1)

# Decode the response body.
model_response = json.loads(response["body"].read())

# Extract and print the response text.
response_text = model_response["generation"]
print(response_text)

Dieses Beispiel zeigt, wie die Generierungslänge mithilfe von Llama 3 Instruct Modellen gesteuert werden kann. Für detaillierte Antworten oder Zusammenfassungen passen Sie `max_gen_len` an und fügen Sie Ihrer Aufforderung spezifische Anweisungen hinzu.