MetaModelleLlama

In diesem Abschnitt werden die Anforderungsparameter und Antwortfelder für Meta-Llama-Modelle beschrieben. Verwenden Sie diese Informationen, um mit den (Streaming-) Operationen InvokeModel und InvokeModelWithResponseStream Inferenzaufrufe an Meta-Llama-Modelle durchzuführen. Dieser Abschnitt enthält auch Python-Codebeispiele, die zeigen, wie Meta-Llama-Modelle aufgerufen werden. Sie benötigen die Modell-ID für das Modell, um ein Modell in einer Inferenzoperation verwenden zu können. Informationen zum Abrufen der Modell-ID finden Sie unter Unterstützte Basismodelle in Amazon Bedrock. Einige Modelle funktionieren auch mit der Converse-API. Informationen darüber, ob die Converse-API ein bestimmtes Meta-Llama-Modell unterstützt, finden Sie unter Unterstützte Modelle und Modellfeatures. Weitere Codebeispiele finden Sie unter Codebeispiele für Amazon Bedrock mit AWS SDKs.

Basismodelle in Amazon Bedrock unterstützen Eingabe- und Ausgabemodalitäten, die von Modell zu Modell variieren. Informationen zu den Modalitäten, die von Meta-Llama-Modellen unterstützt werden, finden Sie unter Unterstützte Basismodelle in Amazon Bedrock. Informationen darüber, welche Amazon-Bedrock-Features Meta-Llama-Modelle unterstützen, finden Sie unter Unterstützte Basismodelle in Amazon Bedrock. Informationen darüber, in welchen AWS-Regionen diese Meta-Llama-Modelle verfügbar sind, finden Sie unter Unterstützte Basismodelle in Amazon Bedrock.

Wenn Sie Inferenzaufrufe mit Meta-Llama-Modellen tätigen, schließen Sie einen Prompt für das Modell ein. Allgemeine Informationen zum Erstellen von Prompts für die Modelle, die von Amazon Bedrock unterstützt werden, finden Sie unter Prompt-Engineering-Konzepte. Für Meta Llama spezifische Informationen zu Prompts finden Sie im Handbuch zu Llama-Prompt-Engineering von Meta.

Dieser Abschnitt enthält Informationen zur Verwendung der folgenden Modelle von Meta.

Anforderung und Antwort

Der Anforderungstext wird im body-Feld einer Anforderung an InvokeModel oder InvokeModelWithResponseStream übergeben.

Beispiel-Code

Das folgende Beispiel zeigt, wie das Modell Llama 3 Instruct aufgerufen wird.

# Use the native inference API to send a text message to Meta Llama 3.

import boto3
import json

from botocore.exceptions import ClientError

# Create a Bedrock Runtime client in the AWS-Region of your choice.
client = boto3.client("bedrock-runtime", region_name="us-west-2")

# Set the model ID, e.g., Llama 3 70b Instruct.
model_id = "meta.llama3-70b-instruct-v1:0"

# Define the prompt for the model.
prompt = "Describe the purpose of a 'hello world' program in one line."

# Embed the prompt in Llama 3's instruction format.
formatted_prompt = f"""
<|begin_of_text|><|start_header_id|>user<|end_header_id|>
{prompt}
<|eot_id|>
<|start_header_id|>assistant<|end_header_id|>
"""

# Format the request payload using the model's native structure.
native_request = {
    "prompt": formatted_prompt,
    "max_gen_len": 512,
    "temperature": 0.5,
}

# Convert the native request to JSON.
request = json.dumps(native_request)

try:
    # Invoke the model with the request.
    response = client.invoke_model(modelId=model_id, body=request)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}")
    exit(1)

# Decode the response body.
model_response = json.loads(response["body"].read())

# Extract and print the response text.
response_text = model_response["generation"]
print(response_text)

Dieses Beispiel veranschaulicht, wie Sie die Länge der generierten Antworten mit Modellen von Llama 3 Instruct steuern. Für detaillierte Antworten oder Zusammenfassungen passen Sie „max_gen_len“ an und fügen Sie Ihrem Prompt spezifische Anweisungen hinzu.