MetaLlamamodel

Bagian ini menjelaskan parameter permintaan dan bidang respons untuk Meta Llama model. Gunakan informasi ini untuk membuat panggilan inferensi ke Meta Llama model dengan operasi InvokeModeldan InvokeModelWithResponseStream(streaming). Bagian ini juga mencakup contoh Python kode yang menunjukkan cara memanggil Meta Llama model. Untuk menggunakan model dalam operasi inferensi, Anda memerlukan ID model untuk model tersebut. Untuk mendapatkan ID model, lihatModel pondasi yang didukung di Amazon Bedrock. Beberapa model juga bekerja dengan ConverseAPI. Untuk memeriksa apakah Converse API mendukung Meta Llama model tertentu, lihatModel dan fitur model yang didukung. Untuk contoh kode lainnya, lihatContoh kode untuk Amazon Bedrock menggunakan AWS SDKs.

Model foundation di Amazon Bedrock mendukung modalitas input dan output, yang bervariasi dari model ke model. Untuk memeriksa modalitas yang didukung Meta Llama model, lihat. Model pondasi yang didukung di Amazon Bedrock Untuk memeriksa Amazon Bedrock mana yang memiliki fitur dukungan Meta Llama model, lihatModel pondasi yang didukung di Amazon Bedrock. Untuk memeriksa AWS Wilayah mana Meta Llama model tersedia, lihatModel pondasi yang didukung di Amazon Bedrock.

Saat Anda melakukan panggilan inferensi dengan Meta Llama model, Anda menyertakan prompt untuk model tersebut. Untuk informasi umum tentang membuat prompt untuk model yang didukung Amazon Bedrock, lihat. Konsep rekayasa yang cepat Untuk informasi prompt Meta Llama spesifik, lihat panduan teknik yang MetaLlama cepat.

Bagian ini memberikan informasi untuk menggunakan model berikut dariMeta.

Permintaan dan tanggapan

Badan permintaan diteruskan di body bidang permintaan ke InvokeModelatau InvokeModelWithResponseStream.

Contoh kode

Contoh ini menunjukkan cara memanggil Llama 3 Instructmodel.

# Use the native inference API to send a text message to Meta Llama 3.

import boto3
import json

from botocore.exceptions import ClientError

# Create a Bedrock Runtime client in the Wilayah AWS of your choice.
client = boto3.client("bedrock-runtime", region_name="us-west-2")

# Set the model ID, e.g., Llama 3 70b Instruct.
model_id = "meta.llama3-70b-instruct-v1:0"

# Define the prompt for the model.
prompt = "Describe the purpose of a 'hello world' program in one line."

# Embed the prompt in Llama 3's instruction format.
formatted_prompt = f"""
<|begin_of_text|><|start_header_id|>user<|end_header_id|>
{prompt}
<|eot_id|>
<|start_header_id|>assistant<|end_header_id|>
"""

# Format the request payload using the model's native structure.
native_request = {
    "prompt": formatted_prompt,
    "max_gen_len": 512,
    "temperature": 0.5,
}

# Convert the native request to JSON.
request = json.dumps(native_request)

try:
    # Invoke the model with the request.
    response = client.invoke_model(modelId=model_id, body=request)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}")
    exit(1)

# Decode the response body.
model_response = json.loads(response["body"].read())

# Extract and print the response text.
response_text = model_response["generation"]
print(response_text)

Contoh ini menunjukkan cara mengontrol panjang generasi menggunakan Llama 3 Instruct model. Untuk tanggapan atau ringkasan terperinci, sesuaikan `max_gen_len` dan sertakan instruksi khusus dalam prompt Anda.