Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Llama 3 8B Instruct

Meta — Llama 3 8B Instruktiv

Modelldetails

Llama 3 8B Instruct ist das auf Befehle abgestimmte Modell von Meta mit 8 Milliarden Parametern und einem 8K-Kontextfenster, das für den effizienten Einsatz auf kleineren Infrastrukturen konzipiert wurde. Weitere Informationen zur Modellentwicklung und Leistung finden Sie auf der Karte. model/service

Fähigkeiten und Funktionen

Eigenschaften von Bedrock

Funktionen, die mithilfe bedrock-runtime von Endpoint unterstützt werden

Preisgestaltung

Die Preise finden Sie auf der Seite mit den Preisen von Amazon Bedrock.

Programmatischer Zugriff

Verwenden Sie die folgenden Modell-IDs und Endpunkt-URLs, um programmgesteuert auf dieses Modell zuzugreifen. Weitere Informationen zu den verfügbaren APIs und Endpunkten finden Sie unter Unterstützte APIs und Unterstützte Endpunkte.

Wenn Region beispielsweise us-east-1 (Nord-Virginia) ist, dann lautet die URL des Bedrock-Runtime-Endpunkts "" und für Bedrock-Mantle https://bedrock-runtime.us-east-1.amazonaws.com "“. https://bedrock-mantle.us-east-1.api.aws/v1

Dienststufen

Amazon Bedrock bietet mehrere Servicestufen, um Ihren Workload-Anforderungen gerecht zu werden. Standard bietet unverbindlichen Pay-per-Token-Zugriff. Priority bietet einen höheren Durchsatz mit einer zeitbasierten Verpflichtung. Flex bietet kostengünstigeren Zugriff für flexible, nicht zeitkritische Workloads. Reserved bietet einen dedizierten Durchsatz mit einer festen Laufzeit für vorhersehbare Workloads. Weitere Informationen finden Sie unter Servicestufen.

Regionale Verfügbarkeit

Die regionale Verfügbarkeit auf einen Blick

Bedrock bietet drei Inferenzoptionen: Anfragen werden innerhalb einer einzigen Region In-Regionaufbewahrt, um die strikte Einhaltung der Vorschriften zu gewährleisten, geografische Cross-Region Routen zwischen Regionen innerhalb einer Region (USA, EU usw.) für einen höheren Durchsatz bei gleichzeitiger Wahrung der Datenresidenz und globale Cross-Region Routen überall auf der Welt für maximalen Durchsatz, wenn es keine lokalen Beschränkungen gibt. Weitere Informationen finden Sie auf der Regionale Verfügbarkeit Seite.

Kontingente und Einschränkungen

Ihr AWS-Konto verfügt über Standardkontingente, um die Leistung des Service aufrechtzuerhalten und eine angemessene Nutzung von Amazon Bedrock sicherzustellen. Die einem Konto zugewiesenen Standardkontingente können je nach regionalen Faktoren, Zahlungsverlauf, betrügerischer Nutzung und and/or Genehmigung einer Anfrage zur Erhöhung des Kontingents aktualisiert werden. Weitere Informationen finden Sie in der Kontingente für Amazon Bedrock Dokumentation und in den Grenzwerten für das Modell.

Beispiel-Code

Schritt 1 — AWS-Konto: Wenn Sie bereits ein AWS-Konto haben, überspringen Sie diesen Schritt. Wenn Sie neu bei AWS sind, registrieren Sie sich für ein AWS-Konto.

Schritt 2 — API-Schlüssel: Rufen Sie die Amazon Bedrock-Konsole auf und generieren Sie einen langfristigen API-Schlüssel.

Schritt 3 — Holen Sie sich das SDK: Um dieses Handbuch für die ersten Schritte verwenden zu können, muss Python bereits installiert sein. Installieren Sie dann die entsprechende Software, je nachdem, welche APIs Sie verwenden.

pip install boto3

Schritt 4 — Umgebungsvariablen festlegen: Konfigurieren Sie Ihre Umgebung so, dass der API-Schlüssel für die Authentifizierung verwendet wird.

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

Schritt 5 — Führen Sie Ihre erste Inferenzanfrage aus: Speichern Sie die Datei unter bedrock-first-request.py

Invoke API

import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='meta.llama3-8b-instruct-v1:0',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
)
print(json.loads(response['body'].read()))

Converse API

import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='meta.llama3-8b-instruct-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)