Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Llama 3.1 8B Instruct

Meta — Llama 3.1 8B Istruct

Dettagli del modello

Llama 3.1 8B Instruct è il modello compatto da 8 miliardi di parametri di Meta con una finestra contestuale di 128K, adatto per l'implementazione e la messa a punto all'edge. Per ulteriori informazioni sullo sviluppo e sulle prestazioni del modello, consulta la scheda. model/service

Funzionalità e caratteristiche

Caratteristiche di base

Funzionalità supportate tramite endpoint bedrock-runtime

Prezzi

Per i prezzi, consulta la pagina dei prezzi di Amazon Bedrock.

Accesso programmatico

Utilizza i seguenti ID di modello e URL degli endpoint per accedere a questo modello a livello di codice. Per ulteriori informazioni sulle API e sugli endpoint disponibili, consulta API supportate e Endpoint supportati.

Ad esempio, se region è us-east-1 (Virginia settentrionale), l'URL dell'endpoint bedrock-runtime sarà "" e per bedrock-mantle sarà https://bedrock-runtime.us-east-1.amazonaws.com "». https://bedrock-mantle.us-east-1.api.aws/v1

Livelli di servizio

Amazon Bedrock offre diversi livelli di servizio per soddisfare i tuoi requisiti di carico di lavoro. Standard offre un accesso pay-per-token senza impegno. Priority offre una maggiore produttività con un impegno basato sul tempo. Flex offre un accesso a basso costo per carichi di lavoro flessibili e non urgenti. Reserved offre un throughput dedicato con un impegno a termine per carichi di lavoro prevedibili. Per ulteriori informazioni, consulta i livelli di servizio.

Disponibilità regionale

Disponibilità regionale a colpo d'occhio

Bedrock offre tre opzioni di inferenza: In-Regionmantiene le richieste all'interno di una singola regione per garantire la massima conformità, instradamenti Cross-Regiongeografici tra regioni all'interno di un'area geografica (Stati Uniti, UE, ecc.) per una maggiore velocità di trasmissione nel rispetto della residenza dei dati e Cross-Region percorsi globali ovunque in tutto il mondo per la massima velocità di trasmissione quando non ci sono vincoli di residenza. Consulta la pagina per maggiori dettagli. Disponibilità regionale per modello

Dettagli di geo-inferenza

Geo: USA

ID di inferenza geografica: us.meta.llama3-1-8b-instruct-v1:0

Quote e limiti

Il tuo account AWS dispone di quote predefinite per mantenere le prestazioni del servizio e garantire un uso appropriato di Amazon Bedrock. Le quote predefinite assegnate a un account potrebbero essere aggiornate in base a fattori regionali, alla cronologia dei pagamenti, all'utilizzo fraudolento, all' and/or approvazione di una richiesta di aumento delle quote. Per maggiori dettagli, consulta la Quote per Amazon Bedrock documentazione e consulta i limiti del modello.

Codice di esempio

Fase 1 - Account AWS: se hai già un account AWS, salta questo passaggio. Se non conosci AWS, registrati per un account AWS.

Fase 2 - Chiave API: vai alla console Amazon Bedrock e genera una chiave API a lungo termine.

Passaggio 3 - Scarica l'SDK: per utilizzare questa guida introduttiva, devi avere Python già installato. Quindi installa il software pertinente in base alle API che stai utilizzando.

pip install boto3

Passaggio 4 - Imposta le variabili di ambiente: configura l'ambiente per utilizzare la chiave API per l'autenticazione.

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

Passaggio 5 - Esegui la tua prima richiesta di inferenza: salva il file come bedrock-first-request.py

Invoke API

import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='meta.llama3-1-8b-instruct-v1:0',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
)
print(json.loads(response['body'].read()))

Converse API

import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='meta.llama3-1-8b-instruct-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)