Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Llama 3.1 405B Instruct

Meta — Llama 3.1 405B Instruct

Dettagli del modello

Llama 3.1 405B Instruct è il più grande modello aperto di Meta con 405 miliardi di parametri e una finestra di contesto di 128K, che supporta l'uso degli strumenti e le attività multilingue. Per ulteriori informazioni sullo sviluppo e sulle prestazioni del modello, consulta la scheda. model/service

Funzionalità e caratteristiche

Caratteristiche di Bedrock

Funzionalità supportate tramite endpoint bedrock-runtime

Prezzi

Per informazioni sui prezzi, consulta la pagina dei prezzi di Amazon Bedrock.

Accesso programmatico

Utilizzate i seguenti ID del modello e URL degli endpoint per accedere a questo modello a livello di codice. Per ulteriori informazioni sulle API e sugli endpoint disponibili, consulta API supportate ed Endpoint supportati. bedrock/latest/userguide/endpoints.html

Ad esempio, se la regione è us-east-1 (Virginia settentrionale), l'URL dell'endpoint bedrock-runtime sarà "" e per bedrock-mantle sarà "»https://bedrock-runtime.us-east-1.amazonaws.com. https://bedrock-mantle.us-east-1.api.aws/v1

Livelli di servizio

Amazon Bedrock offre diversi livelli di servizio per soddisfare i requisiti del carico di lavoro. Standard fornisce l'accesso pay-per-token senza impegno (imposta o ometti il campo). "service_tier": "default" Priority offre i tempi di risposta più rapidi a un prezzo superiore (impostato). "service_tier": "priority" Flex offre un accesso a basso costo per carichi di lavoro flessibili e non sensibili al fattore tempo (set). "service_tier": "flex" Reserved offre un throughput dedicato con un impegno a termine per carichi di lavoro prevedibili; è impostato a livello di account anziché su richiesta (contatta il team del tuo account AWS per abilitare). Per ulteriori informazioni, consulta i livelli di servizio.

Disponibilità regionale

La disponibilità regionale a colpo d'occhio

Amazon Bedrock offre tre opzioni di inferenza: In-Region mantiene le richieste all'interno di una singola regione per garantire una conformità rigorosa, le Cross-Region rotte geografiche tra le regioni all'interno di un'area geografica (come Stati Uniti, UE e APAC) rispettando la residenza dei dati e le Cross-Region rotte globali in qualsiasi parte del mondo quando non ci sono vincoli di residenza. Per maggiori dettagli, consulta la pagina. Disponibilità regionale per modelli

Dettagli della geo-inferenza

Geo: Stati Uniti

ID di inferenza geografica: us.meta.llama3-1-405b-instruct-v1:0

Codice di esempio

Passaggio 1 - AWS Account: Se hai già un account, salta questo passaggio. AWS Se non conosci AWS, crea un account https://portal.aws.amazon.com/billing/signup AWS.

Passaggio 2 - Chiave API: accedi alla console Amazon Bedrock e genera una chiave API a lungo termine.

Passaggio 3 - Scarica l'SDK: per utilizzare questa guida introduttiva, devi avere Python già installato. Quindi installa il software pertinente in base alle API che stai utilizzando.

pip install boto3

Passaggio 4 - Impostazione delle variabili di ambiente: configura il tuo ambiente per utilizzare la chiave API per l'autenticazione.

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

Fase 5 - Esegui la tua prima richiesta di inferenza: salva il file con nome bedrock-first-request.py

Converse API

import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='meta.llama3-1-405b-instruct-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)