Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Llama 3.3 70B Instruct

Meta — Llama 3.3 70B Instruct

Dettagli del modello

Llama 3.3 70B Instruct è il modello di parametri da 70 miliardi di Meta con una maggiore efficienza, che offre solide prestazioni di ragionamento e codifica con una finestra di contesto di 128K. Per ulteriori informazioni sullo sviluppo e sulle prestazioni del modello, consulta la scheda. model/service

Funzionalità e caratteristiche

Caratteristiche di Bedrock

Funzionalità supportate tramite endpoint bedrock-runtime

Prezzi

Per informazioni sui prezzi, consulta la pagina dei prezzi di Amazon Bedrock.

Accesso programmatico

Utilizzate i seguenti ID del modello e URL degli endpoint per accedere a questo modello a livello di codice. Per ulteriori informazioni sulle API e sugli endpoint disponibili, consulta API supportate ed Endpoint supportati. bedrock/latest/userguide/endpoints.html

Ad esempio, se la regione è us-east-1 (Virginia settentrionale), l'URL dell'endpoint bedrock-runtime sarà "" e per bedrock-mantle sarà "»https://bedrock-runtime.us-east-1.amazonaws.com. https://bedrock-mantle.us-east-1.api.aws/v1

Livelli di servizio

Amazon Bedrock offre diversi livelli di servizio per soddisfare i requisiti del carico di lavoro. Standard fornisce l'accesso pay-per-token senza impegno (imposta o ometti il campo). "service_tier": "default" Priority offre i tempi di risposta più rapidi a un prezzo superiore (impostato). "service_tier": "priority" Flex offre un accesso a basso costo per carichi di lavoro flessibili e non sensibili al fattore tempo (set). "service_tier": "flex" Reserved offre un throughput dedicato con un impegno a termine per carichi di lavoro prevedibili; è impostato a livello di account anziché su richiesta (contatta il team del tuo account AWS per abilitare). Per ulteriori informazioni, consulta i livelli di servizio.

Disponibilità regionale

La disponibilità regionale a colpo d'occhio

Amazon Bedrock offre tre opzioni di inferenza: In-Region mantiene le richieste all'interno di una singola regione per garantire una conformità rigorosa, le Cross-Region rotte geografiche tra le regioni all'interno di un'area geografica (come Stati Uniti, UE e APAC) rispettando la residenza dei dati e le Cross-Region rotte globali in qualsiasi parte del mondo quando non ci sono vincoli di residenza. Per maggiori dettagli, consulta la pagina. Disponibilità regionale per modelli

Dettagli della geo-inferenza

Geo: Stati Uniti

ID di inferenza geografica: us.meta.llama3-3-70b-instruct-v1:0

Quote e limiti

Il tuo AWS account ha delle quote predefinite per mantenere le prestazioni del servizio e garantire un uso appropriato di Amazon Bedrock. Le quote predefinite assegnate a un account potrebbero essere aggiornate in base a fattori regionali, alla cronologia dei pagamenti, all'uso fraudolento, all' and/or approvazione di una richiesta di aumento delle quote. bedrock/latest/userguide/quotas-increase.html Per ulteriori informazioni, consulta Quote per Amazon Bedrock la documentazione e consulta i limiti del modello.

Codice di esempio

Passaggio 1 - AWS Account: se hai già un AWS account, salta questo passaggio. Se non conosci AWS, crea un account https://portal.aws.amazon.com/billing/signup AWS.

Passaggio 2 - Chiave API: accedi alla console Amazon Bedrock e genera una chiave API a lungo termine.

Passaggio 3 - Scarica l'SDK: per utilizzare questa guida introduttiva, devi avere Python già installato. Quindi installa il software pertinente in base alle API che stai utilizzando.

pip install boto3

Passaggio 4 - Impostazione delle variabili di ambiente: configura il tuo ambiente per utilizzare la chiave API per l'autenticazione.

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

Fase 5 - Esegui la tua prima richiesta di inferenza: salva il file con nome bedrock-first-request.py

Invoke API

import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='meta.llama3-3-70b-instruct-v1:0',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
)
print(json.loads(response['body'].read()))

Converse API

import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='meta.llama3-3-70b-instruct-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)