Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Mistral 7B Instruct

Mistral AI — Mistral 7B Instruct

Dettagli del modello

Mistral 7B Instruct è il modello da 7 miliardi di parametri ottimizzato per le istruzioni di Mistral AI con attenzione alle query raggruppate e attenzione a finestra scorrevole per un'inferenza efficiente a lungo contesto. Per ulteriori informazioni sullo sviluppo e sulle prestazioni del modellomodel/service , consulta la scheda.

Funzionalità e caratteristiche

Caratteristiche Bedrock

Funzionalità supportate tramite endpoint bedrock-runtime

Prezzi

Per i prezzi, consulta la pagina dei prezzi di Amazon Bedrock.

Accesso programmatico

Utilizza i seguenti ID di modello e URL degli endpoint per accedere a questo modello a livello di codice. Per ulteriori informazioni sulle API e sugli endpoint disponibili, consulta API supportate e Endpoint supportati.

Ad esempio, se region è us-east-1 (Virginia settentrionale), l'URL dell'endpoint bedrock-runtime sarà "" e per bedrock-mantle sarà https://bedrock-runtime.us-east-1.amazonaws.com "». https://bedrock-mantle.us-east-1.api.aws/v1

Livelli di servizio

Amazon Bedrock offre diversi livelli di servizio per soddisfare i tuoi requisiti di carico di lavoro. Standard offre un accesso pay-per-token senza impegno. Priority offre un throughput più elevato con un impegno basato sul tempo. Flex offre un accesso a basso costo per carichi di lavoro flessibili e non urgenti. Reserved offre un throughput dedicato con un impegno a termine per carichi di lavoro prevedibili. Per ulteriori informazioni, consulta i livelli di servizio.

Disponibilità regionale

Disponibilità regionale a colpo d'occhio

Bedrock offre tre opzioni di inferenza: In-Regionmantiene le richieste all'interno di una singola regione per garantire la massima conformità, instradamenti Cross-Regiongeografici tra regioni all'interno di un'area geografica (Stati Uniti, UE, ecc.) per una maggiore velocità di trasmissione nel rispetto della residenza dei dati e Cross-Region percorsi globali ovunque in tutto il mondo per la massima velocità di trasmissione quando non ci sono vincoli di residenza. Consulta la pagina per maggiori dettagli. Disponibilità regionale per modello

Quote e limiti

Il tuo account AWS dispone di quote predefinite per mantenere le prestazioni del servizio e garantire un uso appropriato di Amazon Bedrock. Le quote predefinite assegnate a un account potrebbero essere aggiornate in base a fattori regionali, alla cronologia dei pagamenti, all'utilizzo fraudolento, all' and/or approvazione di una richiesta di aumento delle quote. Per maggiori dettagli, consulta la Quote per Amazon Bedrock documentazione e consulta i limiti del modello.

Codice di esempio

Fase 1 - Account AWS: se hai già un account AWS, salta questo passaggio. Se non conosci AWS, registrati per un account AWS.

Fase 2 - Chiave API: vai alla console Amazon Bedrock e genera una chiave API a lungo termine.

Passaggio 3 - Scarica l'SDK: per utilizzare questa guida introduttiva, devi avere Python già installato. Quindi installa il software pertinente in base alle API che stai utilizzando.

pip install boto3

Passaggio 4 - Imposta le variabili di ambiente: configura l'ambiente per utilizzare la chiave API per l'autenticazione.

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

Passaggio 5 - Esegui la tua prima richiesta di inferenza: salva il file come bedrock-first-request.py

Invoke API

import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='mistral.mistral-7b-instruct-v0:2',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
)
print(json.loads(response['body'].read()))

Converse API

import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='mistral.mistral-7b-instruct-v0:2',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)