Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Devstral 2 123B

Mistral AI — Devstral 2 123B

Dettagli del modello

Devstral 2 123B è il modello di codifica di parametri da 123 miliardi di Mistral AI ottimizzato per attività di ingegneria del software tra cui generazione di codice, debug e refactoring. Per ulteriori informazioni sullo sviluppo e sulle prestazioni del modello, consulta la scheda. model/service

Funzionalità e caratteristiche

Caratteristiche di base

Funzionalità supportate tramite endpoint bedrock-mantle

Funzionalità supportate tramite bedrock-runtime endpoint

Prezzi

Per i prezzi, consulta la pagina dei prezzi di Amazon Bedrock.

Accesso programmatico

Utilizza i seguenti ID di modello e URL degli endpoint per accedere a questo modello a livello di codice. Per ulteriori informazioni sulle API e sugli endpoint disponibili, consulta API supportate e Endpoint supportati.

Ad esempio, se region è us-east-1 (Virginia settentrionale), l'URL dell'endpoint bedrock-runtime sarà "" e per bedrock-mantle sarà https://bedrock-runtime.us-east-1.amazonaws.com "». https://bedrock-mantle.us-east-1.api.aws/v1

Livelli di servizio

Amazon Bedrock offre diversi livelli di servizio per soddisfare i tuoi requisiti di carico di lavoro. Standard offre un accesso pay-per-token senza impegno. Priority offre un throughput più elevato con un impegno basato sul tempo. Flex offre un accesso a basso costo per carichi di lavoro flessibili e non urgenti. Reserved offre un throughput dedicato con un impegno a termine per carichi di lavoro prevedibili. Per ulteriori informazioni, consulta i livelli di servizio.

Disponibilità regionale

Disponibilità regionale a colpo d'occhio

Bedrock offre tre opzioni di inferenza: In-Regionmantiene le richieste all'interno di una singola regione per garantire la massima conformità, instradamenti Cross-Regiongeografici tra regioni all'interno di un'area geografica (Stati Uniti, UE, ecc.) per una maggiore velocità di trasmissione nel rispetto della residenza dei dati e Cross-Region percorsi globali ovunque in tutto il mondo per la massima velocità di trasmissione quando non ci sono vincoli di residenza. Consulta la pagina per maggiori dettagli. Disponibilità regionale

Quote e limiti

Il tuo account AWS dispone di quote predefinite per mantenere le prestazioni del servizio e garantire un uso appropriato di Amazon Bedrock. Le quote predefinite assegnate a un account potrebbero essere aggiornate in base a fattori regionali, alla cronologia dei pagamenti, all'utilizzo fraudolento, all' and/or approvazione di una richiesta di aumento delle quote. Per maggiori dettagli, consulta la Quote per Amazon Bedrock documentazione e consulta i limiti del modello.

Codice di esempio

Fase 1 - Account AWS: se hai già un account AWS, salta questo passaggio. Se non conosci AWS, registrati per un account AWS.

Fase 2 - Chiave API: vai alla console Amazon Bedrock e genera una chiave API a lungo termine.

Passaggio 3 - Scarica l'SDK: per utilizzare questa guida introduttiva, devi avere Python già installato. Quindi installa il software pertinente in base alle API che stai utilizzando.

Chat Completions API

pip install boto3 openai

Invoke/Converse API

pip install boto3

Passaggio 4 - Imposta le variabili di ambiente: configura l'ambiente per utilizzare la chiave API per l'autenticazione.

Chat Completions API

OPENAI_API_KEY="<provide your Bedrock API key>"
OPENAI_BASE_URL="https://bedrock-mantle.<your-region>.api.aws/v1"

Invoke/Converse API

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

Passaggio 5 - Esegui la tua prima richiesta di inferenza: salva il file come bedrock-first-request.py

Chat Completions API

from openai import OpenAI

client = OpenAI()

response = client.chat.completions.create(
    model="mistral.devstral-2-123b",
    messages=[{"role": "user", "content": "Can you explain the features of Amazon Bedrock?"}]
    )
print(response)

Invoke API

import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='mistral.devstral-2-123b',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
)
print(json.loads(response['body'].read()))

Converse API

import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='mistral.devstral-2-123b',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)