Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Devstral 2 123 GB

Mistral AI — Devstral 2 123B

Detalles del modelo

Devstral 2 123B es el modelo de codificación de 123 000 millones de parámetros de Mistral AI, optimizado para tareas de ingeniería de software, como la generación de código, la depuración y la refactorización. Para obtener más información sobre el desarrollo y el rendimiento del modelo, consulte la tarjeta. model/service

Capacidades y características

Características de Bedrock

Funciones compatibles con el terminal bedrock-mantle

Funciones compatibles con el bedrock-runtime terminal

Precios

Para conocer los precios, consulta la página de precios de Amazon Bedrock.

Acceso programático

Utilice los siguientes ID de modelo y URL de punto final para acceder a este modelo mediante programación. Para obtener más información sobre las API y los puntos de enlace disponibles, consulte API compatibles y puntos de enlace compatibles.

Por ejemplo, si la región es us-east-1 (Virginia del Norte), la URL del punto de ejecución de bedrock-runtime será «» y para bedrock-mantle será https://bedrock-runtime.us-east-1.amazonaws.com «». https://bedrock-mantle.us-east-1.api.aws/v1

Niveles de servicio

Amazon Bedrock ofrece varios niveles de servicio para adaptarse a sus requisitos de carga de trabajo. El estándar proporciona acceso de pago por token sin compromiso. Priority ofrece un mayor rendimiento con un compromiso basado en el tiempo. Flex proporciona un acceso de menor costo para cargas de trabajo flexibles y no urgentes. Reserved ofrece un rendimiento específico con un compromiso a largo plazo para cargas de trabajo predecibles. Para obtener más información, consulte los niveles de servicio.

Disponibilidad regional

La disponibilidad regional de un vistazo

Bedrock ofrece tres opciones de inferencia: In-Regionmantiene las solicitudes dentro de una sola región para garantizar un cumplimiento estricto, las Cross-Region rutas geográficas entre regiones de una misma geografía (EE. UU., UE, etc.) para obtener un mayor rendimiento y respetar la residencia de los datos, y Cross-Region las rutas globales a cualquier parte del mundo para obtener el máximo rendimiento cuando no hay restricciones de residencia. Consulte la Disponibilidad regional página para obtener más información.

Cuotas y límites

Su cuenta de AWS tiene cuotas predeterminadas para mantener el rendimiento del servicio y garantizar el uso adecuado de Amazon Bedrock. Las cuotas predeterminadas asignadas a una cuenta pueden actualizarse en función de factores regionales, el historial de pagos, el uso fraudulento o la and/or aprobación de una solicitud de aumento de cuota. Para obtener más información, consulte la Cuotas para Amazon Bedrock documentación y consulte los límites del modelo.

Código de muestra

Paso 1: Cuenta de AWS: si ya tiene una cuenta de AWS, omita este paso. Si es la primera vez que utiliza AWS, regístrese para obtener una cuenta de AWS.

Paso 2: Clave de API: vaya a la consola de Amazon Bedrock y genere una clave de API a largo plazo.

Paso 3: Obtenga el SDK: para usar esta guía de introducción, debe tener Python ya instalado. A continuación, instale el software correspondiente en función de las API que utilice.

Chat Completions API

pip install boto3 openai

Invoke/Converse API

pip install boto3

Paso 4: Defina las variables de entorno: configure su entorno para que utilice la clave de API para la autenticación.

Chat Completions API

OPENAI_API_KEY="<provide your Bedrock API key>"
OPENAI_BASE_URL="https://bedrock-mantle.<your-region>.api.aws/v1"

Invoke/Converse API

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

Paso 5: Ejecute su primera solicitud de inferencia: guarde el archivo como bedrock-first-request.py

Chat Completions API

from openai import OpenAI

client = OpenAI()

response = client.chat.completions.create(
    model="mistral.devstral-2-123b",
    messages=[{"role": "user", "content": "Can you explain the features of Amazon Bedrock?"}]
    )
print(response)

Invoke API

import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='mistral.devstral-2-123b',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
)
print(json.loads(response['body'].read()))

Converse API

import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='mistral.devstral-2-123b',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)