Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

NVIDIA Nemotron 3 Súper 120 GB

NVIDIA — NVIDIA Nemotron 3 Super 120B

Detalles del modelo

NVIDIA Nemotron 3 Super es un modelo de MoE híbrido B-parameter abierto de 120 grados, que activa solo 12 000 millones de parámetros para lograr la máxima eficiencia y precisión de procesamiento en aplicaciones complejas con múltiples agentes. Ofrece un rendimiento hasta 7 veces mayor y proporciona una inferencia rápida y rentable para las tareas de las agencias. Una ventana de contexto extensa proporciona al modelo una memoria a largo plazo, lo que evita que los agentes de IA pierdan la concentración en tareas largas de varios pasos y garantiza resultados de alta precisión. Totalmente abierto con ponderaciones, conjuntos de datos y recetas, permite una personalización sencilla y una implementación segura. Para obtener más información sobre el desarrollo y el rendimiento de los modelos, consulte la model/service tarjeta.

Capacidades y características

Características de Bedrock

Funciones compatibles con el punto final bedrock-mantle

Funciones compatibles con el bedrock-runtime punto final

Precios

Para obtener información sobre precios, consulte la página de precios de Amazon Bedrock.

Acceso programático

Utilice los siguientes ID de modelo y URL de punto final para acceder a este modelo mediante programación. Para obtener más información sobre las API y los puntos de conexión disponibles, consulte las API compatibles y los puntos de conexión compatibles. bedrock/latest/userguide/endpoints.html

Por ejemplo, si la región es us-east-1 (norte de Virginia), la URL del punto final de bedrock-runtime será "» y para bedrock-mantle será https://bedrock-runtime.us-east-1.amazonaws.com "». https://bedrock-mantle.us-east-1.api.aws/v1

Niveles de servicio

Amazon Bedrock ofrece varios niveles de servicio para adaptarse a sus requisitos de carga de trabajo. La versión estándar proporciona acceso de pago por token sin compromiso (defina "service_tier": "default" u omita el campo). Priority ofrece los tiempos de respuesta más rápidos por un precio superior (fijo). "service_tier": "priority" Flex proporciona un acceso de menor costo para cargas de trabajo flexibles y que no requieren tiempo (conjunto). "service_tier": "flex" Reserved proporciona un rendimiento dedicado con un compromiso temporal para cargas de trabajo predecibles; se establece a nivel de cuenta y no por solicitud (póngase en contacto con su equipo de cuentas de AWS para habilitarlo). Para obtener más información, consulte los niveles de servicio.

Disponibilidad regional

La disponibilidad regional de un vistazo

Amazon Bedrock ofrece tres opciones de inferencia: In-Region mantiene las solicitudes en una sola región para garantizar un cumplimiento estricto, Cross-Region rutas geográficas entre regiones de una misma geografía (como EE. UU., UE y APAC) respetando la residencia de los datos, y Cross-Region rutas globales a cualquier parte del mundo cuando no hay restricciones de residencia. Consulte la Disponibilidad regional por modelos página para obtener más información.

Detalles de la inferencia de Geo CRIS

CRIS DE EE. UU. GovCloud

ID de inferencia de GovCloud CRIS de EE. UU.: us-gov.nvidia.nemotron-super-3-120b

Cuotas y límites

Su AWS cuenta tiene cuotas predeterminadas para mantener el rendimiento del servicio y garantizar el uso adecuado de Amazon Bedrock. Las cuotas predeterminadas asignadas a una cuenta pueden actualizarse en función de factores regionales, el historial de pagos, el uso fraudulento y la and/or aprobación de una solicitud de aumento de cuota. Para obtener más información, consulta la Cuotas para Amazon Bedrock documentación y los límites del modelo.

Código de muestra

Paso 1: AWS Cuenta: Si ya tiene una AWS cuenta, omita este paso. Si es la primera vez que lo AWS hace, regístrese para obtener una cuenta de AWS.

Paso 2: clave de API: vaya a la consola de Amazon Bedrock y genere una clave de API a largo plazo.

Paso 3: Obtenga el SDK: para utilizar esta guía de inicio, debe tener Python ya instalado. A continuación, instale el software correspondiente en función de las API que esté utilizando.

Chat Completions API

pip install boto3 openai

Invoke/Converse API

pip install boto3

Paso 4: Configure las variables de entorno: configure su entorno para usar la clave de API para la autenticación.

Chat Completions API

OPENAI_API_KEY="<provide your Bedrock API key>"
OPENAI_BASE_URL="https://bedrock-mantle.<your-region>.api.aws/v1"

Invoke/Converse API

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

Paso 5: Ejecute su primera solicitud de inferencia: guarde el archivo como bedrock-first-request.py

Chat Completions API

from openai import OpenAI

client = OpenAI()

response = client.chat.completions.create(
    model="nvidia.nemotron-super-3-120b",
    messages=[{"role": "user", "content": "Can you explain the features of Amazon Bedrock?"}]
    )
print(response)

Invoke API

import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='nvidia.nemotron-super-3-120b',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
)
print(json.loads(response['body'].read()))

Converse API

import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='nvidia.nemotron-super-3-120b',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)