本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

NVIDIA Nemotron Nano 9B v2

英伟达 — NVIDIA Nemotron Nano 9B v2

模型详细信息

Nemotron Nano 9B v2 是 NVIDIA 的 90 亿个参数模型，针对在 NVIDIA 硬件上高效生成、推理和编码进行了优化。有关模型开发和性能的更多信息，请参阅model/service 卡片。

能力和特性

基岩特征

使用bedrock-mantle终端节点支持的功能

使用bedrock-runtime终端节点支持的功能

定价

有关定价信息，请参阅亚马逊基岩定价页面。

以编程方式访问

使用以下模型 ID 和端点 URL 以编程方式访问此模型。有关可用 API 和终端节点的更多信息，请参阅支持的 API 和支持的终端节点。

例如，如果区域为 us-east-1（弗吉尼亚北部），则基岩运行时终端节点 URL 将为 “”，基岩地堡的网址将为 https://bedrock-runtime.us-east-1.amazonaws.com “”。https://bedrock-mantle.us-east-1.api.aws/v1

服务等级

Amazon Bedrock 提供多个服务等级以满足您的工作负载要求。Standard 提供按代币付费的访问权限，无需承诺（设置"service_tier": "default"或省略该字段）。Priority 以溢价（套装"service_tier": "priority"）提供最快的响应时间。Flex 为灵活、非时间敏感的工作负载（套装）提供更低成本的访问权限。"service_tier": "flex"预留为可预测的工作负载提供专用吞吐量和期限承诺；它是在账户级别设置的，而不是根据每个请求设置的（请联系您的 AWS 账户团队来启用）。有关更多信息，请参阅服务等级。

区域可用性

区域可用性一览

Amazon Bedrock 提供三种推理选项：将请求In-Region保留在单一区域内以确保严格合规；在尊重数据驻留的前提下跨地理区域（例如美国、欧盟和亚太地区）进行地理路由；在没有居住限制的情况下，全球 Cross-Region路由到全球任何地方。 Cross-Region 有关更多详细信息，请参阅该按型号划分的区域可用性页面。

Geo CRIS 推理细节

美国 GovCloud 危机

美国 GovCloud CRIS 推断 ID：us-gov.nvidia.nemotron-nano-9b-v2

配额和限制

您的 AWS 账户有默认配额，以维持服务的性能并确保适当使用 Amazon Bedrock。分配给账户的默认配额可能会根据地区因素、付款历史记录、欺诈性使用、配额增加请求的 and/or 批准情况进行更新。有关更多信息，请参阅Amazon Bedrock 的配额文档并查看模型的限制。

示例代码

第 1 步- AWS 账户：如果您已经有 AWS 账户，请跳过此步骤。如果您是新手 AWS，请注册一个 A WS 账户。

第 2 步-API 密钥：前往亚马逊 Bedrock 控制台并生成长期 API 密钥。

第 3 步-获取 SDK：要使用此入门指南，必须已安装 Python。然后根据您使用的 API 安装相关软件。

Responses/Chat Completions API

pip install boto3 openai

Invoke/Converse API

pip install boto3

第 4 步-设置环境变量：将您的环境配置为使用 API 密钥进行身份验证。

Responses/Chat Completions API

OPENAI_API_KEY="<provide your Bedrock API key>"
OPENAI_BASE_URL="https://bedrock-mantle.<your-region>.api.aws/v1"

Invoke/Converse API

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

第 5 步-运行您的第一个推理请求：将文件另存为 bedrock-first-request.py

Chat Completions API

from openai import OpenAI

client = OpenAI()

response = client.chat.completions.create(
    model="nvidia.nemotron-nano-9b-v2",
    messages=[{"role": "user", "content": "Can you explain the features of Amazon Bedrock?"}]
    )
print(response)

Invoke API

import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='nvidia.nemotron-nano-9b-v2',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
)
print(json.loads(response['body'].read()))

Converse API

import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='nvidia.nemotron-nano-9b-v2',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)