View a markdown version of this page

NVIDIA Nemotron Nano 9B v2 - Amazon Bedrock
NVIDIA logo with green and black eye icon. NVIDIA：NVIDIA Nemotron Nano 9B v2模型詳細資訊功能和功能定價程式設計存取服務層區域可用性配額和限制範例程式碼

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

NVIDIA Nemotron Nano 9B v2

NVIDIA logo with green and black eye icon. NVIDIA：NVIDIA Nemotron Nano 9B v2

模型詳細資訊

Nemotron Nano 9B v2 是 NVIDIA 的 90 億參數模型，已針對 NVIDIA 硬體上的有效文字產生、推理和編碼進行最佳化。如需模型開發和效能的詳細資訊，請參閱模型/服務卡。

  • 模型啟動日期：2025 年 8 月 18 日

  • 模型 EOL 日期：不適用

  • 最終使用者授權合約和使用條款：檢視

  • 模型生命週期：作用中

  • 內容視窗：128K 權杖

  • 最大輸出字符：8K

輸入模式 輸出模式 支援的 APIs 支援的端點
Red circle with white X icon indicating error, cancel, or close action. 音訊Red circle with white X icon indicating error, cancel, or close action. 內嵌Red circle with white X icon indicating error, cancel, or close action. ResponsesGreen circle with white checkmark icon. bedrock-runtime
Red circle with white X icon indicating error, cancel, or close action. 影像Red circle with white X icon indicating error, cancel, or close action. 影像Green circle with white checkmark icon. Chat CompletionsGreen circle with white checkmark icon. bedrock-mantle
Red circle with white X icon indicating error, cancel, or close action. 語音Red circle with white X icon indicating error, cancel, or close action. 語音Green circle with white checkmark icon. Invoke
Green circle with white checkmark icon. 文字Green circle with white checkmark icon. 文字Green circle with white checkmark icon. Converse
Red circle with white X icon indicating error, cancel, or close action. 影片Red circle with white X icon indicating error, cancel, or close action. 影片
注意

我們建議您盡可能使用 bedrock-runtime端點。

提示

我們建議您盡可能將bedrock-runtime端點用於新應用程式。如需詳細資訊，請參閱 Amazon Bedrock 支援的端點。

功能和功能

Bedrock 功能

使用bedrock-mantle端點支援的功能

支援的 不支援

使用bedrock-runtime端點支援的功能

支援的 不支援

定價

如需定價資訊，請參閱 Amazon Bedrock 定價頁面。

程式設計存取

使用以下模型 IDs和端點 URLs以程式設計方式存取此模型。如需可用 APIs和端點的詳細資訊，請參閱支援的 APIs和支援的端點。

端點 模型 ID 區域端點 URL 地理推論 ID 全域推論 ID
bedrock-runtime nvidia.nemotron-nano-9b-v2 https://bedrock-runtime.{region}.amazonaws.com us-gov.nvidia.nemotron-nano-9b-v2 不支援
bedrock-mantle nvidia.nemotron-nano-9b-v2 https://bedrock-mantle.{region}.api.aws/v1 不支援 不支援

例如，如果 region 是 us-east-1 （維吉尼亞北部），則 bedrock-runtime 端點 URL 將為 "https://bedrock-runtime.us-east-1.amazonaws.com"，bedrock-mantle 則為 "https://bedrock-mantle.us-east-1.api.aws/v1"。

服務層

Amazon Bedrock 提供多種服務層，以符合您的工作負載需求。Standard 提供pay-per-token存取 （設定"service_tier": "default"或省略 欄位）。Priority 提供價格溢價最快的回應時間 （設定 "service_tier": "priority")。Flex 為彈性、non-time-sensitive的工作負載提供較低成本的存取 （設定 "service_tier": "flex")。預留會提供專用輸送量與可預測工作負載的期限承諾；它會在帳戶層級設定，而不是根據請求設定 （請聯絡您的 AWS 帳戶團隊啟用）。如需詳細資訊，請參閱 服務方案。

標準 優先順序 Flex 預留
Green circle with white checkmark icon. Green circle with white checkmark icon. Green circle with white checkmark icon. Red circle with white X icon indicating error, cancel, or close action.

區域可用性

區域可用性一目了然

Amazon Bedrock 提供三種推論選項：為嚴格合規，區域內將請求保留在單一區域內、在遵守資料駐留時跨區域 （例如美國、歐洲和亞太區域） 的地理跨區域路由，以及在沒有駐留限制的情況下在全球任何地方進行全球跨區域路由。如需詳細資訊，請參閱 依模型的區域可用性頁面。

區域 區域內 地理 全域
us-east-1 （維吉尼亞北部）Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
us-east-2 （俄亥俄）Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
us-west-2 （奧勒岡）Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
eu-south-1 （米蘭）Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
eu-west-1 （愛爾蘭）Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
eu-west-2 （倫敦）Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
ap-northeast-1 （東京）Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
ap-south-1 （孟買）Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
ap-southeast-2 （雪梨）Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
sa-east-1 （聖保羅）Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
ap-southeast-3 （雅加達）Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
ap-southeast-4 （墨爾本）Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
us-gov-west-1 (GovCloud)Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
eu-central-1 （法蘭克福）Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
eu-north-1 （斯德哥爾摩）Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.

Geo CRIS 推論詳細資訊

美國 GovCloud CRIS

US GovCloud CRIS 推論 ID： us-gov.nvidia.nemotron-nano-9b-v2

來源區域 目的地區域
us-gov-west-1 (GovCloud 西部）us-gov-west-1 (GovCloud 西部）、us-gov-east-1 (GovCloud 東部）
us-gov-east-1 (GovCloud 東部）us-gov-west-1 (GovCloud 西部）、us-gov-east-1 (GovCloud 東部）

配額和限制

AWS 您的帳戶具有預設配額來維持服務的效能，並確保適當使用 Amazon Bedrock。指派給帳戶的預設配額可能會根據區域因素、付款歷史記錄、詐騙使用量和/或配額增加請求的核准而更新。如需詳細資訊，請參閱 Amazon Bedrock 的配額 文件並參閱模型的限制。

範例程式碼

步驟 1 - AWS 帳戶：如果您已經有 AWS 帳戶，請略過此步驟。如果您是新手 AWS，請註冊 AWS 帳戶。

步驟 2 - API 金鑰：前往 Amazon Bedrock 主控台並產生長期 API 金鑰。

步驟 3 - 取得 SDK：若要使用此入門指南，您必須已安裝 Python。然後，根據您使用的 APIs相關軟體。

Responses/Chat Completions API
pip install boto3 openai
Invoke/Converse API
pip install boto3

步驟 4 - 設定環境變數：設定您的環境以使用 API 金鑰進行身分驗證。

Responses/Chat Completions API
OPENAI_API_KEY="<provide your Bedrock API key>"
OPENAI_BASE_URL="https://bedrock-mantle.<your-region>.api.aws/v1"
Invoke/Converse API
AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

步驟 5 - 執行您的第一個推論請求：將檔案儲存為 bedrock-first-request.py

Chat Completions API
from openai import OpenAI

client = OpenAI()

response = client.chat.completions.create(
    model="nvidia.nemotron-nano-9b-v2",
    messages=[{"role": "user", "content": "Can you explain the features of Amazon Bedrock?"}]
    )
print(response)
Invoke API
import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='nvidia.nemotron-nano-9b-v2',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
)
print(json.loads(response['body'].read()))
Converse API
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='nvidia.nemotron-nano-9b-v2',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)