View a markdown version of this page

Jamba 1.5 Mini - Amazon Bedrock
AI21 Labs logo with pink and black text. AI21 實驗室 — Jamba 1.5 Mini模型詳細資訊支援的端點和 APIs定價程式設計存取服務層區域可用性配額和限制範例程式碼

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Jamba 1.5 Mini

AI21 Labs logo with pink and black text. AI21 實驗室 — Jamba 1.5 Mini

模型詳細資訊

Jamba 1.5 Mini 是 AI21 Labs 的輕量型混合式 SSM-Transformer 模型，具有 52B 總參數和 256K 內容視窗，針對低延遲企業任務進行了最佳化。如需模型開發和效能的詳細資訊，請參閱模型/服務卡。

  • 模型啟動日期：2024 年 8 月 22 日

  • EOL 不得早於：2025 年 8 月 22 日

  • 舊版期間：至少 6 個月

  • 模型生命週期政策：模型生命週期 （適用於 2026 年 9 月 7 日之前啟動的模型）

  • 模型 EOL 日期：2026 年 11 月 26 日

  • 最終使用者授權合約和使用條款：檢視

  • 模型生命週期：舊版

  • 內容視窗：256K 權杖

  • 最大輸出字符：4K

  • 知識截止日：2024 年 3 月

  • Marketplace 產品 ID： prod-ggrzjm65qmjhm

輸入模態 輸出模式
Red circle with white X icon indicating error, cancel, or close action. 音訊Red circle with white X icon indicating error, cancel, or close action. 內嵌
Red circle with white X icon indicating error, cancel, or close action. 影像Red circle with white X icon indicating error, cancel, or close action. 影像
Red circle with white X icon indicating error, cancel, or close action. 語音Red circle with white X icon indicating error, cancel, or close action. 語音
Green circle with white checkmark icon. 文字Green circle with white checkmark icon. 文字
Red circle with white X icon indicating error, cancel, or close action. 影片Red circle with white X icon indicating error, cancel, or close action. 影片

支援的端點和 APIs

下表顯示 Jamba 1.5 Mini 支援哪些端點和 APIs。如需詳細資訊，請參閱Amazon Bedrock 支援的 APIs及Amazon Bedrock 支援的端點。

端點支援

端點 支援的
bedrock-runtime supported
bedrock-mantle not-supported

bedrock-runtime端點上支援的 APIs

訊息 回應 聊天完成 Converse Invoke
not-supported not-supported not-supported supported supported

bedrock-mantle端點上支援的 APIs

訊息 回應 聊天完成 Converse Invoke
not-supported not-supported not-supported not-supported not-supported
提示

我們建議您盡可能將bedrock-runtime端點用於新應用程式。如需詳細資訊，請參閱 Amazon Bedrock 支援的端點。

定價

此模型是透過 AWS Marketplace 提供和計費的第三方模型。費用會顯示在模型提供者下的 AWS 帳單和 in AWS Cost Explorer 中 （不在 Amazon Bedrock 下）。如需定價，請參閱 Amazon Bedrock 定價頁面。

程式設計存取

使用以下模型 IDs和端點 URLs以程式設計方式存取此模型。如需可用 APIs和端點的詳細資訊，請參閱支援的 APIs和支援的端點。

端點 模型 ID 區域端點 URL 地理推論 ID 全域推論 ID
bedrock-runtime ai21.jamba-1-5-mini-v1:0 https://bedrock-runtime.{region}.amazonaws.com 不支援 不支援

例如，如果 region 是 us-east-1 （維吉尼亞北部），則 bedrock-runtime 端點 URL 將為 "https://bedrock-runtime.us-east-1.amazonaws.com"，bedrock-mantle 則為 "https://bedrock-mantle.us-east-1.api.aws/v1"。

服務層

Amazon Bedrock 提供多種服務層，以符合您的工作負載需求。Standard 提供pay-per-token存取 （設定"service_tier": "default"或省略 欄位）。Priority 提供價格溢價最快的回應時間 （設定 "service_tier": "priority")。Flex 為彈性、non-time-sensitive的工作負載提供較低成本的存取 （設定 "service_tier": "flex")。預留會提供專用輸送量與可預測工作負載的期限承諾；它會在帳戶層級設定，而不是根據請求設定 （請聯絡您的 AWS 帳戶團隊啟用）。如需詳細資訊，請參閱 服務方案。

標準 優先順序 Flex 預留
Green circle with white checkmark icon. Red circle with white X icon indicating error, cancel, or close action. Red circle with white X icon indicating error, cancel, or close action. Red circle with white X icon indicating error, cancel, or close action.

區域可用性

區域可用性一目了然

Amazon Bedrock 提供三種推論選項：區域內將請求保留在單一區域內，以確保嚴格合規、在遵守資料駐留時跨區域 （例如美國、歐洲和亞太區域） 的地理跨區域路由，以及在沒有駐留限制的情況下在全球任何地方進行全球跨區域路由。如需詳細資訊，請參閱 依模型的區域可用性頁面。

可用性因端點而異。

使用bedrock-runtime端點的可用性

區域 區域內 地理 全域
us-east-1 （維吉尼亞北部）Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.

配額和限制

AWS 您的帳戶具有預設配額來維持服務的效能，並確保適當使用 Amazon Bedrock。指派給帳戶的預設配額可能會根據區域因素、付款歷史記錄、詐騙使用量和/或配額增加請求的核准而更新。如需詳細資訊，請參閱 Amazon Bedrock 的配額 文件並參閱模型的限制。

範例程式碼

步驟 1 - AWS 帳戶：如果您已有 AWS 帳戶，請略過此步驟。如果您是新手 AWS，請註冊 AWS 帳戶。

步驟 2 - API 金鑰：前往 Amazon Bedrock 主控台並產生長期 API 金鑰。

步驟 3 - 取得 SDK：若要使用此入門指南，您必須已安裝 Python。然後，根據您使用的 APIs相關軟體。

pip install boto3

步驟 4 - 設定環境變數：設定您的環境以使用 API 金鑰進行身分驗證。

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

步驟 5 - 執行您的第一個推論請求：將檔案儲存為 bedrock-first-request.py

Invoke API
import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='ai21.jamba-1-5-mini-v1:0',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
)
print(json.loads(response['body'].read()))
Converse API
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='ai21.jamba-1-5-mini-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)