View a markdown version of this page

Rerank 3.5 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Rerank 3.5

Three overlapping circles in dark green, coral, and purple colors forming a logo or icon. Cohere — 重新排名 3.5

模型詳細資訊

重新排名 3.5 是 Cohere 的相關性評分模型,可重新排序搜尋結果,以提高 RAG 管道和企業搜尋的準確性。如需模型開發和效能的詳細資訊,請參閱模型/服務卡

輸入模式 輸出模式 支援的 APIs 支援的端點
Red circle with white X icon indicating error, cancel, or close action. 音訊Red circle with white X icon indicating error, cancel, or close action. 內嵌Red circle with white X icon indicating error, cancel, or close action. ResponsesGreen circle with white checkmark icon. bedrock-runtime
Red circle with white X icon indicating error, cancel, or close action. 影像Red circle with white X icon indicating error, cancel, or close action. 影像Red circle with white X icon indicating error, cancel, or close action. Chat CompletionsRed circle with white X icon indicating error, cancel, or close action. bedrock-mantle
Red circle with white X icon indicating error, cancel, or close action. 語音Red circle with white X icon indicating error, cancel, or close action. 語音Green circle with white checkmark icon. Invoke
Green circle with white checkmark icon. 文字Green circle with white checkmark icon. 文字Red circle with white X icon indicating error, cancel, or close action. Converse
Red circle with white X icon indicating error, cancel, or close action. 影片Red circle with white X icon indicating error, cancel, or close action. 影片
提示

我們建議您盡可能將bedrock-runtime端點用於新應用程式。如需詳細資訊,請參閱 Amazon Bedrock 支援的端點

定價

此模型是透過 AWS Marketplace 提供和計費的第三方模型。費用會顯示在模型提供者下的 AWS 帳單和 in AWS Cost Explorer 中 (不在 Amazon Bedrock 下)。如需定價,請參閱 Amazon Bedrock 定價頁面。

程式設計存取

使用以下模型 IDs和端點 URLs以程式設計方式存取此模型。如需可用 APIs和端點的詳細資訊,請參閱支援的 APIs支援的端點

端點 模型 ID 區域端點 URL 地理推論 ID 全域推論 ID
bedrock-runtime cohere.rerank-v3-5:0 https://bedrock-runtime.{region}.amazonaws.com 不支援 不支援

例如,如果 region 是 us-east-1 (維吉尼亞北部),則 bedrock-runtime 端點 URL 將為 "https://bedrock-runtime.us-east-1.amazonaws.com",bedrock-mantle 則為 "https://bedrock-mantle.us-east-1.api.aws/v1"。

服務層

Amazon Bedrock 提供多種服務層,以符合您的工作負載需求。Standard 提供pay-per-token存取 (設定"service_tier": "default"或省略 欄位)。Priority 提供價格溢價最快的回應時間 (設定 "service_tier": "priority")。Flex 為彈性、non-time-sensitive的工作負載提供較低成本的存取 (設定 "service_tier": "flex")。預留會提供專用輸送量與可預測工作負載的期限承諾;它會在帳戶層級設定,而不是根據請求設定 (請聯絡您的 AWS 帳戶團隊啟用)。如需詳細資訊,請參閱 服務方案

標準 優先順序 Flex 預留
Green circle with white checkmark icon. Red circle with white X icon indicating error, cancel, or close action. Red circle with white X icon indicating error, cancel, or close action. Red circle with white X icon indicating error, cancel, or close action.

區域可用性

區域可用性一目了然

Amazon Bedrock 提供三種推論選項:嚴格合規,區域內將請求保留在單一區域內、在遵守資料駐留時跨區域 (例如美國、歐洲和亞太區域) 的地理跨區域路由,以及在沒有駐留限制的情況下在全球任何地方進行全球跨區域路由。如需詳細資訊,請參閱 依模型的區域可用性頁面。

區域 區域內 地理 全域
us-east-1 (維吉尼亞北部)Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
us-west-2 (奧勒岡)Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
ca-central-1 (加拿大)Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
eu-central-1 (法蘭克福)Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.
ap-northeast-1 (東京)Green circle with white checkmark icon.Red circle with white X icon indicating error, cancel, or close action.Red circle with white X icon indicating error, cancel, or close action.

配額和限制

AWS 您的帳戶具有預設配額來維持服務的效能,並確保適當使用 Amazon Bedrock。指派給帳戶的預設配額可能會根據區域因素、付款歷史記錄、詐騙使用量和/或配額增加請求的核准而更新。如需詳細資訊,請參閱 Amazon Bedrock 的配額 文件並參閱模型的限制

範例程式碼

步驟 1 - AWS 帳戶:如果您已經有 AWS 帳戶,請略過此步驟。如果您是新手 AWS,請註冊 AWS 帳戶

步驟 2 - API 金鑰:前往 Amazon Bedrock 主控台並產生長期 API 金鑰。

步驟 3 - 取得 SDK:若要使用此入門指南,您必須已安裝 Python。然後,根據您使用的 APIs相關軟體。

pip install boto3

步驟 4 - 設定環境變數:設定您的環境以使用 API 金鑰進行身分驗證。

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

步驟 5 - 執行您的第一個推論請求:將檔案儲存為 bedrock-first-request.py

Rerank API
import boto3 client = boto3.client('bedrock-agent-runtime', region_name='us-east-1') response = client.rerank( queries=[{ 'type': 'TEXT', 'textQuery': {'text': 'What is Amazon Bedrock?'} }], sources=[ { 'type': 'INLINE', 'inlineDocumentSource': { 'type': 'TEXT', 'textDocument': {'text': 'Amazon Bedrock is a fully managed service for foundation models.'} } }, { 'type': 'INLINE', 'inlineDocumentSource': { 'type': 'TEXT', 'textDocument': {'text': 'Amazon S3 is an object storage service.'} } } ], rerankingConfiguration={ 'type': 'BEDROCK_RERANKING_MODEL', 'bedrockRerankingConfiguration': { 'modelConfiguration': { 'modelArn': 'arn:aws:bedrock:us-east-1::foundation-model/cohere.rerank-v3-5:0' }, 'numberOfResults': 2 } } ) for result in response['results']: print(f'Index: {result["index"]}, Score: {result["relevanceScore"]}')