View a markdown version of this page

核心推論 - Amazon Nova
重要：逾時組態核心推論主題

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

核心推論

推論是將請求傳送至 Amazon Nova 模型並接收產生的回應的程序。Amazon Nova 模型支援透過兩個 API 選項進行推論：

  • Converse API (Converse、ConverseStream)：提供跨不同模型的一致界面，讓您更輕鬆地在模型之間切換，或建置可與多個模型搭配使用的應用程式。建議大多數使用案例使用。

  • 叫用 API (InvokeModel、InvokeModelWithResponseStream)：請求承載是專門針對每個模型的原生格式所建構。使用請求內文中提供的提示字元和推論參數來執行推論。

這兩個 APIs都支援相同的核心功能，包括：

  • 多回合對話

  • 多模態輸入 （文字、影像、視訊、音訊）

  • 工具使用

  • 防護機制

  • 串流回應

兩個 APIs 之間的請求結構幾乎相同，只有位元組資料 （文件、影像、影片和音訊） 的編碼方式不同。對於 Amazon Nova 模型獨有的模型請求參數，例如 reasoningConfig和 TopK，這些參數會放置在 中的額外inferenceConfig物件中additionalModelRequestFields。這些是 InvokeModel和 的最上層參數InvokeModelWithResponseStream。

注意

檢閱程式碼範例和疑難排解，以取得 Nova 2 模型的程式碼範例清單。

將 modelId設定為下列其中一項，以使用 Amazon Nova 模型：

模型

模型 ID
Nova 2 Lite

  • global.amazon.nova-2-lite-v1：0

  • us.amazon.nova-2-lite-v1：0

Nova 2 聲波

  • global.amazon.nova-2-sonic-v1：0

  • us.amazon.nova-2-sonic-v1：0

Nova 多模態內嵌

amazon.nova-2-multimodal-embeddings-v1：0

重要：逾時組態

重要

Amazon Nova 推論請求最多可能需要 60 分鐘才能完成。相應地設定您的用戶端逾時設定：

下列範例為 Python 程式碼。使用者可以在該 SDK 的 API 文件中檢查其偏好的 SDK 語言版本的文件。

from botocore.config import Config

bedrock = boto3.client(
    'bedrock-runtime',
    region_name='us-east-1',
    config=Config(
        read_timeout=3600  # 60 minutes
    )
)

核心推論主題

本節討論下列主題：

  • 使用 converse API：提供大多數 Bedrock 模型相容性的一致界面

  • 使用 叫用 API：Nova 模型獨有的界面，而非其他 Bedrock 模型的可攜式界面

  • 串流回應：產生即時回應

  • 使用 Amazon Nova 內嵌：文字內嵌功能

  • 隨需推論：Pay-per-use推論模型