View a markdown version of this page

隨需推論 - Amazon Nova
優勢使用隨需推論定價配額和限制

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

隨需推論

隨需推論提供 Amazon Nova 模型的無伺服器存取，而不需要佈建的容量。此模式會根據用量自動擴展以處理您的工作負載和費用。

優勢

隨需推論提供多種優點：

  • 無容量規劃：自動擴展以滿足需求

  • 每次使用付費：僅針對處理的字符收費

  • 即時可用性：不需要佈建或暖機時間

  • 成本效益：適用於可變或無法預測的工作負載

使用隨需推論

隨需推論是 Amazon Nova 模型的預設模式。只需在進行 API 呼叫時指定模型 ID：

import boto3

bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')

response = bedrock.converse(
    modelId='us.amazon.nova-2-lite-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Hello, Nova!'}]
        }
    ]
)

# Print the response text
content_list = response["output"]["message"]["content"]
text = next((item["text"] for item in content_list if "text" in item), None)
if text is not None:
    print(text)

定價

隨需推論會根據處理的輸入和輸出字符數量計費。如需目前定價詳細資訊，請參閱 Amazon Bedrock 定價。

配額和限制

隨需推論的預設配額因模型和區域而異。若要請求提高配額，請使用 Service Quotas 主控台。