按需型推理

按需推理提供无服务器方式访问 Amazon Nova 模型，无需预先配置算力资源。该模式可自动扩缩容以适配工作负载，并按实际使用量计费。

优势

按需推理具有以下多项优势：

使用按需推理

按需推理是 Amazon Nova 模型的默认模式。只需在进行 API 调用时指定模型 ID 即可：

import boto3

bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')

response = bedrock.converse(
    modelId='us.amazon.nova-2-lite-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Hello, Nova!'}]
        }
    ]
)

# Print the response text
content_list = response["output"]["message"]["content"]
text = next((item["text"] for item in content_list if "text" in item), None)
if text is not None:
    print(text)

定价

按需推理根据处理的输入和输出词元数量计费。有关当前定价详细信息，请参阅 Amazon Bedrock 定价。

限额和限制

按需推理具有默认配额，具体配额因模型和区域而异。要请求增加配额，可以使用服务配额控制台。