View a markdown version of this page

Claude 3.5 Haiku - Amazon Bedrock
带有白色径向加载或进度指示符号的橙色圆形方形图标。 Anthropic — Claude 3.5 Haiku模型详细信息支持的终端节点和 API定价以编程方式访问服务等级区域可用性配额和限制示例代码

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Claude 3.5 Haiku

带有白色径向加载或进度指示符号的橙色圆形方形图标。 Anthropic — Claude 3.5 Haiku

模型详细信息

Claude 3.5 Haiku 是 Anthropic 的下一代快速模型，在相同速度等级下，其编码和推理性能比 Claude 3 Haiku 有所提高。有关模型开发和性能的更多信息，请参阅model/service 卡片。

  • 模型发布日期：2024 年 11 月 4 日

  • EOL 不早于：2025 年 11 月 4 日

  • 遗产期：至少 6 个月

  • 模型生命周期政策：模型生命周期（适用于 2026 年 9 月 7 日之前发布的模型）

  • 车型停产日期：202 6 年 6 月 19 日

  • 最终用户许可协议和使用条款：查看

  • 模型生命周期：旧版

  • 上下文窗口：20万个代币

  • 最大输出代币：8K

  • 知识截止时间：2024 年 7 月

  • 商城产品编号：prod-5oba7y7jpji56

输入模式 输出模式
Red circle with white X icon indicating error, cancel, or close action.音频Red circle with white X icon indicating error, cancel, or close action.嵌入
Red circle with white X icon indicating error, cancel, or close action.图片Red circle with white X icon indicating error, cancel, or close action.图片
Red circle with white X icon indicating error, cancel, or close action.演讲Red circle with white X icon indicating error, cancel, or close action.演讲
Green circle with white checkmark icon.文本Green circle with white checkmark icon.文本
Red circle with white X icon indicating error, cancel, or close action.视频Red circle with white X icon indicating error, cancel, or close action.视频

使用bedrock-runtime端点进行隐式和显式提示缓存

有关更多信息，请参阅提示缓存以加快模型推断。

支持显式提示缓存 每个缓存检查点的最小令牌 每个请求的最大缓存检查点数 支持的 TTL 接受提示缓存检查点的字段
是 2,048 4 5 分钟 system、messages 和 tools

支持的终端节点和 API

下表显示了 Claude 3.5 Haiku 支持哪些端点和 API。有关更多信息，请参阅亚马逊 Bedrock 支持的 API和亚马逊 Bedrock 支持的终端节点。

终端支持

Endpoint 支持的
bedrock-runtime supported
bedrock-mantle not-supported

bedrock-runtime终端支持的 API

消息 响应 聊天完成次数 Converse Invoke
not-supported not-supported not-supported supported supported

bedrock-mantle终端支持的 API

消息 响应 聊天完成次数 Converse Invoke
not-supported not-supported not-supported not-supported not-supported
提示

只要有可能，我们建议将bedrock-runtime终端节点用于新应用程序。有关详细信息，请参阅亚马逊 Bedrock 支持的终端节点。

定价

此模型是通过 AWS 商城提供和计费的第三方模式。费用显示在您的 AWS 账单上，也显示在模型提供商下的 AWS 成本管理器中（不在 Amazon Bedrock 下）。有关定价，请参阅亚马逊基岩定价页面。

以编程方式访问

使用以下模型 ID 和端点 URL 以编程方式访问此模型。有关可用 API 和终端节点的更多信息，请参阅支持的 API 和支持的终端节点。

Endpoint 模特 ID In-Region 端点 URL 地理推断 ID 全局推理 ID
bedrock-runtime anthropic.claude-3-5-haiku-20241022-v1:0 https://bedrock-runtime.{region}.amazonaws.com us.anthropic.claude-3-5-haiku-20241022-v1:0 N/A

例如，如果区域为 us-east-1（弗吉尼亚北部），则基本运行时终端节点 URL 将为 “”。https://bedrock-runtime.us-east-1.amazonaws.com

服务等级

Amazon Bedrock 提供多个服务等级以满足您的工作负载要求。Standard 提供按代币付费的访问权限，无需承诺（设置"service_tier": "default"或省略该字段）。Priority 以溢价（套装"service_tier": "priority"）提供最快的响应时间。Flex 为灵活、非时间敏感的工作负载（套装）提供更低成本的访问权限。"service_tier": "flex"预留为可预测的工作负载提供专用吞吐量和期限承诺；它是在账户级别设置的，而不是根据每个请求设置的（请联系您的 AWS 账户团队来启用）。有关更多信息，请参阅服务等级。

Standard 优先级 Flex 已保留
Green circle with white checkmark icon. Red circle with white X icon indicating error, cancel, or close action. Red circle with white X icon indicating error, cancel, or close action. Red circle with white X icon indicating error, cancel, or close action.

区域可用性

区域可用性一览

Amazon Bedrock 提供三种推理选项：将请求In-Region保留在单一区域内以确保严格合规；在尊重数据驻留的前提下跨地理区域（例如美国、欧盟和亚太地区）进行地理路由；在没有居住限制的情况下，全球 Cross-Region路由到全球任何地方。 Cross-Region 有关更多详细信息，请参阅该按型号划分的区域可用性页面。

可用性因端点而异。

使用bedrock-runtime终端节点的可用性

区域 In-Region 地理 Global
us-east-1（弗吉尼亚北部）not-supportedsupportednot-supported
us-east-2（俄亥俄州）not-supportedsupportednot-supported
us-west-2（俄勒冈州）supportedsupportednot-supported

地理推理细节

地理：美国

地理推断 ID：us.anthropic.claude-3-5-haiku-20241022-v1:0

来源区域 目的地区域
us-east-1（弗吉尼亚州北部）us-east-1（弗吉尼亚北部）、us-east-2（俄亥俄州）、us-west-2（俄勒冈州）
us-east-2（俄亥俄州）us-east-1（弗吉尼亚北部）、us-east-2（俄亥俄州）、us-west-2（俄勒冈州）
us-west-2 (俄勒冈)us-east-1（弗吉尼亚北部）、us-east-2（俄亥俄州）、us-west-2（俄勒冈州）

配额和限制

您的 AWS 账户有默认配额，以维持服务的性能并确保适当使用 Amazon Bedrock。分配给账户的默认配额可能会根据地区因素、付款历史记录、欺诈性使用、配额增加请求的 and/or 批准情况进行更新。有关更多信息，请参阅Amazon Bedrock 的配额文档并查看模型的限制。

示例代码

第 1 步- AWS 账户：如果您已经有 AWS 账户，请跳过此步骤。如果您是新手 AWS，请注册一个 A WS 账户。

第 2 步-API 密钥：前往亚马逊 Bedrock 控制台并生成长期 API 密钥。

第 3 步-获取 SDK：要使用此入门指南，必须已安装 Python。然后根据您使用的 API 安装相关软件。

pip install boto3

第 4 步-设置环境变量：将您的环境配置为使用 API 密钥进行身份验证。

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

第 5 步-运行您的第一个推理请求：将文件另存为 bedrock-first-request.py

Invoke API
import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='anthropic.claude-3-5-haiku-20241022-v1:0',
    body=json.dumps({
            'anthropic_version': 'bedrock-2023-05-31',
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
)
print(json.loads(response['body'].read()))
Converse API
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='anthropic.claude-3-5-haiku-20241022-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)