As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Jamba 1.5 Mini

Laboratórios AI21 — Jamba 1.5 Mini

Detalhes do modelo

O Jamba 1.5 Mini é o SSM-Transformer modelo híbrido leve da AI21 Labs com 52B de parâmetros totais e uma janela de contexto de 256K, otimizado para tarefas corporativas de baixa latência. Para obter mais informações sobre desenvolvimento e desempenho do modelo, consulte o model/service cartão.

Preços

Para obter informações sobre preços, consulte a página de preços do Amazon Bedrock.

Acesso programático

Use os seguintes IDs de modelo e URLs de endpoint para acessar esse modelo de forma programática. Para obter mais informações sobre as APIs e endpoints disponíveis, consulte APIs suportadas e Endpoints suportados.

Por exemplo, se a região for us-east-1 (Norte da Virgínia), a URL do endpoint bedrock-runtime será "" e para bedrock-mantle será https://bedrock-runtime.us-east-1.amazonaws.com "”. https://bedrock-mantle.us-east-1.api.aws/v1

Níveis de serviço

O Amazon Bedrock oferece vários níveis de serviço para atender às suas necessidades de carga de trabalho. O Standard fornece acesso pago por token sem compromisso (defina "service_tier": "default" ou omita o campo). O Priority oferece os tempos de resposta mais rápidos por um preço premium (conjunto"service_tier": "priority"). O Flex fornece acesso de baixo custo para cargas de trabalho flexíveis e não sensíveis ao tempo (conjunto). "service_tier": "flex" O Reserved fornece uma taxa de transferência dedicada com um compromisso de prazo para cargas de trabalho previsíveis; ela é definida no nível da conta e não por solicitação (entre em contato com sua equipe de contas da AWS para habilitar). Para obter mais informações, consulte os níveis bedrock/latest/userguide/service-tiers-inference.html de serviço.

Disponibilidade regional

Visão geral da disponibilidade regional

O Amazon Bedrock oferece três opções de inferência: In-Region mantém as solicitações em uma única região para conformidade estrita, Cross-Region rotas geográficas entre regiões dentro de uma geografia (como EUA, UE e APAC), respeitando a residência de dados, e Cross-Region rotas globais em qualquer lugar do mundo, quando não há restrições de residência. Consulte a Disponibilidade regional por modelos página para obter mais detalhes.

Cotas e limites

Sua AWS conta tem cotas padrão para manter o desempenho do serviço e garantir o uso adequado do Amazon Bedrock. As cotas padrão atribuídas a uma conta podem ser atualizadas dependendo de fatores regionais, histórico de pagamentos, uso fraudulento e and/or aprovação de uma solicitação de aumento de cota. Para obter mais informações, consulte a Cotas do Amazon Bedrock documentação e os limites do modelo.

Código de exemplo

Etapa 1 - AWS Conta: Se você já tem uma AWS conta, pule esta etapa. Se você não conhece AWS, cadastre-se em uma conta da AWS.

Etapa 2 - Chave de API: acesse o console do Amazon Bedrock e gere uma chave de API de longo prazo.

Etapa 3 - Obtenha o SDK: para usar este guia de introdução, você deve ter o Python já instalado. Em seguida, instale o software relevante, dependendo das APIs que você está usando.

pip install boto3

Etapa 4 - Definir variáveis de ambiente: configure seu ambiente para usar a chave de API para autenticação.

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

Etapa 5 - Execute sua primeira solicitação de inferência: salve o arquivo como bedrock-first-request.py

Invoke API

import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='ai21.jamba-1-5-mini-v1:0',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
)
print(json.loads(response['body'].read()))

Converse API

import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='ai21.jamba-1-5-mini-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)