As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Instrução do Llama 3.1 405B

Meta — Llama 3.1 405B Instruct

Detalhes do modelo

O Llama 3.1 405B Instruct é o maior modelo aberto da Meta com 405 bilhões de parâmetros e uma janela de contexto de 128K, suportando o uso de ferramentas e tarefas multilíngues. Para obter mais informações sobre desenvolvimento e desempenho do modelo, consulte o model/service cartão.

Capacidades e características

Características do Bedrock

Recursos compatíveis com o uso do bedrock-runtime endpoint

Preços

Para obter informações sobre preços, consulte a página de preços do Amazon Bedrock.

Acesso programático

Use os seguintes IDs de modelo e URLs de endpoint para acessar esse modelo de forma programática. Para obter mais informações sobre as APIs e endpoints disponíveis, consulte APIs suportadas e Endpoints suportados.

Por exemplo, se a região for us-east-1 (Norte da Virgínia), a URL do endpoint bedrock-runtime será "" e para bedrock-mantle será https://bedrock-runtime.us-east-1.amazonaws.com "”. https://bedrock-mantle.us-east-1.api.aws/v1

Níveis de serviço

O Amazon Bedrock oferece vários níveis de serviço para atender às suas necessidades de carga de trabalho. O Standard fornece acesso pago por token sem compromisso (defina "service_tier": "default" ou omita o campo). O Priority oferece os tempos de resposta mais rápidos por um preço premium (conjunto"service_tier": "priority"). O Flex fornece acesso de baixo custo para cargas de trabalho flexíveis e não sensíveis ao tempo (conjunto). "service_tier": "flex" O Reserved fornece uma taxa de transferência dedicada com um compromisso de prazo para cargas de trabalho previsíveis; ela é definida no nível da conta e não por solicitação (entre em contato com sua equipe de contas da AWS para habilitar). Para obter mais informações, consulte níveis service-tiers-inference.html de serviço.

Disponibilidade regional

Visão geral da disponibilidade regional

O Amazon Bedrock oferece três opções de inferência: In-Region mantém as solicitações em uma única região para conformidade estrita, Cross-Region rotas geográficas entre regiões dentro de uma geografia (como EUA, UE e APAC), respeitando a residência de dados, e Cross-Region rotas globais em qualquer lugar do mundo, quando não há restrições de residência. Consulte a Disponibilidade regional por modelos página para obter mais detalhes.

Detalhes da inferência geográfica

Geolocalização: EUA

ID de inferência geográfica: us.meta.llama3-1-405b-instruct-v1:0

Código de exemplo

Etapa 1 - AWS Conta: Se você já tem uma AWS conta, pule esta etapa. Se você não conhece AWS, cadastre-se em uma conta da AWS.

Etapa 2 - Chave de API: acesse o console do Amazon Bedrock e gere uma chave de API de longo prazo.

Etapa 3 - Obtenha o SDK: para usar este guia de introdução, você deve ter o Python já instalado. Em seguida, instale o software relevante, dependendo das APIs que você está usando.

pip install boto3

Etapa 4 - Definir variáveis de ambiente: configure seu ambiente para usar a chave de API para autenticação.

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

Etapa 5 - Execute sua primeira solicitação de inferência: salve o arquivo como bedrock-first-request.py

Converse API

import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='meta.llama3-1-405b-instruct-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)