As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Llama 3 8B Instruct

Meta — Llama 3 8B Instruct

Detalhes do modelo

O Llama 3 8B Instruct é o modelo ajustado por instruções de 8 bilhões de parâmetros da Meta com uma janela de contexto de 8K, projetado para implantação eficiente em infraestruturas menores. Para obter mais informações sobre desenvolvimento e desempenho de modelos, consulte o model/service cartão.

Capacidades e recursos

Características do Bedrock

Recursos suportados usando bedrock-runtime endpoint

Preços

Para obter os preços, consulte a página de preços do Amazon Bedrock.

Acesso programático

Use os seguintes IDs de modelo e URLs de endpoint para acessar esse modelo programaticamente. Para obter mais informações sobre as APIs e os endpoints disponíveis, consulte APIs suportadas e Endpoints suportados.

Por exemplo, se a região for us-east-1 (Norte da Virgínia), a URL do endpoint bedrock-runtime será "" e para bedrock-mantle será https://bedrock-runtime.us-east-1.amazonaws.com "“. https://bedrock-mantle.us-east-1.api.aws/v1

Níveis de serviço

O Amazon Bedrock oferece vários níveis de serviço para atender às suas necessidades de carga de trabalho. O Standard fornece acesso pago por token sem compromisso. O Priority oferece maior produtividade com um compromisso baseado em tempo. O Flex fornece acesso de baixo custo para cargas de trabalho flexíveis e não urgentes. O Reserved fornece taxa de transferência dedicada com um compromisso de longo prazo para cargas de trabalho previsíveis. Para obter mais informações, consulte níveis de serviço.

Disponibilidade regional

Visão geral da disponibilidade regional

O Bedrock oferece três opções de inferência: In-Regionmantém as solicitações em uma única região para conformidade estrita, Cross-Region rotas geográficas entre regiões dentro de uma geografia (EUA, UE etc.) para maior produtividade, respeitando a residência dos dados, e Cross-Region rotas globais em qualquer lugar do mundo para obter a máxima produtividade quando não há restrições de residência. Consulte a Disponibilidade regional página para obter mais detalhes.

Cotas e limites

Sua conta da AWS tem cotas padrão para manter o desempenho do serviço e garantir o uso adequado do Amazon Bedrock. As cotas padrão atribuídas a uma conta podem ser atualizadas dependendo de fatores regionais, histórico de pagamentos, uso fraudulento e and/or aprovação de uma solicitação de aumento de cota. Para obter mais detalhes, consulte a Cotas do Amazon Bedrock documentação e veja os limites do modelo.

Código de exemplo

Etapa 1 - Conta da AWS: se você já tem uma conta da AWS, pule esta etapa. Se você é novo na AWS, cadastre-se em uma conta da AWS.

Etapa 2 - Chave de API: acesse o console do Amazon Bedrock e gere uma chave de API de longo prazo.

Etapa 3 - Obtenha o SDK: para usar este guia de introdução, você deve ter o Python já instalado. Em seguida, instale o software relevante, dependendo das APIs que você está usando.

pip install boto3

Etapa 4 - Definir variáveis de ambiente: configure seu ambiente para usar a chave de API para autenticação.

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

Etapa 5 - Execute sua primeira solicitação de inferência: salve o arquivo como bedrock-first-request.py

Invoke API

import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='meta.llama3-8b-instruct-v1:0',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
)
print(json.loads(response['body'].read()))

Converse API

import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='meta.llama3-8b-instruct-v1:0',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)