Configure o registro de invocação de modelo no Amazon Bedrock usando AWS CloudFormation - Recomendações da AWS
ResumoPré-requisitos e limitaçõesArquiteturaFerramentasÉpicosRecursos relacionados

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configure o registro de invocação de modelo no Amazon Bedrock usando AWS CloudFormation

Vikramaditya Bhatnagar, Amazon Web Services

Resumo

Você pode configurar o Amazon Bedrock para coletar logs de invocação, dados de entrada do modelo e dados de saída do modelo para todas as invocações do modelo em sua Conta da AWS. Essa é a prática recomendada para criar aplicações robustas de IA generativa com o Amazon Bedrock. Você pode armazenar registros de invocação de modelo em um grupo de CloudWatch logs do Amazon Logs, em um bucket do Amazon Simple Storage Service (Amazon S3) ou em ambos. Ter dados de registro no CloudWatch Logs ajuda você a criar filtros métricos, alarmes e painéis personalizados. O Amazon S3 é ideal para replicar dados em Regiões da AWS ou para armazenamento de longo prazo, conforme regido pelas políticas da sua organização.

Esse padrão fornece um AWS CloudFormation modelo de amostra que usa uma abordagem de infraestrutura como código (IaC) para configurar o registro de invocação de modelo para o Amazon Bedrock. O modelo configura o armazenamento de registros no CloudWatch Logs e no Amazon S3.

Pré-requisitos e limitações

Pré-requisitos

  • Um ativo Conta da AWS

  • As seguintes permissões:

    • Permissões para criar CloudFormation pilhas

    • Permissões para acessar o Amazon Bedrock

    • Permissões para criar e acessar buckets do Amazon S3

    • Permissões para criar e acessar grupos de CloudWatch registros do Logs

    • Permissões para criar e acessar AWS Lambda funções

    • Permissões para criar e acessar AWS Key Management Service (AWS KMS) chaves

Limitações

Esse padrão registra invocações do modelo no CloudWatch Logs e no Amazon S3. Ele não fornece suporte para a escolha de apenas um desses dois serviços.

Arquitetura

Arquitetura de destino

O CloudFormation modelo fornece os seguintes recursos em seu alvo Conta da AWS:

  • Um grupo CloudWatch de registros de registros para armazenar registros de invocação de modelos

  • Um bucket do Amazon S3 para armazenar os logs de invocação do modelo e uma política de bucket correspondente

  • Um bucket do Amazon S3 para armazenar logs de acesso do lado do servidor e uma política de bucket correspondente

  • Uma AWS Lambda função que define as configurações de registro no Amazon Bedrock

  • Um AWS KMS key e um alias de chave correspondente

  • Uma função de serviço AWS Identity and Access Management (IAM) para o Amazon Bedrock

O diagrama a seguir mostra como os registros de invocação são armazenados após a implantação da CloudFormation pilha associada a esse padrão. O Amazon Bedrock publica dados de log sempre que o modelo de base fornece texto, imagens, vídeos ou dados de incorporação. Conforme mostrado no diagrama, os buckets do Amazon S3 e o grupo de CloudWatch logs Logs são criptografados com um. AWS KMS key

Fluxo de trabalho para registrar em log as invocações de um modelo de base do Amazon Bedrock.

O diagrama mostra o seguinte fluxo de trabalho:

  1. Um usuário envia uma consulta para um modelo de base no Amazon Bedrock.

  2. O Amazon Bedrock assume o perfil de serviço do IAM.

  3. O Amazon Bedrock gera dados de log e os armazena em um grupo de CloudWatch registros de registros e em um bucket do Amazon S3.

  4. Se um usuário ler, carregar ou excluir arquivos de qualquer bucket do Amazon S3 que contenha os logs de invocação do modelo, essas atividades serão registradas em outro bucket do Amazon S3 para logs de acesso do lado do servidor.

Automação e escala

Para escalar essa solução, você pode implantar o CloudFormation modelo como uma pilha definida para vários Regiões da AWS e. Contas da AWS Para obter mais informações, consulte Gerenciamento de pilhas entre contas e regiões StackSets na CloudFormation documentação.

Ferramentas

Serviços da AWS

  • O Amazon Bedrock é um serviço totalmente gerenciado que disponibiliza modelos básicos de alto desempenho (FMs) das principais empresas de IA e da Amazon para seu uso por meio de uma API unificada.

  • AWS CloudFormationajuda você a configurar AWS recursos, provisioná-los de forma rápida e consistente e gerenciá-los durante todo o ciclo de vida em Contas da AWS e. Regiões da AWS

  • O Amazon CloudWatch Logs ajuda você a centralizar os registros de todos os seus sistemas e aplicativos, Serviços da AWS para que você possa monitorá-los e arquivá-los com segurança.

  • AWS Identity and Access Management (IAM) ajuda você a gerenciar com segurança o acesso aos seus AWS recursos controlando quem está autenticado e autorizado a usá-los.

  • O AWS Lambda é um serviço de computação que ajuda a executar código sem exigir provisionamento ou gerenciamento de servidores. Ele executa o código somente quando necessário e dimensiona automaticamente, assim, você paga apenas pelo tempo de computação usado.

  • AWS Key Management Service (AWS KMS) ajuda você a criar e controlar chaves criptográficas para ajudar a proteger seus dados.

  • O Amazon Simple Storage Service (Amazon S3) é um serviço de armazenamento de objetos que proporciona escalabilidade, disponibilidade de dados, segurança e performance líderes no setor.

Outras ferramentas

  • O Git é um sistema de controle de versão distribuído e de código aberto.

Repositório de código

O código desse padrão está disponível no repositório GitHub enable-bedrock-logging-using-cloudformation.

Épicos

TarefaDescriptionHabilidades necessárias

Baixe o CloudFormation modelo.

Baixe o CloudFormation modelo do GitHub repositório.

Arquiteto de nuvem

Implante o modelo.

Crie uma pilha na sua conta de destino e na região desejada. Na seção Parâmetros, especifique os valores para os parâmetros definidos no modelo. Para obter instruções, consulte Criação de uma pilha na CloudFormation documentação.

Arquiteto de nuvem
TarefaDescriptionHabilidades necessárias

Habilite o acesso ao modelo.

No Amazon Bedrock, adicione o acesso ao modelo de base. Para obter instruções, consulte Adicionar ou remover acesso a modelos de base do Amazon Bedrock na documentação do Amazon Bedrock.

Arquiteto de nuvem

Execute um prompt de amostra.

Na área de experimentação do Amazon Bedrock, execute um prompt de amostra. Para instruções, consulte Gerar respostas no console usando áreas de experimentação na documentação do Amazon Bedrock.

Arquiteto de nuvem

Analise a configuração do registro em log.

  1. Faça login no console do Amazon Bedrock.

  2. Na barra de navegação, escolha Região da AWS onde você implantou a CloudFormation pilha.

  3. No painel de navegação à esquerda, em Configurações do Bedrock, escolha Configurações.

  4. Confirme o seguinte:

    • O registro em log de invocação do modelo está habilitado.

    • Todos os tipos de dados estão selecionados.

    • Para destinos de registro, S3 e CloudWatch Logs são selecionados.

Arquiteto de nuvem

Analise o bucket do Amazon S3.

  1. Na seção de configurações do S3, selecione Procurar no S3. Isso abrirá o bucket de destino no console do Amazon S3.

  2. Confirme se os dados de log estão presentes para o prompt de amostra que você executou anteriormente.

Arquiteto de nuvem

Analise o grupo de logs.

  1. Volte para a página Configurações no console do Amazon Bedrock.

  2. Na seção Configurações de CloudWatch registros, revise as configurações do grupo de CloudWatch registros de registros. Anote o nome do grupo de logs.

  3. Abra o console do CloudWatch .

  4. No painel de navegação, em Logs, escolha Grupos de logs.

  5. Escolha o nome do grupo de logs em que o Amazon Bedrock publica os dados de log.

  6. Confirme se os dados de log estão presentes para o prompt de amostra que você executou anteriormente.

Arquiteto de nuvem

Recursos relacionados

AWS documentação

AWS postagens no blog