Invocações de modelos - Amazon CloudWatch
Como habilitar a invocação de modelos no Amazon Bedrock

Invocações de modelos

A funcionalidade de observabilidade de IA generativa do CloudWatch permite monitorar a performance das invocações de modelos. É possível acompanhar métricas, como a contagem de invocações, o uso de tokens e os erros, usando visualizações prontas para uso. Para obter uma visibilidade detalhada sobre o conteúdo relacionado à invocação, como as entradas e as saídas, habilite o registro em log de invocação do Bedrock e envie os logs para o CloudWatch. Para obter mais informações, consulte Set up a CloudWatch Logs destination e Help protect sensitive log data with masking.

Como habilitar a invocação de modelos no Amazon Bedrock

nota

É necessário habilitar o registro em log de invocação do modelo no Amazon Bedrock para visualizar as invocações.

Para habilitar o registro em log de invocação do modelo no Amazon Bedrock, siga estas etapas:

  1. Abra o console do Amazon Bedrock em https://console.aws.amazon.com/bedrock/.

  2. Escolha Settings.

  3. Em Registro em log de invocação do modelo, selecione Registro em log de invocação do modelo.

  4. Escolha os tipos de dados obrigatórios a serem incluídos nos logs. Opte por enviar os registros somente para o CloudWatch Logs ou para ambos, o Amazon S3 e o CloudWatch Logs.

  5. Nas configurações do CloudWatch Logs, crie um nome para o grupo de logs e selecione os perfis de serviços apropriados.

  6. Escolha os tipos de dados obrigatórios a serem incluídos nos logs.

  7. Escolha Salvar configurações.

    É possível visualizar os painéis configurados previamente de forma automática ao começar a usar as invocações do Amazon Bedrock. Após habilitar Model Invocation logging, você pode visualizar os painéis padrão e acessar a tabela de invocação localizada abaixo deles.

observabilidade de IA generativa

  • Contagem de invocação: número de solicitações bem-sucedidas às operações de API Converse, ConverseStream, InvokeModel e InvokeModelWithResponseStream.

  • Latência de invocação: tempo de latência das invocações.

  • Contagem de tokens por modelo: contagem de tokens por modelo, detalhada pelas contagens de tokens de entrada e de tokens de saída.

  • Contagem diária de tokens por ModelID: contagem total diária de tokens por ID do modelo.

  • InputTokenCount e OutputTokenCount: número total de tokens na entrada e na saída nesta conta, considerando os modelos selecionados.

  • Solicitações agrupadas por tokens de entrada: número de solicitações agrupadas em seis intervalos, conforme o número de tokens de entrada. Cada linha representa o número de solicitações que se enquadram em um intervalo específico.

  • Controle de utilização para invocação: número de invocações controladas pelo sistema devido ao controle de utilização. O número de controles de utilização observado dependerá das configurações de nova tentativa estabelecidas no SDK. Para obter mais informações, consulte o comportamento Retry no Guia de referência dos SDKs e das ferramentas da AWS.

  • Contagem de erros de invocação: número de invocações que resultaram em erros do lado do servidor e do lado do cliente.

Para usar o painel de invocação de modelos, siga estas etapas:

  1. Passe o cursor do mouse sobre qualquer gráfico de métricas para visualizar os detalhes da invocação. Você pode selecionar o ícone Alarme para configurar Alarms que monitorem a qualidade e a performance da aplicação. Para obter informações sobre a configuração de alarmes, consulte Alarms. Para obter mais informações sobre as métricas, consulte Amazon Bedrock runtime metrics.

  2. No menu suspenso ModelID, você pode selecionar um ID de modelo para visualizar as métricas correspondentes.

  3. Selecione Visualizar em métricas do CloudWatch para visualizar as métricas do painel no CloudWatch.

  4. Selecione Substituição de período para ajustar o intervalo de tempo das métricas (por exemplo, um minuto, uma hora ou seis horas).

  5. Em Invocações, escolha ID da solicitação para visualizar os detalhes da solicitação. É possível visualizar os detalhes de entrada e de saída da invocação de modelos no painel localizado à direita.

Invocação de modelos: visualização por ID da solicitação

Na página ID da solicitação, no menu suspenso Ações, selecione Visualizar no Logs Insights para visualizar os logs no CloudWatch. Para obter mais informações, consulte Analisar logs de dados com o CloudWatch Logs Insights.