As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Monitore a inferência de tempo de execução básico usando métricas CloudWatch
O bedrock-runtime. endpoint Amazon Bedrock publica métricas na Amazon CloudWatch sob o namespace. region.amazonaws.com.rproxy.govskope.caAWS/Bedrock Use essas métricas para monitorar o volume de invocação, a latência, o consumo de token, as taxas de erro e modelar a entrega do registro de invocação.
Se seu aplicativo chamar a inferência por meio debedrock-mantle., consulte Monitore a inferência fundamental usando métricas CloudWatch em vez disso.region.api.aws
Métricas de runtime do Amazon Bedrock
A tabela a seguir descreve as métricas de tempo de execução fornecidas pelo Amazon Bedrock.
| Nome da métrica | Unidade | Description |
|---|---|---|
| Invocations | Contagem | Número de solicitações bem-sucedidas para as operações Converse ConverseStream, InvokeModel, e InvokeModelWithResponseStream API. |
|
InvocationLatency |
MilliSeconds |
O horário entre o envio da solicitação e o recebimento do último token. Para distinguir os aumentos de latência causados por mudanças na taxa de transferência do lado do serviço dos aumentos causados por respostas mais longas do modelo, consulte. Diagnostique InvocationLatencyaumentos usando tokens de saída por segundo (OTPS) |
|
InvocationClientErrors |
Contagem |
Número de invocações que resultam em erros do lado do cliente. |
|
InvocationServerErrors |
Contagem |
Número de invocações que resultam em erros do lado do AWS servidor. |
|
InvocationThrottles |
Contagem |
Número de invocações que o sistema limitou. As solicitações com controle de utilização e outros erros de invocação não são consideradas invocações nem erros. O número de controles de utilização observado dependerá das configurações de nova tentativa estabelecidas no SDK. Para obter mais informações, consulte Comportamento de AWS repetição no Guia de referência de SDKs e ferramentas. |
|
InputTokenCount |
Contagem |
Número de tokens na entrada. |
| LegacyModelInvocations | Contagem | Número de invocações usando modelos herdados |
|
OutputTokenCount |
Contagem |
Número de tokens na saída. |
|
OutputImageCount |
Contagem |
Número de imagens na saída (aplicável somente a modelos de geração de imagens). |
|
TimeToFirstToken |
MilliSeconds |
Horário entre o envio de uma solicitação ConverseStream e o recebimento do primeiro token para as operações da API InvokeModelWithResponseStream de streaming. |
|
EstimatedTPMQuotaUsage |
Contagem |
Consumo estimado de cotas de tokens por minuto (TPM) nas operações Converse, ConverseStream InvokeModel, e InvokeModelWithResponseStream API. Essa métrica é uma aproximação e não reflete o consumo de tokens baseado em reservas que impulsiona as decisões de limitação. A limitação é baseada na reserva antecipada de tokens de entrada mais |
|
CacheReadInputTokenCount |
Contagem |
Número de tokens de entrada lidos no cache de prompts. Esses tokens são cobrados a uma taxa reduzida e não contam para sua cota de TPM. |
|
CacheWriteInputTokenCount |
Contagem |
Número de tokens de entrada gravados no cache do prompt. Esses tokens contam para sua cota de TPM. |
Também há métricas para as Barreiras de Proteção do Amazon Bedrock e os Agentes do Amazon Bedrock.
Métricas de registro de invocação de modelos CloudWatch
Para cada tentativa de sucesso ou falha de entrega, as seguintes CloudWatch métricas da Amazon são emitidas sob o namespace AWS/Bedrock e a dimensão: Across all model IDs
-
ModelInvocationLogsCloudWatchDeliverySuccess -
ModelInvocationLogsCloudWatchDeliveryFailure -
ModelInvocationLogsS3DeliverySuccess -
ModelInvocationLogsS3DeliveryFailure -
ModelInvocationLargeDataS3DeliverySuccess -
ModelInvocationLargeDataS3DeliveryFailure
Para recuperar métricas para as operações do Amazon Bedrock, especifique as seguintes informações:
-
A dimensão da métrica. Uma dimensão é um conjunto de pares de nome-valor que você usa para identificar uma métrica. O Amazon Bedrock é compatível com as seguintes dimensões:
-
ModelId: todas as métricas -
ModelId + ImageSize + BucketedStepSize– OutputImageCount
-
-
O nome da métrica, como
InvocationClientErrors.
Você pode obter métricas para o Amazon Bedrock com a Console de gerenciamento da AWS AWS CLI, a ou a CloudWatch API. Você pode usar a CloudWatch API por meio de um dos kits de desenvolvimento de AWS software (SDKs) ou das ferramentas da CloudWatch API.
Para visualizar as métricas do Amazon Bedrock no CloudWatch console, acesse a seção de métricas no painel de navegação, selecione a opção todas as métricas e, em seguida, pesquise o ID do modelo.
Você deve ter as CloudWatch permissões apropriadas para monitorar o Amazon Bedrock com CloudWatch Para obter mais informações, consulte Autenticação e controle de acesso da Amazon CloudWatch no Guia do CloudWatch usuário da Amazon.
