As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Monitore a inferência fundamental do tempo de execução usando métricas CloudWatch
O bedrock-runtime. endpoint Amazon Bedrock publica métricas para a Amazon CloudWatch sob o namespace. region.amazonaws.com.rproxy.govskope.caAWS/Bedrock Use essas métricas para monitorar o volume de invocação, a latência, o consumo de tokens, as taxas de erro e a entrega do registro de invocações do modelo.
Se seu aplicativo chama a inferênciabedrock-mantle., consulte Monitore a inferência fundamental usando métricas CloudWatch em vez disso.region.api.aws
Métricas de runtime do Amazon Bedrock
A tabela a seguir descreve as métricas de tempo de execução fornecidas pelo Amazon Bedrock.
| Nome da métrica | Unidade | Description |
|---|---|---|
| Invocations | SampleCount | Número de solicitações bem-sucedidas para as operações da Converse ConverseStream, InvokeModel, e InvokeModelWithResponseStreamda API. |
|
InvocationLatency |
MilliSeconds |
O horário desde o envio de uma solicitação até o recebimento do último token. Para distinguir os aumentos de latência causados por alterações na taxa de transferência do lado do serviço dos aumentos causados por respostas mais longas do modelo, consulte. Diagnostique InvocationLatencyaumentos usando tokens de saída por segundo (OTPS) |
|
InvocationClientErrors |
SampleCount |
Número de invocações que resultam em erros do lado do cliente. |
|
InvocationServerErrors |
SampleCount |
Número de invocações que resultam em erros do lado do AWS servidor. |
|
InvocationThrottles |
SampleCount |
Número de invocações que o sistema limitou. As solicitações com controle de utilização e outros erros de invocação não são consideradas invocações nem erros. O número de controles de utilização observado dependerá das configurações de nova tentativa estabelecidas no SDK. Para obter mais informações, consulte o comportamento de novas tentativas no Guia de referência de AWS SDKs e ferramentas. |
|
InputTokenCount |
SampleCount |
Número de tokens na entrada. |
| LegacyModelInvocations | SampleCount | Número de invocações usando modelos herdados |
|
OutputTokenCount |
SampleCount |
Número de tokens na saída. |
|
OutputImageCount |
SampleCount |
Número de imagens na saída (aplicável somente a modelos de geração de imagens). |
|
TimeToFirstToken |
MilliSeconds |
Tempo desde o envio da solicitação até o recebimento do primeiro token, para as ConverseStreamoperações da API InvokeModelWithResponseStreamde streaming. |
|
EstimatedTPMQuotaUsage |
SampleCount |
Consumo estimado da cota de tokens por minuto (TPM) nas operações da Converse, ConverseStreamInvokeModel, e InvokeModelWithResponseStreamda API. Essa métrica é uma aproximação e não reflete o consumo de tokens baseado em reservas que impulsiona as decisões de limitação. A limitação é baseada na reserva inicial de tokens de entrada plus |
|
CacheReadInputTokens |
SampleCount |
Número de tokens de entrada lidos do cache de prompts. Esses tokens são cobrados a uma taxa reduzida e não contam para sua cota de TPM. |
|
CacheWriteInputTokens |
SampleCount |
Número de tokens de entrada gravados no cache do prompt. Esses tokens contam para sua cota de TPM. |
Também há métricas para as Barreiras de Proteção do Amazon Bedrock e os Agentes do Amazon Bedrock.
Métricas de registro de invocação de modelos CloudWatch
Para cada tentativa de entrega bem-sucedida ou falha, as seguintes CloudWatch métricas da Amazon são emitidas sob o namespace AWS/Bedrock e a dimensão: Across all model IDs
-
ModelInvocationLogsCloudWatchDeliverySuccess -
ModelInvocationLogsCloudWatchDeliveryFailure -
ModelInvocationLogsS3DeliverySuccess -
ModelInvocationLogsS3DeliveryFailure -
ModelInvocationLargeDataS3DeliverySuccess -
ModelInvocationLargeDataS3DeliveryFailure
Para recuperar métricas para as operações do Amazon Bedrock, especifique as seguintes informações:
-
A dimensão da métrica. Uma dimensão é um conjunto de pares de nome-valor que você usa para identificar uma métrica. O Amazon Bedrock é compatível com as seguintes dimensões:
-
ModelId: todas as métricas -
ModelId + ImageSize + BucketedStepSize– OutputImageCount
-
-
O nome da métrica, como
InvocationClientErrors.
Você pode obter métricas para o Amazon Bedrock com a Console de gerenciamento da AWS AWS CLI, a ou a CloudWatch API. Você pode usar a CloudWatch API por meio de um dos kits de desenvolvimento de AWS software (SDKs) ou das ferramentas da CloudWatch API.
Para visualizar as métricas do Amazon Bedrock no CloudWatch console, acesse a seção de métricas no painel de navegação, selecione a opção Todas as métricas e, em seguida, pesquise o ID do modelo.
Você deve ter as CloudWatch permissões apropriadas para monitorar o Amazon Bedrock com. CloudWatch Para obter mais informações, consulte Autenticação e controle de acesso para a Amazon CloudWatch no Guia CloudWatch do usuário da Amazon.
