Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Supervise la inferencia del tiempo de ejecución básico mediante métricas CloudWatch
El bedrock-runtime. punto final de Amazon Bedrock publica las métricas en Amazon en el region.amazonaws.com.rproxy.govskope.caAWS/Bedrock espacio de CloudWatch nombres. Utilice estas métricas para supervisar el volumen de invocaciones, la latencia, el consumo de tokens, las tasas de error y modelar la entrega del registro de invocaciones.
Si tu aplicación llama a través de la inferenciabedrock-mantle., consulta en su lugar. Supervise la inferencia del manto rocoso mediante métricas CloudWatchregion.api.aws
Métricas en tiempo de ejecución de Amazon Bedrock
En la siguiente tabla, se describen las métricas del tiempo de ejecución que proporciona Amazon Bedrock.
| Nombre de métrica | Unidad | Description (Descripción) |
|---|---|---|
| Invocations | Recuento | Número de solicitudes exitosas a las operaciones de Converse, ConverseStream InvokeModel, y InvokeModelWithResponseStream API. |
|
InvocationLatency |
MilliSeconds |
El tiempo transcurrido desde que se envía una solicitud hasta que se recibe el último token. Para distinguir los aumentos de latencia causados por cambios en el rendimiento del lado del servicio de los aumentos causados por respuestas más largas del modelo, consulte. Diagnostique los InvocationLatencyaumentos mediante tokens de salida por segundo (OTPS) |
|
InvocationClientErrors |
Recuento |
Número de invocaciones que dan lugar a errores del lado del cliente. |
|
InvocationServerErrors |
Recuento |
Número de invocaciones que provocan errores en AWS el servidor. |
|
InvocationThrottles |
Recuento |
Número de invocaciones que el sistema ha limitado. Las solicitudes limitadas y otros errores de invocación no se contabilizan como invocaciones ni como errores. El número de limitaciones que vea dependerá de la configuración de reintentos del SDK. Para obtener más información, consulte el comportamiento de los reintentos en la Guía de referencia de herramientas y AWS SDK. |
|
InputTokenCount |
Recuento |
Número de tokens de la entrada. |
| LegacyModelInvocations | Recuento | Número de invocaciones que utilizan modelos Heredados |
|
OutputTokenCount |
Recuento |
Número de tokens de la salida. |
|
OutputImageCount |
Recuento |
Número de imágenes en la salida (solo aplicable a los modelos de generación de imágenes). |
|
TimeToFirstToken |
MilliSeconds |
El tiempo transcurrido entre el envío de una solicitud y el momento en que se recibe el primer token, para las operaciones de la API ConverseStream y de InvokeModelWithResponseStream streaming. |
|
EstimatedTPMQuotaUsage |
Recuento |
Consumo estimado de cuotas de tokens por minuto (TPM) en las operaciones de Converse ConverseStream InvokeModel, y InvokeModelWithResponseStream API. Esta métrica es una aproximación y no refleja el consumo de tokens basado en las reservas que impulsa las decisiones restrictivas. La limitación se basa en la reserva inicial de los tokens de entrada más |
|
CacheReadInputTokenCount |
Recuento |
Número de tokens de entrada leídos de la caché de mensajes. Estos tokens se cobran a una tarifa reducida y no se tienen en cuenta para su cuota de TPM. |
|
CacheWriteInputTokenCount |
Recuento |
Número de tokens de entrada escritos en la caché de mensajes. Estos tokens se tienen en cuenta para su cuota de TPM. |
También hay métricas para Barreras de protección para Amazon Bedrock y Agentes para Amazon Bedrock.
Modele las métricas del registro de invocaciones CloudWatch
Para cada intento de entrega exitoso o fallido, se emiten las siguientes CloudWatch métricas de Amazon en el espacio de nombres y Across all model IDs la AWS/Bedrock dimensión:
-
ModelInvocationLogsCloudWatchDeliverySuccess -
ModelInvocationLogsCloudWatchDeliveryFailure -
ModelInvocationLogsS3DeliverySuccess -
ModelInvocationLogsS3DeliveryFailure -
ModelInvocationLargeDataS3DeliverySuccess -
ModelInvocationLargeDataS3DeliveryFailure
Para obtener métricas de las operaciones de Amazon Bedrock, especifique la siguiente información:
-
La dimensión de la métrica. Una dimensión es un conjunto de pares nombre-valor que se emplea para identificar una métrica. Amazon Bedrock es compatible con las siguientes dimensiones:
-
ModelId: todas las métricas -
ModelId + ImageSize + BucketedStepSize– OutputImageCount
-
-
El nombre de la métrica, como
InvocationClientErrors.
Puede obtener las métricas de Amazon Bedrock con la API Consola de administración de AWS AWS CLI, la o la CloudWatch API. Puede utilizar la CloudWatch API mediante uno de los kits de desarrollo de AWS software (SDK) o las herramientas de la CloudWatch API.
Para ver las métricas de Amazon Bedrock en la CloudWatch consola, vaya a la sección de métricas del panel de navegación, seleccione la opción de todas las métricas y, a continuación, busque el ID del modelo.
Debe disponer de CloudWatch los permisos adecuados para supervisar Amazon Bedrock. CloudWatch Para obtener más información, consulte la sección sobre autenticación y control de acceso de Amazon CloudWatch en la guía del CloudWatch usuario de Amazon.
