Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Supervise la inferencia en tiempo de ejecución fundamental mediante métricas CloudWatch
El bedrock-runtime. punto de conexión de Amazon Bedrock publica las métricas en Amazon CloudWatch en el region.amazonaws.com.rproxy.govskope.caAWS/Bedrock espacio de nombres. Usa estas métricas para monitorear el volumen de invocaciones, la latencia, el consumo de tokens, las tasas de error y modelar la entrega de los registros de invocación.
Si su aplicación realiza una inferenciabedrock-mantle., consulte en su lugar. Supervise la inferencia del manto rocoso mediante métricas CloudWatchregion.api.aws
Métricas en tiempo de ejecución de Amazon Bedrock
En la siguiente tabla, se describen las métricas del tiempo de ejecución que proporciona Amazon Bedrock.
| Nombre de métrica | Unidad | Description (Descripción) |
|---|---|---|
| Invocations | SampleCount | Número de solicitudes realizadas correctamente a las operaciones de Converse ConverseStreamInvokeModel, y InvokeModelWithResponseStreamAPI. |
|
InvocationLatency |
MilliSeconds |
El tiempo transcurrido desde que se envía una solicitud hasta que se recibe el último token. Para distinguir los aumentos de latencia causados por los cambios en el rendimiento del lado del servicio de los aumentos causados por respuestas más largas del modelo, consulte. Diagnostique los InvocationLatencyaumentos mediante tokens de salida por segundo (OTPS) |
|
InvocationClientErrors |
SampleCount |
Número de invocaciones que dan lugar a errores del lado del cliente. |
|
InvocationServerErrors |
SampleCount |
Número de invocaciones que provocan errores en el servidor. AWS |
|
InvocationThrottles |
SampleCount |
Número de invocaciones que el sistema ha limitado. Las solicitudes limitadas y otros errores de invocación no se contabilizan como invocaciones ni como errores. El número de limitaciones que vea dependerá de la configuración de reintentos del SDK. Para obtener más información, consulta el comportamiento de los reintentos en la Guía de referencia de los AWS SDK y las herramientas. |
|
InputTokenCount |
SampleCount |
Número de tokens de la entrada. |
| LegacyModelInvocations | SampleCount | Número de invocaciones que utilizan modelos Heredados |
|
OutputTokenCount |
SampleCount |
Número de tokens de la salida. |
|
OutputImageCount |
SampleCount |
Número de imágenes en la salida (solo aplicable a los modelos de generación de imágenes). |
|
TimeToFirstToken |
MilliSeconds |
El tiempo transcurrido desde que se envía una solicitud hasta que se recibe el primer token, tanto para las operaciones de la API como para ConverseStreamlas de InvokeModelWithResponseStreamstreaming. |
|
EstimatedTPMQuotaUsage |
SampleCount |
Consumo estimado de cuotas de tokens por minuto (TPM) en las operaciones de Converse y InvokeModelWithResponseStreamAPI. ConverseStreamInvokeModel Esta métrica es una aproximación y no refleja el consumo de fichas basado en las reservas que impulsa las decisiones restrictivas. La limitación se basa en la reserva inicial de los tokens de entrada más |
|
CacheReadInputTokens |
SampleCount |
Número de símbolos de entrada leídos de la caché de solicitudes. Estos tokens se cobran a una tarifa reducida y no se tienen en cuenta para tu cuota de TPM. |
|
CacheWriteInputTokens |
SampleCount |
Número de símbolos de entrada escritos en la caché de solicitudes. Estos tokens se tienen en cuenta para tu cuota de TPM. |
También hay métricas para Barreras de protección para Amazon Bedrock y Agentes para Amazon Bedrock.
Modele las métricas de registro de invocaciones CloudWatch
Para cada intento de entrega exitoso o fallido, se emiten las siguientes CloudWatch métricas de Amazon en el espacio de nombres y Across all model IDs la AWS/Bedrock dimensión:
-
ModelInvocationLogsCloudWatchDeliverySuccess -
ModelInvocationLogsCloudWatchDeliveryFailure -
ModelInvocationLogsS3DeliverySuccess -
ModelInvocationLogsS3DeliveryFailure -
ModelInvocationLargeDataS3DeliverySuccess -
ModelInvocationLargeDataS3DeliveryFailure
Para obtener métricas de las operaciones de Amazon Bedrock, especifique la siguiente información:
-
La dimensión de la métrica. Una dimensión es un conjunto de pares nombre-valor que se emplea para identificar una métrica. Amazon Bedrock es compatible con las siguientes dimensiones:
-
ModelId: todas las métricas -
ModelId + ImageSize + BucketedStepSize– OutputImageCount
-
-
El nombre de la métrica, como
InvocationClientErrors.
Puede obtener métricas de Amazon Bedrock con la Consola de administración de AWS AWS CLI, la o la CloudWatch API. Puede utilizar la CloudWatch API a través de uno de los kits de desarrollo de AWS software (SDK) o las herramientas de la CloudWatch API.
Para ver las métricas de Amazon Bedrock en la CloudWatch consola, vaya a la sección de métricas del panel de navegación, seleccione la opción todas las métricas y, a continuación, busque el ID del modelo.
Debe tener los CloudWatch permisos adecuados para monitorear Amazon Bedrock. CloudWatch Para obtener más información, consulte Autenticación y control de acceso para Amazon CloudWatch en la Guía del CloudWatch usuario de Amazon.
