Detección de anomalías en registros - Amazon CloudWatch Logs

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Detección de anomalías en registros

Puede crear un detector de anomalías de registros para cada grupo de registro. Un detector de anomalías de registro analiza los eventos de registro incorporados al grupo de registro y busca anomalías en los datos del registro. La detección de anomalías utiliza métodos de machine learning y el reconocimiento de patrones para establecer líneas base del contenido típico de los registros.

Después de crear un detector de anomalías para un grupo de registro, se entrena mediante los eventos de registro de las últimas dos semanas en el grupo de registro para la formación. El período de formación puede tardar hasta 15 minutos. Una vez finalizada la formación, comienza a analizar los registros entrantes para identificar las anomalías, que se muestran en la consola de registros para que las examine. CloudWatch

CloudWatch El reconocimiento de patrones de registros extrae los patrones de registro al identificar el contenido estático y dinámico de los registros. Los patrones son útiles para analizar conjuntos de registros grandes porque, a menudo, una gran cantidad de eventos de registro se pueden comprimir en unos pocos patrones.

Por ejemplo, consulte el siguiente ejemplo de tres eventos de registro.

2023-01-01 19:00:01 [INFO] Calling DynamoDB to store for ResourceID: 12342342k124-12345 2023-01-01 19:00:02 [INFO] Calling DynamoDB to store for ResourceID: 324892398123-1234R 2023-01-01 19:00:03 [INFO] Calling DynamoDB to store for ResourceID: 3ff231242342-12345

En el ejemplo anterior, los tres eventos de registro siguen un patrón:

<Date-1> <Time-2> [INFO] Calling DynamoDB to store for resource id <ResourceID-3>

Los campos dentro de un patrón se denominan tokens. Los campos que varían dentro de un patrón, como un ID de solicitud o una marca de tiempo, se denominan tokens dinámicos. Cada valor diferente que se encuentre en un token dinámico se denomina valor de token.

Si CloudWatch Logs puede deducir el tipo de datos que representa un token dinámico, muestra el token como<string-number>. stringEs una descripción del tipo de datos que representa el token. numberMuestra en qué parte del patrón aparece este token, en comparación con los otros tokens dinámicos.

CloudWatch Los registros asignan a la cadena una parte del nombre en función del análisis del contenido de los eventos del registro que lo contienen.

Si CloudWatch Logs no puede deducir el tipo de datos que representa un token dinámico, muestra el token como <Token- number > e number indica en qué parte del patrón aparece este token, en comparación con los demás tokens dinámicos.

Algunos ejemplos comunes de tokens dinámicos son los códigos de error, las direcciones IP, las marcas de tiempo y las solicitudes. IDs

La detección de anomalías en los registros utiliza estos patrones para encontrar anomalías. Tras el período de entrenamiento del modelo de detector de anomalías, los registros se evalúan comparándolos con las tendencias conocidas. El detector de anomalías marca las fluctuaciones significativas como anomalías.

En este capítulo se describe cómo habilitar la detección de anomalías, ver las anomalías, crear alarmas para los detectores de anomalías de registro y las métricas que publican estos últimos. También describe cómo cifrar el detector de anomalías y sus resultados con. AWS Key Management Service

La creación de detectores de anomalías de registro no conlleva cargos.

Gravedad y prioridad de las anomalías y patrones

A cada anomalía que descubre un detector de anomalías de registro se le asigna una prioridad. A cada patrón encontrado se le asigna una gravedad.

  • La prioridad se calcula automáticamente y se basa tanto en el nivel de gravedad del patrón como en la cantidad de desviación con respecto a los valores esperados. Por ejemplo, si un determinado valor del token aumenta repentinamente un 500 %, esa anomalía puede designarse como de prioridad HIGH aunque su gravedad sea NONE.

  • La gravedad se basa únicamente en las palabras clave que se encuentran en patrones como FATAL, ERROR y WARN. Si no se encuentra ninguna de estas palabras clave, la gravedad del patrón se marca como NONE.

Tiempo de visibilidad de anomalías

Al crear un detector de anomalías, debe especificar el período máximo de visibilidad de las anomalías. Es el número de días durante los que la anomalía se muestra en la consola y la devuelve la operación de la ListAnomaliesAPI. Una vez transcurrido este período de tiempo en una anomalía, si continúa ocurriendo, se acepta automáticamente como un comportamiento normal y el modelo detector de anomalías deja de marcarla como tal.

Si no ajusta el tiempo de visibilidad al crear un detector de anomalías, se utilizan 21 días de forma predeterminada.

Supresión de anomalías

Una vez detectada una anomalía, puede suprimirla temporal o permanentemente. Al suprimir una anomalía, el detector de anomalías deja de marcar la incidencia como una anomalía durante el tiempo que especifique. Al suprimir una anomalía, puede optar por suprimir solo esa anomalía específica o suprimir todas las anomalías relacionadas con el patrón en el que se encontró esta.

Puede seguir viendo las anomalías suprimidas en la consola. También puede dejar de suprimirlas.

Preguntas frecuentes

¿ AWS Utilizo mis datos para entrenar los algoritmos de aprendizaje automático para AWS su uso o para otros clientes?

No. El modelo de detección de anomalías que crea la formación se basa en los eventos de registro de un grupo de registro y solo se usa dentro de ese grupo de registro y esa cuenta de AWS .

¿Qué tipos de eventos de registro funcionan bien con la detección de anomalías?

La detección de anomalías en los registros es adecuada para: los registros de aplicaciones y otros tipos de registros en los que la mayoría de las entradas de registro se ajustan a los patrones típicos. Los grupos de registro con eventos que contienen un nivel de registro o palabras clave de gravedad, como INFO, ERROR y DEBUG, son especialmente adecuados para la detección de anomalías en los registros.

La detección de anomalías en los registros no es adecuada para: Registrar eventos con estructuras JSON extremadamente largas, como los registros. CloudTrail El análisis de patrones analiza solo los primeros 1500 caracteres de una línea de registro, por lo que se omite cualquier carácter que supere ese límite.

Los registros de auditoría o acceso, como los registros de flujo de VPC, también tendrán menos éxito con la detección de anomalías. El objetivo de la detección de anomalías es detectar problemas en las aplicaciones, por lo que es posible que esta opción no sea adecuada para las anomalías de acceso o de red.

Para ayudarle a determinar si un detector de anomalías es adecuado para un grupo de registros determinado, utilice el análisis de patrones de CloudWatch registros para encontrar el número de patrones en los eventos de registro del grupo. Si el número de patrones no supera los 300, la detección de anomalías debería funcionar bien. Para obtener más información sobre el análisis de patrones, consulte Análisis del patrón.

¿Qué se marca como una anomalía?

Los siguientes resultados pueden provocar que un evento de registro se marque como una anomalía:

  • Un evento de registro con un patrón que no se había visto antes en el grupo de registro.

  • Una variación significativa de un patrón conocido.

  • Un valor nuevo de un token dinámico que tiene un conjunto discreto de valores habituales.

  • Un cambio importante en el número de apariciones de un valor de un token dinámico.

Si bien todos los elementos anteriores pueden marcarse como anomalías, no todos ellos significan que la aplicación esté funcionando mal. Por ejemplo, higher-than-usual varios valores de 200 éxito pueden marcarse como anomalías. En casos como este, considere la posibilidad de suprimir las anomalías que no indiquen problemas.

¿Qué ocurre con los datos confidenciales que se enmascaran?

Las partes de los eventos de registro que estén enmascaradas como datos confidenciales no se escanean para detectar anomalías. Para obtener más información, consulte Protección de datos de registro confidenciales con el enmascaramiento.