Crea un parser di log personalizzato per Amazon ECS utilizzando un router di log Firelens - Prontuario AWS
RiepilogoPrerequisiti e limitazioniArchitetturaStrumentiEpicheRisorse correlateAllegati

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Crea un parser di log personalizzato per Amazon ECS utilizzando un router di log Firelens

Creato da Varun Sharma (AWS)

Riepilogo

Firelens è un router di log per Amazon Elastic Container Service (Amazon ECS) e AWS Fargate. Puoi utilizzare Firelens per instradare i log dei container da Amazon ECS ad CloudWatch Amazon e ad altre destinazioni (ad esempio, Splunk o Sumo Logic). Firelens funziona con Fluentd o Fluent Bit come agente di registrazione, il che significa che puoi utilizzare i parametri di definizione delle attività di Amazon ECS per instradare i log.

Scegliendo di analizzare i log a livello di origine, puoi analizzare i dati di registrazione ed eseguire query per rispondere in modo più efficiente ed efficace ai problemi operativi. Poiché applicazioni diverse hanno modelli di registrazione diversi, è necessario utilizzare un parser personalizzato che struttura i log e faciliti la ricerca nella destinazione finale.

Questo modello utilizza un router di log Firelens con un parser personalizzato a cui inviare i log CloudWatch da un'applicazione Spring Boot di esempio in esecuzione su Amazon ECS. Puoi quindi utilizzare Amazon CloudWatch Logs Insights per filtrare i log in base a campi personalizzati generati dal parser personalizzato.

Prerequisiti e limitazioni

Prerequisiti

  • Un account Amazon Web Services (AWS) attivo.

  • AWS Command Line Interface (AWS CLI), installata e configurata sul computer locale.

  • Docker, installato e configurato sul tuo computer locale.

  • Un'applicazione containerizzata esistente basata su Spring Boot su Amazon Elastic Container Registry (Amazon ECR). 

Architettura

Utilizzo di un router di log Firelens per inviare i log CloudWatch da un'applicazione in esecuzione su Amazon ECS.

Stack tecnologico

  • CloudWatch

  • Amazon ECR

  • Amazon ECS

  • Fargate

  • Docker

  • Fluent Bit

Strumenti

  • Amazon ECR — Amazon Elastic Container Registry (Amazon ECR) è un servizio di registro di immagini di container gestito da AWS sicuro, scalabile e affidabile.

  • Amazon ECS — Amazon Elastic Container Service (Amazon ECS) è un servizio di gestione dei container veloce e altamente scalabile che semplifica l'esecuzione, l'arresto e la gestione dei container su un cluster.

  • AWS Identity and Access Management (IAM): IAM è un servizio Web per controllare in modo sicuro l'accesso ai servizi AWS.

  • AWS CLI — AWS Command Line Interface (AWS CLI) è uno strumento open source che consente di interagire con i servizi AWS utilizzando i comandi nella shell della riga di comando.

  • Docker: Docker è una piattaforma aperta per lo sviluppo, la spedizione e l'esecuzione di applicazioni.

Codice

I seguenti file sono allegati a questo modello:

  • customFluentBit.zip— Contiene i file per aggiungere l'analisi e le configurazioni personalizzate.

  • firelens_policy.json— Contiene il documento di policy per creare una policy IAM.

  • Task.json— Contiene una definizione di attività di esempio per Amazon ECS.

Epiche

AttivitàDescrizioneCompetenze richieste

Crea un repository Amazon ECR.

Accedi alla Console di gestione AWS, apri la console Amazon ECR e crea un repository chiamato. fluentbit_custom

Per ulteriori informazioni su questo argomento, consulta Creazione di un repository nella documentazione di Amazon ECR.

Amministratore di sistema, sviluppatore

Decomprimi il customFluentBit pacchetto.zip.

 

  1. Scarica il customFluentBit.zip pacchetto (allegato) sul tuo computer locale. 

  2. Decomprimi nella customFluentBit directory eseguendo il seguente comando: unzip -d customFluentBit.zip

  3. La directory contiene i seguenti file necessari per aggiungere l'analisi e le configurazioni personalizzate:

    • parsers/springboot_parser.conf— Contiene la direttiva parser e definisce il modello di espressione regolare (regex) per il parser personalizzato. Puoi aggiungere il pattern regex per il tuo parser specifico.

    •  conf/parse_springboot.conf— Contiene il filtro e la direttiva di servizio.

    • Il Dockerfile

Crea l'immagine Docker personalizzata.

  1. Cambiare la directory in customFluentBit.

  2. Apri la console Amazon ECR, scegli il fluentbit_custom repository, quindi scegli Visualizza comandi push. 

  3. Carica il tuo progetto. 

  4. Una volta completato il caricamento, copia l'URL della build. Questo URL è obbligatorio quando crei un contenitore in Amazon ECS

Per ulteriori informazioni su questo argomento, consulta Pushing a Docker image nella documentazione di Amazon ECR. 

Amministratore di sistema, sviluppatore
AttivitàDescrizioneCompetenze richieste

Crea un cluster Amazon ECS.

Crea un cluster Amazon ECS seguendo le istruzioni dalla sezione Modello solo per reti di rete di Creazione di un cluster nella documentazione di Amazon ECS.

Nota

Assicurati di scegliere Create VPC per creare un nuovo cloud privato virtuale (VPC) per il tuo cluster Amazon ECS.

Amministratore di sistema, sviluppatore
AttivitàDescrizioneCompetenze richieste

Configura il ruolo IAM di esecuzione delle attività di Amazon ECS.

Crea un ruolo IAM per l'esecuzione delle attività di Amazon ECS utilizzando la policy AmazonECSTaskExecutionRolePolicy gestita. Per ulteriori informazioni su questo argomento, consulta il ruolo IAM di esecuzione delle attività di Amazon ECS nella documentazione di Amazon ECS.

Nota

Assicurati di registrare l'Amazon Resource Name (ARN) del ruolo IAM.

Amministratore di sistema, sviluppatore

Collega la policy IAM al ruolo IAM di esecuzione delle attività di Amazon ECS.

  1. Crea una policy IAM utilizzando il documento di policy firelens_policy.json (allegato). Per ulteriori informazioni a riguardo, consulta Creazione di politiche nella scheda JSON nella documentazione IAM.

  2. Collega questa policy al ruolo IAM di esecuzione delle attività di Amazon ECS creato in precedenza. Per ulteriori informazioni su questo argomento, consulta Aggiungere politiche IAM (AWS CLI) nella documentazione IAM. 

Amministratore di sistema, sviluppatore

Imposta la definizione del task di Amazon ECS.

  1. Aggiorna le seguenti sezioni nella definizione di attività Task.json di esempio (allegata):

    • Aggiorna l'executionRoleArnand taskRoleArn con l'ARN del ruolo IAM di esecuzione dell'attività

    • Aggiorna l'immagine containerDefinitions con l'immagine Fluent Bit Docker personalizzata che hai creato in precedenza

    • Aggiorna l'immagine containerDefinitions con il nome dell'immagine dell'applicazione

  2. Apri la console Amazon ECS, scegli Definizioni attività, scegli Crea nuova definizione di attività, quindi scegli Fargate nella pagina Seleziona compatibilità.    

  3. Scegli Configura tramite Json, incolla il Task.json file aggiornato nell'area di testo, quindi scegli Salva.

  4. Crea la definizione dell'attività.

Per ulteriori informazioni su questo argomento, consulta Creazione di una definizione di attività nella documentazione di Amazon ECS.

Amministratore di sistema, sviluppatore
AttivitàDescrizioneCompetenze richieste

Esegui l'attività Amazon ECS.

Sulla console Amazon ECS, scegli Clusters, scegli il cluster che hai creato in precedenza, quindi esegui l'attività autonoma.

Per ulteriori informazioni su questo argomento, consulta Esegui un'attività autonoma nella documentazione di Amazon ECS.

Amministratore di sistema, sviluppatore
AttivitàDescrizioneCompetenze richieste

Verifica i registri.

  1. Apri la CloudWatch console, scegli Gruppi di log, quindi scegli/aws/ecs/containerinsights/{{cluster_ARN}}/firelens/application.

  2. Verifica i log, in particolare i campi personalizzati aggiunti dal parser personalizzato.

  3. Utilizzato CloudWatch per filtrare i log in base ai campi personalizzati.

Amministratore di sistema, sviluppatore

Risorse correlate

Allegati

Per accedere al contenuto aggiuntivo associato a questo documento, decomprimi il seguente file: attachment.zip