Configurazione CloudWatch dell'agente per Amazon EMR 7.0.0

1. Crea o scegli un bucket nel tuo account Amazon S3 in cui archiviare i file di configurazione che specificano i parametri CloudWatch dell'agente.

2. Crea il file di configurazione emr-amazon-cloudwatch-agent.json specificando i parametri preferiti. A tale scopo, utilizza uno dei metodi descritti in Creare il file di configurazione dell' CloudWatch agente. Per ulteriori informazioni sulla struttura del file di configurazione dell' CloudWatch agente, consulta Creare o modificare manualmente il file di configurazione dell' CloudWatch agente nella Guida per CloudWatch l'utente Amazon.

3. Successivamente, vai al aws-emr-utilities repository on GitHub e scarica i seguenti script di parametri di sistema:

   • install_system_metrics_launcher.sh: uno script da scaricare e che poi esegue install_system_metrics.sh in background in modo che il nodo possa completare il bootstrap.

   • install_system_metrics.sh: uno script che attende che l'istanza su cui viene eseguito completi il bootstrap e che poi scarica e applica la configurazione nel file JSON.

4. Apri ogni file SH e sostituisci amzn-s3-demo-bucket con il nome del bucket del passaggio 1.

5. Carica il file JSON e due file SH nel bucket S3.

6. Ora puoi passare alla console di Amazon EMR e creare un nuovo cluster con l' CloudWatch agente. In EMR attivo EC2 nella barra di navigazione a sinistra, seleziona Cluster, quindi Crea cluster.

7. Nella sezione Nome e applicazioni, scegli la versione di Amazon EMR 7.0.0 o una versione successiva.

8. In Bundle di applicazioni, seleziona il bundle o le app che desideri installare nel cluster e includi CloudWatch Agent Amazon Agent.

9. Nella sezione Operazioni di bootstrap, seleziona Aggiungi.

   • In Nome, inserisci install_system_metrics_launcher.sh.

   • In Posizione dello script, inserisci s3://amzn-s3-demo-bucket/install_system_metrics_launcher.sh. Sostituisci amzn-s3-demo-bucket con il percorso del bucket S3.

   • Lascia vuoto il blocco Argomenti.

10. Seleziona Add bootstrap action (Aggiungi operazione di bootstrap).

11. Continua a creare il cluster per soddisfare le tue esigenze di carico di lavoro.

1. Crea o scegli un bucket nel tuo account Amazon S3 in cui archiviare i file di configurazione che specificano i parametri CloudWatch dell'agente.

2. Successivamente, vai al aws-emr-utilities repository GitHub e scarica i seguenti script:

   • install_app_metrics_launcher.sh: uno script da scaricare e che poi esegue install_app_metrics.sh in background in modo che il nodo possa completare il bootstrap.

   • install_app_metrics.sh: uno script che attende che l'istanza su cui viene eseguito completi il bootstrap e che poi scarica e applica la configurazione nei file YAML che scaricherai in uno dei prossimi passaggi.

3. Apri ogni file e sostituisci amzn-s3-demo-bucket con il nome del bucket del passaggio 1.

4. Quindi, scarica i seguenti file di mappatura YAML. Per informazioni su come sono strutturati questi file YAML, consulta javaagentnel repository. OpenTelemetry Instrumentation for Java GitHub

   • datanode-metrics.yaml: la configurazione per i parametri Hadoop DataNode.

   • namenode-metrics.yaml: la configurazione per i parametri Hadoop NameNode.

   • nodemanager-metrics.yaml: la configurazione per i parametri Yarn NodeManager.

   • resourcemanager-metrics.yaml: la configurazione per i parametri Yarn ResourceManager.

5. Carica i due file SH e i quattro file YAML nel bucket S3.

6. Ora puoi passare alla console di Amazon EMR e creare un nuovo cluster con l' CloudWatch agente. In EMR attivo EC2 nella barra di navigazione a sinistra, seleziona Cluster, quindi Crea cluster.

7. Nella sezione Nome e applicazioni, scegli la versione di Amazon EMR 7.0.0 o una versione successiva.

8. In Bundle di applicazioni, seleziona il bundle o il gruppo di app personalizzato che desideri installare nel cluster e includi CloudWatch l'agente nelle selezioni.

9. Nella sezione Operazioni di bootstrap, seleziona Aggiungi.

   • In Nome, inserisci install_app_metrics_launcher.sh.

   • In Posizione dello script, inserisci s3://amzn-s3-demo-bucket/install_app_metrics_launcher.sh. Sostituisci amzn-s3-demo-bucket con il percorso del bucket S3.

   • Lascia vuoto il blocco Argomenti.

10. Seleziona Add bootstrap action (Aggiungi operazione di bootstrap).

11. Continua a creare il cluster per soddisfare le tue esigenze di carico di lavoro.

Utilizza l' CloudWatch agente su un cluster EMR per pubblicare parametri aggiuntivi sul servizio gestito da Amazon per Prometheus

Quando la policy del servizio ha le autorizzazioni corrette, segui i passaggi seguenti per avviare un cluster che utilizza l' CloudWatch agente per pubblicare i parametri sul servizio gestito da Amazon per Prometheus.

1. Utilizza la AWS Management Console o la AWS CLI per creare un workspace del servizio gestito da Amazon per Prometheus. Per ulteriori informazioni, consulta Crea un workspace nella Guida per l'utente del servizio gestito da Amazon per Prometheus.

2. Crea o scegli un bucket nel tuo account Amazon S3 in cui archiviare i file di avvio che specificano il servizio gestito da Amazon per Prometheus come spazio di archiviazione cloud.

3. Successivamente, vai al aws-emr-utilities repository GitHub e scarica i seguenti script:

   • add_prometheus_endpoint_launcher.sh: uno script da scaricare e che poi esegue add_prometheus_endpoint.sh in background in modo che il nodo possa completare il bootstrap.

   • add_prometheus_endpoint.sh— Uno script che attende che l'istanza su cui viene eseguito completi il bootstrap e poi configura l' CloudWatch agente per pubblicare sull'endpoint del servizio gestito da Amazon per Prometheus fornito come argomento all'avvio del cluster.

4. Apri ogni file e sostituisci amzn-s3-demo-bucket con il nome del bucket del passaggio 2.

5. Utilizza la AWS CLI per creare un cluster EMR con l'operazione di add_prometheus_endpoint_launcher.sh bootstrap. Nel comando seguente, sostituisci amzn-s3-demo-bucket con il bucket che contiene l'operazione di bootstrap e sostituisci managedpro-remote-write-workspace-url con l'endpoint di scrittura remoto per il workspace del servizio gestito da Amazon per Prometheus. Assicurati di specificare un'etichetta di rilascio Amazon EMR uguale o superiore a emr-7.0.0.

   aws emr create-cluster --name managedpro-cluster \
       --release-label emr-7.0.0 \
       --applications Name=Hadoop Name=AmazonCloudWatchAgent \
       --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
       --instance-count 3 --use-default-roles
      --bootstrap-actions Name='Add Prometheus Endpoint',Path=s3://amzn-s3-demo-bucket/add_prometheus_endpoint_launcher.sh,Args='managedpro-remote-write-workspace-url'

Utilizza il servizio gestito da Amazon per Prometheus come origine dati per Grafana gestito da Amazon

Una volta che Amazon EMR ha pubblicato i parametri del cluster sul servizio gestito da Amazon per Prometheus, puoi utilizzare i seguenti passaggi per visualizzare i parametri con Grafana gestito da Amazon:

1. Utilizza la AWS Management Console per creare un workspace e un utente Grafana gestito da Amazon con le autorizzazioni appropriate. Per ulteriori informazioni, consulta Crea un workspace nella Guida per l'utente di Grafana gestito da Amazon.

2. Aggiungi il workspace del servizio gestito da Amazon per Prometheus come origine dati per Grafana gestito da Amazon. Per ulteriori informazioni, consulta Utilizza la configurazione dell'origine dati AWS per aggiungere il servizio gestito da Amazon per Prometheus come origine dati nella Guida per l'utente di Grafana gestito da Amazon.