CloudWatch Agent für Amazon EMR 7.1.0 konfigurieren - Amazon EMR
KonfigurationsschemaBeispiele für SystemmetrikkonfigurationenAnwendungsmetrikkonfigurationenBeispiel für Amazon Managed Service für Prometheus

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

CloudWatch Agent für Amazon EMR 7.1.0 konfigurieren

Ab Amazon EMR 7.1.0 können Sie den CloudWatch Amazon-Agenten so konfigurieren, dass er zusätzliche Systemmetriken verwendet, Anwendungsmetriken hinzufügt und das Metrikziel mithilfe der Amazon EMR-Konfigurations-API ändert. Weitere Informationen zur Verwendung der EMR-Konfigurations-API zur Konfiguration der Clusteranwendungen finden Sie unter Anwendungen konfigurieren.

Anmerkung

7.1.0 unterstützt nur den Rekonfigurationstyp. OVERWRITE Weitere Informationen zu den Rekonfigurationstypen finden Sie unter Überlegungen bei der Neukonfiguration einer Instanzgruppe.

Konfigurationsschema

emr-metricshat die folgenden Klassifizierungen:

  • emr-system-metrics— konfigurieren Sie Systemmetriken wie z B. CPU, Datenträger und Arbeitsspeicher.

  • emr-hadoop-hdfs-datanode-metrics— Hadoop DataNode JMX-Metriken konfigurieren

  • emr-hadoop-hdfs-namenode-metrics— Hadoop JMX-Metriken NameNode konfigurieren

  • emr-hadoop-yarn-nodemanager-metrics— Yarn JMX-Metriken NodeManager konfigurieren

  • emr-hadoop-yarn-resourcemanager-metrics— Yarn ResourceManager JMX-Metriken konfigurieren

  • emr-hbase-master-metrics— HBase Master-JMX-Metriken konfigurieren

  • emr-hbase-region-server-metrics— JMX-Metriken für HBase Regionalserver konfigurieren

  • emr-hbase-rest-server-metrics— JMX-Metriken für HBase den REST-Server konfigurieren

  • emr-hbase-thrift-server-metrics— konfigurieren Sie HBase Thrift Server JMX-Metriken

In den folgenden Tabellen werden die verfügbaren Eigenschaften und Konfigurationen für alle Klassifizierungen beschrieben.

Eigenschaften von emr-Metrics

Eigenschaft Erforderlich Beschreibung Standardwert Mögliche Werte Hinweise
metrics_destination Optional Legt fest, ob Cluster-Metriken in Amazon CloudWatch oder Amazon Managed Service für Prometheus veröffentlicht werden müssen. „CLOUDWATCH“ „CLOUDWATCH“, „PROMETHEUS“ Bei dieser Eigenschaft wird die Groß-/Kleinschreibung nicht beachtet. Zum Beispiel ist „Cloudwatch“ dasselbe wie „CLOUDWATCH“.
prometheus_endpoint Optional Wenn auf „PROMETHEUS“ gesetzt metrics_destination ist, konfiguriert diese Eigenschaft den CloudWatch Agenten so, dass er Metriken an den bereitgestellten Remote-Write-Endpunkt von Amazon Managed Service for Prometheus sendet. N/A Jede gültige URL für Amazon Managed Service für Prometheus. Das URL-Format für das Remote-Schreiben ist 
https://aps-workspaces.<region>.amazonaws.com/workspaces/<workspace_id>/api/v1/remote_write
 Dieses Feld ist erforderlich, wenn metrics_destination es auf „PROMETHEUS“ gesetzt ist. Wenn Sie keinen Schlüssel angeben oder der -Wert eine leere Zeichenfolge ist.

emr-system-metrics Eigenschaften

Eigenschaft Erforderlich Beschreibung Standardwert Mögliche Werte Hinweise
metrics_collection_interval Optional Wie oft in Sekunden Metriken vom CloudWatch Agenten gesammelt und veröffentlicht werden. „60" Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen. Sie können diese Eigenschaft mit der metrics_collection_interval Eigenschaft einzelner Metrikgruppen überschreiben.

emr-system-metrics Konfigurationen

cpu
Eigenschaft Erforderlich Beschreibung Standardwert Mögliche Werte Hinweise
metrics Optional Die Liste der CPU-Metriken, die der Agent sammeln soll. Siehe Standardmetriken für CloudWatch Amazon-EMR-Mitarbeiter Eine durch Kommas getrennte Liste gültiger CPU-Metriknamen mit oder ohne cpu_ Präfix, z. B. und. usage_active cpu_time_idle Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken. Die Angabe einer leeren Zeichenfolge bedeutet, dass keine CPU-Metriken veröffentlicht werden.
metrics_collection_interval Optional Wie oft (in Sekunden) der Agent CPU-Metriken sammeln und veröffentlichen soll. Der Wert des Globalenmetrics_collection_interval. Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen. Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für CPU-Metriken.
drop_original_metrics Optional Liste der CPU-Metriken, für die keine unaggregierten Metriken veröffentlicht werden sollen. Es wurden keine unaggregierten CPU-Metriken veröffentlicht. Eine durch Komma getrennte Liste der CPU-Metriken, die auch in der Metriken-Eigenschaft angegeben sind. Eine leere Zeichenfolge bedeutet, dass alle CPU-Metriken veröffentlicht werden. Der CloudWatch Agent aggregiert alle Metriken nach Cluster-ID, Instanz-ID, Knotentyp und Dienstname. Standardmäßig veröffentlicht der CloudWatch Agent keine ressourcenspezifischen Metriken für Metriken mit mehreren Ressourcen.
resources Optional Legt fest, ob der Agent Metriken pro Kern veröffentlicht. "*" „*“ aktiviert Metriken pro Kern. „“ deaktiviert Metriken pro Kern. Der CloudWatch Agent veröffentlicht nur Metriken pro Kern für CPU-Metriken, die nicht hinzugefügt wurden. drop_original_metrics
disk
Eigenschaft Erforderlich Beschreibung Standardwert Mögliche Werte Hinweise
metrics Optional Die Liste der Festplatten-Metriken, die der Agent sammeln soll. Siehe Standardmetriken für CloudWatch Amazon-EMR-Mitarbeiter Eine durch Kommas getrennte Liste gültiger Festplatten-Metriknamen mit oder ohne disk_ Präfix, z. B. und. disk_total used_percent Gültige Messwerte finden Sie unter Vom CloudWatch Agenten gesammelte Metriken. Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Festplattenmetriken veröffentlicht werden.
metrics_collection_interval Optional Gibt an, wie oft in Sekunden der Agent Festplattenmetriken sammeln und veröffentlichen soll. Der Wert des globalenmetrics_collection_interval. Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen. Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Festplattenmesswerte.
drop_original_metrics Optional Liste der Festplattenmesswerte, für die keine unaggregierten Messwerte veröffentlicht werden sollen. Es wurden keine unaggregierten Festplattenmetriken veröffentlicht. Eine durch Komma getrennte Liste mit Festplattenmetriken, die auch in der Metriken-Eigenschaft angegeben sind. Eine leere Zeichenfolge bedeutet, dass alle Festplattenmetriken veröffentlicht werden. Der CloudWatch Agent aggregiert alle Metriken nach Cluster-ID, Instanz-ID, Knotentyp und Dienstname. Standardmäßig veröffentlicht der CloudWatch Agent keine ressourcenspezifischen Metriken für Metriken mit mehreren Ressourcen.
resources Optional Legt fest, ob der Agent per-mount-point Metriken veröffentlicht. "*" „*“ bedeutet alle Einhängepunkte, „“ bedeutet keine Einhängepunkte oder eine durch Kommas getrennte Liste von Bereitstellungspunkten. Beispiel, "/,/emr". Der CloudWatch Agent veröffentlicht nur per-mount-point Metriken für Festplattenmetriken, die nicht übernommen wurden. drop_original_metrics
diskio
Eigenschaft Erforderlich Beschreibung Standardwert Mögliche Werte Hinweise
metrics Optional Die Liste der Festplatten-E/A-Metriken, die der Agent sammeln soll. Siehe Standardmetriken für CloudWatch Amazon-EMR-Mitarbeiter Eine durch Kommas getrennte Liste gültiger Festplatten-IO-Metriknamen mit oder ohne diskio_ Präfix, z. B. und. diskio_reads writes Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken. Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Festplatten-IO-Metriken veröffentlicht werden.
metrics_collection_interval Optional Gibt an, wie oft in Sekunden der Agent Festplatten-E/A-Metriken sammeln und veröffentlichen soll. Der Wert des globalenmetrics_collection_interval. Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen. Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Festplatten-E/A-Metriken.
drop_original_metrics Optional Liste der Festplatten-IO-Metriken, für die keine unaggregierten Metriken veröffentlicht werden sollen. Es wurden keine unaggregierten Festplatten-E/A-Metriken veröffentlicht. Eine durch Kommas getrennte Liste von Festplatten-E/A-Metriken, die auch in der Metrik-Eigenschaft angegeben sind. Eine leere Zeichenfolge bedeutet, dass alle Festplatten-IO-Metriken veröffentlicht werden. Der CloudWatch Agent aggregiert alle Metriken nach Cluster-ID, Instanz-ID, Knotentyp und Dienstname. Standardmäßig veröffentlicht der CloudWatch Agent keine ressourcenspezifischen Metriken für Metriken mit mehreren Ressourcen.
resources Optional Legt fest, ob der Agent Metriken pro Gerät veröffentlicht. "*" „*“ bedeutet alle Speichergeräte, „“ bedeutet keine Speichergeräte oder eine durch Kommas getrennte Liste von Gerätenamen. Beispiel, "nvme0n1,nvme1n1". Der CloudWatch Agent veröffentlicht nur Metriken pro Gerät für Festplatten-E/A-Metriken, die nicht übernommen wurden. drop_original_metrics
mem
Eigenschaft Erforderlich Beschreibung Standardwert Mögliche Werte Hinweise
metrics Optional Die Liste der Speichermetriken, die der Agent sammeln soll. Siehe Standardmetriken für CloudWatch Amazon-EMR-Mitarbeiter Eine durch Kommas getrennte Liste gültiger Speichermetriknamen mit oder ohne mem_ Präfix, z. B. und. mem_available available_percent Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken. Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Speichermetriken veröffentlicht werden.
metrics_collection_interval Optional Gibt an, wie oft in Sekunden der Agent Speichermetriken sammeln und veröffentlichen soll. Der Wert des globalenmetrics_collection_interval. Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen. Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Speichermetriken.
net
Eigenschaft Erforderlich Beschreibung Standardwert Mögliche Werte Hinweise
metrics Optional Die Liste der Netzwerkmetriken, die der Agent sammeln soll. Siehe Standardmetriken für CloudWatch Amazon-EMR-Mitarbeiter Eine durch Kommas getrennte Liste gültiger Netzwerkmetriknamen mit oder ohne net_ Präfix, z. B. und. net_packets_sent packets_recv Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken. Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Netzwerkmetriken veröffentlicht werden.
metrics_collection_interval Optional Wie oft innerhalb von Sekunden der Agent Netzwerkmetriken sammeln und veröffentlichen soll. Der Wert des Globalenmetrics_collection_interval. Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen. Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Netzwerkmetriken.
drop_original_metrics Optional Liste der Netzwerkmetriken, für die keine unaggregierten Messwerte veröffentlicht werden sollen. Es wurden keine unaggregierten Netzwerkmetriken veröffentlicht. Eine durch Komma getrennte Liste der Netzwerkmetriken, die auch in der Metriken-Eigenschaft angegeben sind. Eine leere Zeichenfolge bedeutet, dass alle Netzwerkmetriken veröffentlicht werden. Der CloudWatch Agent aggregiert alle Metriken nach Cluster-ID, Instanz-ID, Knotentyp und Dienstname. Standardmäßig veröffentlicht der CloudWatch Agent keine ressourcenspezifischen Metriken für Metriken mit mehreren Ressourcen.
resources Optional Legt fest, ob der Agent Metriken pro Schnittstelle veröffentlicht. "*" „*“ bedeutet alle Netzwerkschnittstellen, „“ bedeutet keine Netzwerkschnittstellen oder eine durch Kommas getrennte Liste von Schnittstellennamen. Beispiel, "eth0,eth1". Der CloudWatch Agent veröffentlicht nur Schnittstellen-Metriken für Netzwerkmetriken, die nicht hinzugefügt wurden. drop_original_metrics
netstat
Eigenschaft Erforderlich Beschreibung Standardwert Mögliche Werte Hinweise
metrics Optional Die Liste der Netzwerkstatistik-Metriken, die der Agent sammeln soll. Siehe Standardmetriken für CloudWatch Amazon-EMR-Mitarbeiter Eine durch Kommas getrennte Liste gültiger Speichermetriknamen mit oder ohne netstat_ Präfix, z. B. und. tcp_listen netstat_udp_socket Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken. Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Netzwerkstatistik-Metriken veröffentlicht werden.
metrics_collection_interval Optional Wie oft in Sekunden sollte der Agent Netzwerkstatistikmetriken sammeln und veröffentlichen. Der Wert des metrics_collection_interval Globalen. Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen. Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Netzwerkstatistikmetriken.
processes
Eigenschaft Erforderlich Beschreibung Standardwert Mögliche Werte Hinweise
metrics Optional Die Liste der Prozessmetriken, die der Agent sammeln soll. Siehe Standardmetriken für CloudWatch Amazon-EMR-Mitarbeiter Eine durch Kommas getrennte Liste gültiger Speichermetriknamen mit oder ohne processes_ Präfix, z. B. und. processes_running total Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken. Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Prozessmetriken veröffentlicht werden.
metrics_collection_interval Optional Wie oft in Sekunden sollte der Agent Systemprozessmetriken sammeln und veröffentlichen. Der Wert des Globalenmetrics_collection_interval. Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen. Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Systemprozessmetriken.
swap
Eigenschaft Erforderlich Beschreibung Standardwert Mögliche Werte Hinweise
metrics Optional Die Liste der Swap-Metriken, die der Agent sammeln soll. Siehe Standardmetriken für CloudWatch Amazon-EMR-Mitarbeiter Eine durch Kommas getrennte Liste gültiger Speichermetriknamen mit oder ohne swap_ Präfix, z. B. und. swap_free used_percent Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken. Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Swap-Metriken veröffentlicht werden.
metrics_collection_interval Optional Wie oft in Sekunden sollte der Agent Swap-Metriken sammeln und veröffentlichen. Der Wert des Globalenmetrics_collection_interval. Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen. Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Swap-Metriken.

emr-hadoop-hdfs-datanodeEigenschaften von -metrics

Eigenschaft Erforderlich Beschreibung Standardwert Mögliche Werte
<custom_bean_name> Optional N/A Der CloudWatch Agent MBean , von dem dieser Agent Metriken sammeln soll, wie Hadoop:service=DataNode,name=DataNodeActivity z. MBean Probennamen und die entsprechenden Metriken finden Sie in den JMX-YAML-Beispieldateien für Amazon EMR Version 7.0. Eine Zeichenfolge, die die durch Komma getrennte Liste der Metriken enthält. MBean Beispiel, BlocksCached,BlocksRead.
otel.metric.export.interval Optional Wie oft in Millisekunden Hadoop-Metriken erfasst werden sollen. DataNode „60000“ Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

emr-hadoop-hdfs-namenodeEigenschaften von -metrics

Eigenschaft Erforderlich Beschreibung Standardwert Mögliche Werte
<custom_bean_name> Optional N/A Der CloudWatch Agent MBean , von dem dieser Agent Metriken sammeln soll, wie Hadoop:service=NameNode,name=FSNamesystem z. MBean Probennamen und die entsprechenden Metriken finden Sie in den JMX-YAML-Beispieldateien für Amazon EMR Version 7.0. Eine Zeichenfolge, die die durch Komma getrennte Liste der Metriken enthält. MBean Beispiel, BlockCapacity,CapacityUsedGB.
otel.metric.export.interval Optional Wie oft in Millisekunden Hadoop-Metriken erfasst werden sollen. NameNode „60000“ Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

emr-hadoop-yarn-nodemanagerEigenschaften von -metrics

Eigenschaft Erforderlich Beschreibung Standardwert Mögliche Werte
<custom_bean_name> Optional N/A Der CloudWatch Agent MBean , von dem dieser Agent Metriken sammeln soll, wie Hadoop:service=NodeManager,name=NodeManagerMetrics z. MBean Probennamen und die entsprechenden Metriken finden Sie in den JMX-YAML-Beispieldateien für Amazon EMR Version 7.0. Eine Zeichenfolge, die die durch Komma getrennte Liste der Metriken enthält. MBean Beispiel, MaxCapacity,AllocatedGB.
otel.metric.export.interval Optional Wie oft in Millisekunden Hadoop YARN-Metriken erfasst werden sollen. NodeManager „60000“ Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

emr-hadoop-yarn-resourcemanagerEigenschaften von -metrics

Eigenschaft Erforderlich Beschreibung Standardwert Mögliche Werte
<custom_bean_name> Optional N/A Der CloudWatch Agent MBean , von dem dieser Agent Metriken sammeln soll, wie Hadoop:service=ResourceManager,name=PartitionQueueMetrics z. MBean Probennamen und die entsprechenden Metriken finden Sie in den JMX-YAML-Beispieldateien für Amazon EMR Version 7.0. Eine Zeichenfolge, die die durch Komma getrennte Liste der Metriken enthält. MBean Beispiel, MaxCapacity,MaxCapacityVCores.
otel.metric.export.interval Optional Wie oft in Millisekunden Hadoop YARN-Metriken erfasst werden sollen. ResourceManager „60000“ Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

emr-hbase-master-metrics Eigenschaften

Eigenschaft Erforderlich Beschreibung Standardwert Mögliche Werte
<custom_bean_name> Optional N/A Der CloudWatch Agent MBean , von dem dieser Agent Metriken sammeln soll, wie Hadoop:service=HBase,name=Master,sub=AssignmentManager z. MBean Probennamen und die entsprechenden Metriken finden Sie in den JMX-YAML-Beispieldateien für Amazon EMR Version 7.0. Eine Zeichenfolge, die die durch Komma getrennte Liste der Metriken enthält. MBean Beispiel, AssignFailedCount,AssignSubmittedCount.
otel.metric.export.interval Optional Wie oft in Millisekunden Master-Metriken erfasst werden sollen. HBase „60000“ Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

emr-hbase-region-serverEigenschaften von -metrics

Eigenschaft Erforderlich Beschreibung Standardwert Mögliche Werte
<custom_bean_name> Optional N/A Der CloudWatch Agent MBean , von dem dieser Agent Metriken sammeln soll, wie Hadoop:service=HBase,name=RegionServer,sub=IPC z. MBean Probennamen und die entsprechenden Metriken finden Sie in den JMX-YAML-Beispieldateien für Amazon EMR Version 7.0. Eine Zeichenfolge, die die durch Komma getrennte Liste der Metriken enthält. MBean Beispiel, numActiveHandler,numActivePriorityHandler.
otel.metric.export.interval Optional Wie oft in Millisekunden Regionsserver-Metriken erfasst werden sollen. HBase „60000“ Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

emr-hbase-rest-serverEigenschaften von -metrics

Eigenschaft Erforderlich Beschreibung Standardwert Mögliche Werte
<custom_bean_name> Optional N/A Der CloudWatch Agent MBean , von dem dieser Agent Metriken sammeln soll, wie Hadoop:service=HBase,name=REST z. MBean Probennamen und die entsprechenden Metriken finden Sie in den JMX-YAML-Beispieldateien für Amazon EMR Version 7.0. Eine Zeichenfolge, die die durch Komma getrennte Liste der Metriken enthält. MBean Beispiel, successfulPut,successfulScanCount.
otel.metric.export.interval Optional Wie oft in Millisekunden Rest-Server-Metriken erfasst werden sollen. HBase „60000“ Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

emr-hbase-thrift-serverEigenschaften von -metrics

Eigenschaft Erforderlich Beschreibung Standardwert Mögliche Werte
<custom_bean_name> Optional N/A Der CloudWatch Agent MBean , von dem dieser Agent Metriken sammeln soll, wie Hadoop:service=HBase,name=Thrift,sub=ThriftOne z. MBean Probennamen und die entsprechenden Metriken finden Sie in den JMX-YAML-Beispieldateien für Amazon EMR Version 7.0. Eine Zeichenfolge, die die durch Komma getrennte Liste der Metriken enthält. MBean Beispiel, BatchGet_max,BatchGet_mean.
otel.metric.export.interval Optional Wie oft in Millisekunden Thrift-Servermetriken erfasst werden sollen. HBase „60000“ Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

Beispiele für Systemmetrikkonfigurationen

Das folgende Beispiel zeigt, wie der CloudWatch Agent so konfiguriert wird, dass er den Export aller Systemmetriken beendet.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

Im folgenden Beispiel wird der CloudWatch Agent so konfiguriert, dass er die Standard-Systemmetriken exportiert. Auf diese Weise können Sie den Agenten schnell wieder auf den Export der Standard-Systemmetriken zurücksetzen, wenn Sie die Systemmetriken bereits mindestens einmal neu konfiguriert haben. Durch diesen Reset werden auch alle Anwendungsmetriken entfernt, die zuvor neu konfiguriert wurden.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": []
  }
]

Im folgenden Beispiel wird der Cluster so konfiguriert, dass er die cpumem, und die disk Metriken exportiert.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {
          "metrics_collection_interval": "20"
        },
        "Configurations": [
          {
            "Classification": "cpu",
            "Properties": {
              "metrics": "cpu_usage_guest,cpu_usage_idle",
              "metrics_collection_interval": "30",
              "drop_original_metrics": "cpu_usage_guest"
            }
          },
          {
            "Classification": "mem",
            "Properties": {
              "metrics": "mem_active"
            }
          },
           {
            "Classification": "disk",
            "Properties": {
              "metrics": "disk_used_percent",
              "resources": "/,/mnt",
              "drop_original_metrics": ""
            }
          }
        ]
      }
    ]
  }
]

Die vorherige Beispielkonfiguration hat die folgenden Eigenschaften:

  • Alle 30 Sekunden erfasst der Agent die cpu_guest Metrik für alle CPUs. Sie finden die aggregierte Metrik unter dem CloudWatch CWAgent > cluster.id, instance.id, node.type, service.name Namespace.

  • Alle 30 Sekunden sammelt der Agent die cpu_idle Metrik für alle. CPUs Sie finden die aggregierte Metrik unter dem CloudWatch CWAgent > cluster.id, instance.id, node.type, service.name Namespace. Der Agent sammelt auch die Metriken pro CPU. Sie finden diese im gleichen Namespace. Der Agent sammelt diese Metrik, weil die drop_original_metrics Eigenschaft nichts enthältcpu_idle, sodass der Agent die Metrik nicht ignoriert.

  • Alle 20 Sekunden erfasst der Agent die mem_active Metrik. Sie finden die aggregierte Metrik unter dem CloudWatch CWAgent > cluster.id, instance.id, node.type, service.name Namespace.

  • Alle 20 Sekunden erfasst der Agent die disk_used_percent Metriken für die / und die /mnt Festplatten-Mounts. Sie finden die aggregierten Metriken unter dem CloudWatch Namespace. CWAgent > cluster.id, instance.id, node.type, service.name Der Agent sammelt auch die Metriken pro Mount. Sie finden diese im gleichen Namespace. Der Agent sammelt diese Metrik, weil die drop_original_metrics Eigenschaft nichts enthältdisk_used_percent, sodass der Agent die Metrik nicht ignoriert.

Anwendungsmetrikkonfigurationen

Im folgenden Beispiel wird der CloudWatch Agent so konfiguriert, dass der Export von Metriken für den Hadoop Namenode-Dienst beendet wird.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

Im folgenden Beispiel wird ein Cluster für den Export von Hadoop-Anwendungsmetriken konfiguriert.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {
          "Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB",
          "otel.metric.export.interval": "20000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-hdfs-datanode-metrics",
        "Properties": {
          "Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM",
          "otel.metric.export.interval": "30000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-yarn-resourcemanager-metrics",
        "Properties": {
          "Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps"
        },
        "Configurations": []
      }
    ]
  }
]

Das vorherige Beispiel hat die folgenden Eigenschaften:

  • Alle 20 Sekunden sammelt der Agent die BlockCapacity und CapacityUsedGB -Metriken von Instanzen, auf denen der Hadoop Namenode-Dienst ausgeführt wird.

  • Alle 30 Sekunden sammelt der Agent MemNonHeapUsedM Metriken von Instanzen, auf denen der Hadoop Datanode-Dienst ausgeführt wird.

  • Alle 30 Sekunden sammelt der Agent die NodeUpdateNumOps Metriken AllocateNumOps und die Metriken von Instanzen, auf denen Hadoop YARN ausgeführt wird. ResourceManaager

Beispiel für Amazon Managed Service für Prometheus

Das folgende Beispiel zeigt, wie der CloudWatch Agent für den Export von Metriken in Amazon Managed Service für Prometheus konfiguriert wird.

Wenn Sie derzeit Metriken nach Amazon Managed Service for Prometheus exportieren und die Metriken für den Cluster neu konfigurieren und weiterhin Metriken nach Amazon Managed Service for Prometheus exportieren möchten, müssen Sie die Eigenschaften und angeben. metrics_destination prometheus_endpoint

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "prometheus",
      "prometheus_endpoint": "http://amp-workspace/api/v1/remote_write"
    },
    "Configurations": []
  }
]

Verwenden Sie das folgende Beispiel, um den CloudWatch Agenten zum Exportieren von Metriken zu CloudWatch verwenden.

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "cloudwatch"
    },
    "Configurations": []
  }
]
Anmerkung

Der CloudWatch Agent verfügt über einen Prometheus-Exporter, der bestimmte Attribute umbenennt. Für die Standardmetriken-Labels verwendet Amazon Managed Service für Prometheus Unterstriche anstelle der Punkte, die Amazon verwendet. CloudWatch Wenn Sie Amazon Managed Grafana verwenden, um die Standardmetriken in Amazon Managed Service für Prometheus zu visualisieren, werden die Labels alscluster_id,instance_id, node_type und angezeigt. service_name