View a markdown version of this page

Amazon EMR 6.13.0 – Tez-Versionshinweise - Amazon EMR
Tez-Änderungen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon EMR 6.13.0 – Tez-Versionshinweise

Amazon EMR 6.13.0 – Änderungen bei Tez

Typ Description
Fehlerbehebung REVERT TEZ-4295: Daten konnten nicht dekomprimiert werden. Die Pufferlänge ist zu klein.
Fehlerbehebung REVERT TEZ-4302: NullPointerException in CodecUtils mit GzipCodec.
Fehlerbehebung REVERT TEZ-4234: Der Kompressor kann IllegalArgumentException in Buffer.limit , wo der Grenzwert die Kapazität überschreitet, verursachen.
Fehlerbehebung REVERT TEZ-4135: Verbessert die Speicherzuweisung bei der Ausführung von Lesevorgängen im Speicher.

Amazon EMR 6.13.0 — Bekannte Probleme bei Tez

  • Pig-Jobs, die auf Tez ausgeführt werden — In Clustern mit aktiviertem SSL, auf denen EMR-Versionen 6.9.0 bis 7.0.0 ausgeführt werden, gibt es ein bekanntes Problem, bei dem Pig-Jobs, die auf Tez ausgeführt werden, mit Exception fehlschlagen. SSLHandshake Dies steht im Zusammenhang mit dem Open-Source-Problem TEZ-4096, das mit dem Tez-Upgrade auf Version 0.10.2 in EMR 6.9.0 eingeführt wurde. Das Problem erfordert, dass SSL-bezogene Konfigurationen von der Clientseite (Pig) übergeben werden.

    Version korrigieren: — EMR 7.1.0

    Problemumgehung — Fügen Sie die folgende SSL-Konfiguration zu tez-site.xml hinzu:

    <property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

  • Problem mit der TEZ-DAG-Bereinigung (EMR 6.11.0 — EMR 7.2.0) — In Clustern mit aktiviertem SSL, auf denen die EMR-Versionen 6.11.0 bis 7.2.0 ausgeführt werden, gibt es ein bekanntes Problem, bei dem während der DAG-Bereinigungsphase eine SSLHandshakeAusnahme im TEZ Application Master (AM) auftritt. Dies passiert, wenn versucht wird, zwischengeschaltete Shuffle-Daten nach Abschluss der Abfrage über HTTPS von Remoteknoten zu löschen, nicht während der Abfrageausführung. Das Problem tritt auf, weil Tez AM die entsprechende TrustStore-Konfiguration nicht lesen kann, wenn der Shuffle-Handler-Serviceendpunkt aufgerufen wird. Dies betrifft jedoch nur die Bereinigung von Shuffle-Daten während der DAG-Bereinigung. Die Bereinigung auf Anwendungsebene (AM) erfolgt sowieso und bereinigt alle verbleibenden Shuffle-Daten. Dies führt also nicht zur Akkumulation von Shuffle-Daten.

    Version korrigieren: — EMR 7.3.0

    Problemumgehung — Fügen Sie die folgende SSL-Konfiguration zu tez-site.xml hinzu:

    <property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>