View a markdown version of this page

Amazon EMR 6.11.0: note di rilascio per Hive - Amazon EMR
Cambiamenti HiveNuove configurazioni HiveConfigurazioni Hive obsolete

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Amazon EMR 6.11.0: note di rilascio per Hive

Amazon EMR 6.11.0: modifiche di Hive

Tipo Description
Miglioramenti Aggiunto il supporto per l'eliminazione multithread delle partizioni per migliorare le prestazioni di eliminazione di queste ultime
Miglioramenti Supporto della lettura di file di query Hive codificati
Miglioramenti Abilitazione di Tez Shuffle Handler per impostazione predefinita per i processi Hive su Tez
Bug Aggiunta un'opzione per abilitare la distribuzione deterministica delle chiavi sui riduttori per correggere il risultato errato quando hive.groupby.skewindata è abilitato (segnalato in HIVE-20220)
Bug Correzione dell'errore di calcolo delle statistiche quando è configurato il nome della partizione predefinita
Bug Rispetta tutti i parametri di classificazione SSL personalizzati trasmessi quando SSL viene configurato immediatamente per 2 in un cluster con crittografia in transito abilitata HiveServer
Backport HIVE-23617: Risolti i problemi relativi alle API di archiviazione FindBug
Backport HIVE-26408: Vettorizzazione: corregge la deallocazione delle colonne scratch, non riutilizza un elemento secondario come output ConstantVectorExpression
Backport HiveConfig HIVE-23614: Passa sempre a removeTempOr DuplicateFiles
Backport HIVE-23354: rimuove il controllo di integrità delle dimensioni del file da compareTempOr DuplicateFiles
Backport HIVE-20344: Risolto il problema con il lancio di SBA. PrivilegeSynchronizer AccessControlException È stata inoltre introdotta la proprietà hive.privilege.synchronizer per disabilitare la sincronizzazione dei privilegi
Backport HIVE-15826: Supporta la configurazione di 'serialization.encoding' per tutti SerDes
Backport HIVE-18284: correzione dell'NPE durante l'inserimento di dati con la clausola "distribute by" con ottimizzazione dell'ordinamento in dynpart
Backport HIVE-24930: il cortocircuito Operator.setDone() da child op non viene utilizzato nel codepath vettorizzato (se childSize == 1)
Backport HIVE-24523: il percorso di lettura vettorializzato per non rispetta SERDEPROPERTIES per il timestamp LazySimpleSerde
Backport HIVE-23265: i set di righe duplicati vengono restituiti con Limit e Offset impostati
Backport HIVE-21492: impossibile leggere il file di parquet generato utilizzando lo strumento thrift/custom VectorizedParquetRecordReader
Backport HIVE-22540: Vettorizzazione: le colonne Decimal64 non funzionano con. VectorizedBatchUtil makeLikeColumnVettore ()
Backport HIVE-22588: svuota le righe rimanenti per il resto dei set di raggruppamento quando si cambia la modalità del vettore groupby
Backport HIVE-22551: BytesColumnVector InitBuffer dovrebbe pulire il vettore e la lunghezza in modo coerente
Backport HIVE-22448: CBO: espandi il conteggio multiplo distinto con una chiave group-by
Backport HIVE-22248: correzione dei problemi persistenti delle statistiche
Backport HIVE-22210: la vettorizzazione può riutilizzare le colonne di output di calcolo coinvolte nel filtraggio
Backport HIVE-21531: vettorizzazione: tutti gli hashcode NULL non vengono calcolati utilizzando Murmur3
Backport HIVE-20419: Vettorizzazione: impedisce la mutazione dopo essere stata utilizzata in una chiave hashmap VectorPartitionDesc
Backport ClassCastException HIVE-19388 VectorMapJoinCommonOperator : durante l'inizializzazione
Backport HIVE-21584: preparazione a Java 11: il caricatore di classi di sistema non è Loader URLClass
Backport HIVE-25107: la registrazione di Classpath deve essere al livello DEBUG (#2271)
Backport HIVE-22097: java.util non compatibile. ArrayListper java 11
Backport HIVE-23938: LLAP: JDK11 - alcuni argomenti jvm relativi alla rotazione dei file di registro GC non possono più essere utilizzati
Backport HIVE-26226: esclusione di jdk.tools dep da hive-metastore in upgrade-acid
Backport HIVE-17879: aggiornamento del plugin Datanucleus Maven
Backport HIVE-27004: DateTimeFormatterBuilder # appendZoneText non può analizzare 'UTC+' nelle versioni Java superiori a 8
Backport HIVE-16812: non filtra gli eventi di eliminazione VectorizedOrcAcidRowBatchReader
Backport VectorizedOrcAcidRowBatchReaderHIVE-17917:. computeOffsetAndOttimizzazione del secchio
Backport HIVE-19985: ACID: saltare la decodifica delle sezioni ROW__ID per le query di sola lettura
Backport HIVE-20635: VectorizedOrcAcidRowBatchReader non filtra gli eventi di eliminazione per i file originali
Upgrade Aggiornamento di Javadoc a 3.3.1
Upgrade Aggiornamento di Javassist a 3.24.1-GA
Upgrade Aggiornamento a apache-directory-server 2.0.0-M14

Nuove configurazioni

Nome Classificazione Description
hive.metastore.fs.drop.partition.threads hive-site Numero di thread principali nel pool di thread della partizione eliminata.
hive.metastore.fs.drop.partition.keepalive.time hive-site Tempo in secondi in cui un thread asincrono della partizione inattiva (dal pool di thread) attende l'arrivo di una nuova attività prima di terminare.
hive.metastore.fs.drop.partition.threadpool.max.queue.size hive-site Dimensione massima della coda da utilizzare nel pool di thread per eliminare le partizioni dal file system.
hive.groupby.enable.deterministic.distribution hive-site Abilita la distribuzione deterministica delle chiavi sui riduttori. Passa un valore seed costante durante la chiamata alla funzione rand utilizzata per il partizionamento casuale.
hive.privilege.synchronizer hive-site Se sincronizzare periodicamente i privilegi dall'autorizzatore esterno in 2. HiveServer
hive.cli.query.file.encoding hive-site Codifica dei file per tutti i tipi di file di query (file di query, file di query init, file rc ecc.) forniti negli argomenti CLI.
hive.emr.tez.shuffle.enabled hive-site I lavori Hive su Tez ora utilizzano tez_shuffle per impostazione predefinita invece di mapreduce_shuffle come Shuffle Handler predefinito.

Configurazioni obsolete

Le seguenti proprietà di configurazione sono obsolete a causa di HIVE-23354 e non sono più supportate con Amazon EMR 6.11.0 e versioni successive.

Nome Valore predefinito

hive.mapred.reduce.tasks.speculative.execution

false

tez.am.speculation.enabled

false