Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Registri WAL (WRITE-AHEAD LOG) per Amazon EMR
Con Amazon EMR 6.15 e versioni successive, puoi scrivere i tuoi registri WAL ( HBase write-ahead log) di Apache nel WAL di Amazon EMR. Nelle versioni precedenti di Amazon EMR, quando crei un cluster con l'opzione HBase su Amazon S3, WAL è l'unico componente HBase Apache che viene archiviato nel disco locale per i cluster e puoi archiviare altri componenti come la directory principale, store files HFiles (), i metadati delle tabelle e i dati su Amazon S3.
Puoi usare Amazon EMR WAL per recuperare dati che non sono stati trasferiti su Amazon S3. Per eseguire il backup completo HBase dei cluster, scegli di utilizzare il servizio WAL di Amazon EMR. Dietro le quinte, RegionServer scrive i tuoi log di HBase scrittura in anticipo (WAL) nel WAL per Amazon EMR.
Nel caso in cui il cluster o l'AZ diventino non integri o non disponibili, puoi creare un nuovo cluster, indirizzarlo alla stessa directory principale S3 e allo stesso spazio di lavoro WAL di Amazon EMR e ripristinare automaticamente i dati in WAL in pochi minuti. Per ulteriori informazioni, consulta Ripristino da Amazon EMR WAL.
A partire dalle versioni 7.3.0 e successive di Amazon EMR, Amazon EMR crea più EMR per ogni server e raggruppa più regioni HBase in un unico Amazon WALs EMR WAL. In questo modo potenzia Apache HBase WAL per migliorare l'utilizzo dei log e ottimizzare i costi. Per configurare il numero di istanze WAL di Amazon EMR per volta HBase RegionServer, utilizza il parametro. hbase.wal.regiongrouping.numgroups Per impostazione predefinita, questo parametro è impostato su 2. Esistono due tabelle di sistema che non sono incluse in nessun gruppo WAL: meta e masterstore. Queste tabelle utilizzano sempre le proprie impostazioni individuali. WALs
Se esegui una versione precedente ad Amazon EMR 7.3.0, ti consigliamo di disabilitare manualmente le tabelle nel vecchio HBase cluster per assicurarti che tutti i dati nel WAL di Amazon EMR vengano trasferiti in Amazon S3. Quindi, elimina il vecchio WAL di Amazon EMR, termina il vecchio cluster e configura un nuovo cluster che esegue l'ultima versione. Se riscontri problemi e non riesci a disabilitare le tabelle sul vecchio cluster, puoi terminare direttamente il vecchio cluster e emr.wal.multiplex.migrate impostarlo sutrue. sul nuovo cluster. Se impostato su true, HBase tenterà di riprodurre i dati delle vecchie istanze WAL di Amazon EMR HBase durante l'inizializzazione della regione e di eliminare le vecchie istanze dopo la riproduzione. WALs Questo processo di riproduzione comporta costi aggiuntivi per le letture. Dopo la migrazione, si consiglia di configurare il cluster e impostarlo su. emr.wal.multiplex.migrate false In alternativa, è possibile rimuovere il parametro per accelerare l'inizializzazione HBase della regione.
Nota
Amazon EMR WAL elimina i dati dopo averli scaricati. HBase Se HBase non elimina i dati, Amazon EMR WAL li conserva per un massimo di 30 giorni. Dopo 30 giorni, Amazon EMR WAL elimina automaticamente i dati. Amazon EMR conserva le istanze WAL per un massimo di 30 giorni dalla chiusura di un cluster EMR. Tuttavia, se avvii un nuovo cluster abilitato a WAL dalla stessa directory principale S3 entro questi 30 giorni, Amazon EMR non eliminerà nessuna delle istanze WAL dal cluster precedente. Per ulteriori informazioni, consulta Ripristino da Amazon EMR WAL.
Le seguenti sezioni descrivono come configurare e utilizzare Amazon EMR WAL con il tuo cluster EMR abilitato HBase.
Argomenti
