Amazon EMR の先行書き込みログ (WAL)

Amazon EMR 6.15 以降では、Amazon EMR WAL に Apache HBase 先行書き込みログ (WAL) を書き込むことができます。Amazon EMR の以前のリリースでは、[HBase on Amazon S3] オプションを使用してクラスターを作成すると、WAL はクラスターのローカルディスクに保存される唯一の Apache HBase コンポーネントであり、ルートディレクトリ、ストアファイル (HFiles)、テーブルメタデータ、Amazon S3 上のデータなどの他のコンポーネントを保存できます。

Amazon EMR WAL を使用して、Amazon S3 にフラッシュされなかったデータを復元できます。HBase クラスターを完全にバックアップするには、Amazon EMR WAL サービスの使用をオプトインします。バックグラウンドで、RegionServer は HBase 先行書き込みログ (WAL) を Amazon EMR の WAL に書き込みます。

クラスターまたは AZ が異常または使用できなくなった場合は、新しいクラスターを作成し、同じ S3 ルートディレクトリと Amazon EMR WAL ワークスペースにポイントし、数分以内に WAL でデータを自動的に復元できます。詳細については、「Amazon EMR WAL からの復元」を参照してください。

Amazon EMR リリース 7.3.0 以降では、Amazon EMR はサーバーごとに複数の EMR WAL を作成し、複数の HBase リージョンを 1 つの Amazon EMR WAL にグループ化します。これにより、Apache HBase WAL が強化され、ログ使用率が向上し、コストが最適化されます。HBase RegionServer あたりの Amazon EMR WAL インスタンスの数を設定するには、hbase.wal.regiongrouping.numgroups パラメータを使用します。デフォルトでは、このパラメータは 2 に設定されます。WAL グループに含まれていないシステムテーブルは、meta と masterstore の 2 つです。これらのテーブルは常に独自の WALsを使用します。

Amazon EMR 7.3.0 より前のリリースを実行する場合は、古い HBase クラスターのテーブルを手動で無効にして、Amazon EMR WAL 内のすべてのデータが Amazon S3 にフラッシュされることを確認することをお勧めします。次に、古い Amazon EMR WAL を削除し、古いクラスターを終了して、最新のリリースを実行する新しいクラスターを設定します。問題が発生し、古いクラスターのテーブルを無効にできない場合は、古いクラスターを直接終了し、新しいクラスターで emr.wal.multiplex.migrate を true に設定できます。true に設定すると、HBase は HBase リージョン初期化中に古い Amazon EMR WAL インスタンスからデータを再生しようとし、再生後に古い WAL を削除します。この再生プロセスでは、読み取りに追加のコストが発生します。移行後は、クラスターを設定し、emr.wal.multiplex.migrate を false に設定することをお勧めします。または、パラメータを削除して HBase リージョンの初期化を高速化することもできます。

以下のセクションでは、HBase 対応 EMR クラスターで Amazon EMR WAL をセットアップして使用する方法について説明します。