Considérations et régions relatives à Amazon EMR WAL

Amazon EMR WAL peut être utilisé avec les versions 6.15.0 et supérieures d'Amazon EMR.

Amazon EMR WAL est un service payant optionnel. Vous payez pour ce que vous utilisez : lecture, écriture et stockage de données. Pour plus d'informations, consultez Comprendre la tarification et les statistiques d'Amazon EMR WAL la page de tarification d'Amazon EMR.

Amazon EMR WAL utilise le HBase Write Ahead Log (WAL). Pour utiliser Amazon EMR WAL, vos clusters doivent utiliser HBase WAL.

Pour activer Amazon EMR WAL lorsque vous créez un cluster, vous devez disposer des autorisations de rôle requises. Pour plus d'informations, voir Utilisation de rôles liés à un service pour la journalisation anticipée.

Vous devez activer Amazon EMR WAL lorsque vous créez le cluster avec l'API AWS Management Console, ou AWS CLI, et vous devez utiliser la configuration des groupes d'instances. Vous ne pouvez pas activer Amazon EMR WAL dans un cluster en cours d'exécution si vous n'avez pas créé le cluster avec Amazon EMR WAL. Vous ne pouvez pas non plus modifier les hbase-site configurations pour activer Amazon EMR WAL dans un cluster en cours d'exécution.

Vous ne pouvez activer Amazon EMR WAL que sur les clusters qui utilisent Amazon S3 comme répertoire racine.

Avant la version 7.5.0 d'Amazon EMR, les enregistrements dans Amazon EMR WAL devaient être de 4 Mo ou moins. Mais avec Amazon EMR version 7.5.0 et versions ultérieures, la taille d'enregistrement maximale dans EMR WAL est configurable à l'aide de la propriété. emr.wal.max.payload.size La valeur par défaut est de 1 Go. L'exemple suivant définit la taille d'enregistrement maximale à 2 Go :

[
  {
    "Classification":"hbase-site",
    "Properties": {
       "emr.wal.max.payload.size": "2147483648"
    }
  }
]

Vous ne pouvez pas avoir plusieurs clusters actifs sur le même répertoire HBase racine dans Amazon S3.

Vous ne pouvez pas activer Amazon EMR WAL sur des clusters de répliques en lecture.

Le WAL est répliqué dans les zones de disponibilité du service géré.

Le WAL survit au cluster et reste disponible pour le cluster suivant.

Vous ne pouvez pas désactiver Amazon EMR WAL lors du lancement ou lorsque votre cluster est opérationnel (en cours d'exécution).

Pour plus d'informations sur les limites du WAL et de l'espace de travail, consultez la section Points de terminaison et quotas Amazon EMR.

ap-northeast-1 – Asie-Pacifique (Tokyo)

ap-northeast-2 – Asie-Pacifique (Séoul)

ap-southeast-1 – Asie-Pacifique (Singapour)

ap-south-1 – Asie-Pacifique (Mumbai)

ap-southeast-2 – Asie-Pacifique (Sydney)

eu-central-1 – Europe (Francfort)

eu-north-1 – Europe (Stockholm)

eu-west-1 – Europe (Irlande)

sa-east-1 – Amérique du Sud (São Paulo)

us-east-1 – USA Est (Virginie du Nord)

us-east-2 – USA Est (Ohio)

us-west-2 – USA Ouest (Oregon)

ap-east-1 – Asie-Pacifique (Hong Kong)

af-south-1 – Afrique (Le Cap)

ca-central-1 – Canada (Centre)

eu-west-2 – Europe (Londres)