Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Caractéristiques de l'application HBase pour les versions AMI antérieures d'Amazon EMR

Versions prises en charge de HBase

Prérequis des clusters HBase

Un cluster créé à l'aide des versions AMI 2.x et 3.x d'Amazon EMR doit respecter les conditions requises suivantes pour HBase.

Création d'un cluster avec HBase

Le tableau suivant répertorie les options qui sont disponibles lorsque vous utilisez la console pour créer un cluster avec HBase à l'aide d'une version AMI d'Amazon EMR.

L'exemple de AWS CLI commande suivant lance un cluster avec HBase et d'autres applications :

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
               --applications Name=Hue Name=Hive Name=Pig Name=HBase \
               --use-default-roles --ec2-attributes KeyName=myKey \
               --instance-type c1.xlarge --instance-count 3 --termination-protected

Une fois la connexion entre les clusters Hive et HBase établie (comme indiqué dans la procédure précédente), vous pouvez accéder aux données stockées sur le cluster HBase en créant une table externe dans Hive.

L'exemple de code suivant, lorsqu'il est exécuté à partir de l'invite de Hive, crée une table externe qui référence les données stockées dans une table HBase appelée inputTable. Vous pouvez ensuite référencer inputTable dans les instructions Hive pour interroger et modifier les données stockées dans le cluster HBase.

add jar lib/emr-metrics-1.0.jar ;
               add jar lib/protobuf-java-2.4.0a.jar ;
               
               set hbase.zookeeper.quorum=ec2-107-21-163-157.compute-1.amazonaws.com ;
               
               create external table inputTable (key string, value string)
                    stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
                     with serdeproperties ("hbase.columns.mapping" = ":key,f1:col1")
                     tblproperties ("hbase.table.name" = "t1");
               
               select count(*) from inputTable ;		

Personnalisation de la configuration de HBase

Les paramètres par défaut devraient fonctionner pour la plupart des applications, mais vous avez la possibilité de modifier vos paramètres de configuration HBase. Pour ce faire, exécutez l'un des deux scripts d'action d'amorçage :

Lorsque vous exécutez les actions d'amorçage configure-hbase ou configure-hbase-daemons, les valeurs que vous spécifiez remplacent les valeurs par défaut. Toutes les valeurs que vous ne définissez pas explicitement reçoivent les valeurs par défaut.

La configuration de HBase avec ces actions d'amorçage est analogue à l'utilisation d'actions d'amorçage dans Amazon EMR pour configurer les paramètres Hadoop et les propriétés de démon Hadoop. La différence est que HBase n'a pas d'options de mémoire par processus. Au lieu de cela, les options de mémoire sont définies à l'aide de l'--daemon-optsargument, où daemon est remplacé par le nom du démon à configurer.

Configuration des démons HBase

Amazon EMR propose une action d'amorçage que vous pouvez utiliser pour modifier la configuration des démons HBase, où se region trouve la région dans laquelle vous lancez votre cluster HBase. s3://region.elasticmapreduce/bootstrap-actions/configure-hbase-daemons

Pour configurer les démons HBase à l'aide de AWS CLI, ajoutez l'action configure-hbase-daemons bootstrap lorsque vous lancez le cluster afin de configurer un ou plusieurs démons HBase. Vous pouvez définir les propriétés suivantes :

Pour plus d'informations sur ces options, consultez hbase-env.sh dans la documentation de HBase.

Une action d'amorçage permettant de configurer les valeurs de zookeeper-opts et hbase-master-opts est illustrée dans l'exemple suivant.

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--applications Name=Hue Name=Hive Name=Pig Name=HBase \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type c1.xlarge --instance-count 3 --termination-protected \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase-daemons,\
Args=["--hbase-zookeeper-opts=-Xmx1024m -XX:GCTimeRatio=19","--hbase-master-opts=-Xmx2048m","--hbase-regionserver-opts=-Xmx4096m"]

Configuration des paramètres de site HBase

Amazon EMR fournit une action d'amorçage, s3://elasticmapreduce/bootstrap-actions/configure-hbase, que vous pouvez utiliser pour modifier la configuration de HBase. Vous pouvez définir les valeurs de configuration une par une, en tant qu'arguments dans l'action d'amorçage, ou vous pouvez spécifier l'emplacement d'un fichier de configuration XML dans Amazon S3. La définition des valeurs de configuration une par une est utile si vous avez besoin de définir uniquement quelques paramètres de configuration. Leur définition à l'aide d'un fichier XML est utile si vous avez beaucoup de modifications à apporter, ou si vous souhaitez enregistrer vos paramètres de configuration en vue de les réutiliser.

Cette action d'amorçage modifie le fichier de configuration /home/hadoop/conf/hbase-site.xml sur le cluster HBase. L'action d'amorçage ne peut être exécutée que lorsque le cluster HBase est lancé.

Pour plus d'informations sur les paramètres de site HBase que vous pouvez configurer, consultez Configuration par défaut dans la documentation de HBase.

Définissez l'action d'amorçage configure-hbase lorsque vous lancez le cluster HBase, et spécifiez les valeurs dans hbase-site.xml à changer.

Une fois le proxy configuré et la connexion SSH ouverte, vous pouvez consulter l'interface utilisateur HBase en ouvrant une fenêtre de navigateur avec http ://master-public-dns-name: 60010/master -status, où se master-public-dns-name trouve l'adresse DNS publique du nœud maître du cluster HBase.

Vous pouvez afficher les journaux HBase actuels en utilisant SSH pour vous connecter au nœud principal et en accédant au répertoire mnt/var/log/hbase. Ces journaux ne sont pas disponibles une fois que le cluster a été arrêté sauf si vous activez la journalisation dans Amazon S3 lorsque le cluster est lancé.

Sauvegarde et restauration HBase

Amazon EMR offre la possibilité de sauvegarder vos données HBase sur Amazon S3, manuellement ou selon une planification automatique. Vous pouvez effectuer des sauvegardes complètes et incrémentielles. Une fois que vous avez une version de sauvegarde des données HBase, vous pouvez restaurer cette version dans un cluster HBase. Vous pouvez restaurer les données dans un cluster HBase en cours d'exécution ou lancer un nouveau cluster, prérempli avec les données de sauvegarde.

Au cours du processus de sauvegarde, HBase continue d'exécuter les commandes d'écriture. Cela garantit la disponibilité du cluster tout au long de la sauvegarde, mais cela entraîne un risque d'incohérence entre les données en cours de sauvegarde et les éventuelles opérations d'écriture en cours d'exécution en parallèle. Pour comprendre les incohérences qui peuvent survenir, vous devez prendre en compte le fait que HBase distribue les opérations d'écriture sur les nœuds de son cluster. Si une opération d'écriture se produit après qu'un nœud particulier a été interrogé, ces données ne sont pas incluses dans l'archive de sauvegarde. Il peut même arriver que des écritures antérieures dans le cluster HBase (envoyées à un nœud qui a déjà été interrogé) soient absentes de l'archive de sauvegarde, tandis que des écritures postérieures (envoyées à un nœud avant qu'il soit interrogé) sont incluses.

Si une sauvegarde cohérente est nécessaire, vous devez suspendre les écritures dans HBase au cours de la première partie du processus de sauvegarde, la synchronisation entre les nœuds. Pour cela, vous pouvez spécifier le paramètre --consistent lorsque vous demandez une sauvegarde. Avec ce paramètre, les écritures intervenant au cours de cette période sont mises en file d'attente et exécutées dès que la synchronisation se termine. Vous pouvez également planifier des sauvegardes récurrentes, ce qui résout les incohérences au fil du temps, car les données qui manquent dans un cycle de sauvegarde sont sauvegardées lors du cycle suivant.

Lorsque vous sauvegardez les données HBase, vous devez spécifier un répertoire de sauvegarde différent pour chaque cluster. Un moyen simple pour cela consiste à utiliser l'identifiant du cluster dans le chemin d'accès spécifié pour le répertoire de sauvegarde. Par exemple, s3://amzn-s3-demo-bucket/backups/j-3AEXXXXXX16F2. Cela garantit que toutes les sauvegardes incrémentielles futures référenceront le cluster HBase approprié.

Lorsque vous êtes prêt à supprimer les anciens fichiers de sauvegarde devenus inutiles, nous vous recommandons de commencer par effectuer une sauvegarde complète de vos données HBase. Ceci garantit la conservation de toutes les données et fournit un point de départ pour les futures sauvegardes incrémentielles. Une fois la sauvegarde complète terminée, vous pouvez accédez à l'emplacement de sauvegarde et supprimer manuellement les anciens fichiers de sauvegarde.

Le processus de sauvegarde HBase utilise l'opération S3DistCp de copie, qui présente certaines limites en ce qui concerne l'espace de stockage temporaire des fichiers.

Sauvegarde et restauration HBase à l'aide de la console

La console offre la possibilité de lancer un nouveau cluster et de le remplir avec les données issues d'une sauvegarde HBase précédente. Elle vous permet également de planifier des sauvegardes incrémentielles périodiques des données HBase. Des fonctionnalités de sauvegarde et de restauration supplémentaires sont disponibles via l'interface de ligne de commande, telles que la possibilité de restaurer les données dans un cluster déjà en cours d'exécution, d'effectuer des sauvegardes manuelles et de planifier des sauvegardes complètes automatisées.

Surveillez HBase avec CloudWatch

Amazon EMR fournit trois indicateurs CloudWatch que vous pouvez utiliser pour surveiller vos sauvegardes HBase. Ces mesures sont transmises CloudWatch à intervalles de cinq minutes et sont fournies gratuitement.

Configuration de Ganglia pour HBase

Vous configurez Ganglia pour HBase à l'aide de l'action d'amorçage configure-hbase-for-ganglia. Cette action d'amorçage configure HBase pour publier des métriques dans Ganglia.

Vous devez configurer HBase et Ganglia lorsque vous lancez le cluster. La création de rapports Ganglia ne peut pas être ajoutée à un cluster en cours d'exécution.

Ganglia stocke également les fichiers journaux sur le serveur à l'adresse /mnt/var/log/ganglia/rrds. Si vous avez configuré votre cluster pour conserver les fichiers journaux dans un compartiment Amazon S3, les fichiers journaux Ganglia y sont conservés également.

Pour lancer un cluster avec Ganglia pour HBase, utilisez l'action d'amorçage configure-hbase-for-ganglia, comme illustré dans l'exemple suivant.

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--applications Name=Hue Name=Hive Name=Pig Name=HBase Name=Ganglia \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type c1.xlarge --instance-count 3 --termination-protected \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase-for-ganglia

Une fois que le cluster a été lancé et Ganglia configuré, vous pouvez accéder aux graphiques et rapports Ganglia à l'aide de l'interface graphique en cours d'exécution sur le nœud maître.