Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation de Presto avec le catalogue de données AWS Glue

En utilisant les versions 5.10.0 et ultérieures d'Amazon EMR, vous pouvez spécifier le catalogue de données AWS Glue comme métastore Hive par défaut pour Presto. Cette configuration est recommandée si vous avez besoin d'un metastore persistant ou d'un metastore partagé par différents clusters, services, applications ou Comptes AWS.

AWS Glue est un service d'extraction, transformation et chargement (ETL) entièrement géré qui facilite et rend abordable le classement par catégorie, le nettoyage, l'enrichissement et le déplacement des données de manière fiable entre différentes banques de données. Le catalogue de données AWS Glue fournit un référentiel de métadonnées unifié pour une variété de sources et de formats de données, s'intégrant à Amazon EMR ainsi qu'à Amazon RDS, Amazon Redshift, Redshift Spectrum, Athena, et toute application compatible avec le métastore Apache Hive. AWS Les crawlers Glue peuvent automatiquement déduire le schéma des données sources dans Amazon S3 et stocker les métadonnées associées dans le catalogue de données. Pour plus d'informations sur le catalogue de données, consultez Remplissage du catalogue de données AWS Glue dans le Guide du développeur AWS Glue.

Des frais distincts s'appliquent pour AWS Glue. Il y a un tarif mensuel pour le stockage et l'accès aux métadonnées dans le catalogue de données, un tarif horaire facturé à la minute pour les tâches ETL d' AWS Glue et l'exécution du analyseur, et un prix horaire facturé à la minute pour chaque point de terminaison de développement provisionné. Le catalogue de données vous permet de stocker jusqu'à un million d'objets sans aucuns frais. Au-delà d'un million d'objets, des frais de 1 USD vous seront facturés tous les 100 000 objets. Dans le catalogue de données, sont considérés comme des objets une table, une partition ou une base de données. Pour de plus amples informations, consultez Tarification Glue.

Spécifier le catalogue de données AWS Glue comme métastore

Vous pouvez spécifier le catalogue de données AWS Glue comme métastore à l'aide de la AWS Management Console AWS CLI, de l'ou de l'API Amazon EMR. Lorsque vous utilisez la CLI ou l'API, vous utilisez la classification de configuration de Presto pour spécifier le catalogue de données. En outre, avec Amazon EMR 5.16.0 et les versions ultérieures, vous pouvez utiliser la classification de configuration pour spécifier un catalogue de données dans un différent. Compte AWS Lorsque vous utilisez la console, vous pouvez spécifier le catalogue de données à l'aide des Options avancées ou des Options rapides.

Console

Pour spécifier le catalogue de données AWS Glue comme métastore Hive dans la nouvelle console

1. Connectez-vous à la et ouvrez AWS Management Console la console Amazon EMR à https://console.aws.amazon.com l'adresse /emr.

2. Sous EMR activé EC2 dans le volet de navigation de gauche, choisissez Clusters, puis Create cluster.

3. Sous Solution groupée d'application, choisissez Presto.

4. Sous Paramètres du catalogue de données AWS Glue, cochez la case Utiliser pour les métadonnées des tables Presto.

5. Choisissez toutes les autres options qui s'appliquent à votre cluster.

6. Pour lancer cluster, choisissez Créer un cluster.

CLI

Pour spécifier le catalogue de données AWS Glue comme métastore Hive par défaut à l'aide de la AWS CLI

Pour des exemples de spécification des classifications de configuration suivantes lorsque vous créez un cluster, consultez Configuration des applications.

Amazon EMR 5.16.0 et versions ultérieures

• Définissez la propriété hive.metastore sur glue, comme indiqué dans l'exemple JSON suivant.

  [
    {
      "Classification": "presto-connector-hive",
      "Properties": {
        "hive.metastore": "glue"
      }
    }
  ]

  Pour spécifier un catalogue de données dans un différent Compte AWS, ajoutez la hive.metastore.glue.catalogid propriété, tel qu'illustré dans l'exemple JSON suivant. Remplacez acct-id par le compte AWS du catalogue de données. L'utilisation d'un catalogue de données dans un autre Compte AWS n'est pas disponible avec Amazon EMR version 5.15.0 et antérieures.

  [
    {
      "Classification": "presto-connector-hive",
      "Properties": {
        "hive.metastore": "glue",
        "hive.metastore.glue.catalogid": "acct-id"
      }
    }
  ]

  Amazon EMR versions 5.10.0 à 5.15.0

  Définissez la propriété hive.metastore.glue.datacatalog.enabled sur true, comme indiqué dans l'exemple JSON suivant :

  [
    {
      "Classification": "presto-connector-hive",
      "Properties": {
        "hive.metastore.glue.datacatalog.enabled": "true"
      }
    }
  ]

  Amazon EMR 6.1.0 et versions ultérieures utilisant PrestoSQL (Trino)

  À partir de la version 6.1.0 d'EMR, PrestoSQL prend également en charge Glue comme métastore Hive par défaut. Utilisez la classification de configuration prestosql-connector-hive et définissez la propriété hive.metastore sur glue, comme indiqué dans l'exemple JSON suivant.

  Les versions 6.4.0 et ultérieures d'Amazon EMR utilisent le nouveau nom Trino au lieu de PrestoSQL. Si vous utilisez Trino, remplacez prestosql-connector-hive dans la classification de configuration suivante par trino-connector-hive.

  [
    {
      "Classification": "prestosql-connector-hive",
      "Properties": {
        "hive.metastore": "glue"
      }
    }
  ]

Pour basculer les metastores sur un cluster de longue durée, vous pouvez définir manuellement ces valeurs selon les besoins de votre version en vous connectant au nœud maître, en modifiant les valeurs de propriété directement dans le fichier /etc/presto/conf/catalog/hive.properties et en redémarrant le serveur Presto (sudo restart presto-server). Si vous utilisez cette méthode sur les versions 5.15.0 et antérieures d'Amazon EMR, assurez-vous que hive.table-statistics-enabled soit défini sur false. Ce paramètre n'est pas obligatoire lorsque vous utilisez les versions 5.16.0 et ultérieures ; cependant, les statistiques de table et de partition ne sont pas prises en charge.

Autorisations IAM

Le profil d' EC2 instance pour un cluster doit avoir des autorisations IAM pour les actions AWS Glue. En outre, si vous activez le chiffrement pour les objets du catalogue de données AWS Glue, le rôle doit également être autorisé à chiffrer, déchiffrer et générer la AWS KMS key utilisée pour le chiffrement.

Autorisations pour les actions AWS Glue

Aucune action n'est requise si vous utilisez le profil d' EC2 instance par défaut pour Amazon EMR. La politique AmazonElasticMapReduceforEC2Role gérée attachée au EMR_EC2_DefaultRole autorise toutes les actions AWS Glue nécessaires. Toutefois, si vous spécifiez un profil d' EC2 instance et des autorisations personnalisés, vous devez configurer les actions AWS Glue appropriées. Utilisez la stratégie gérée AmazonElasticMapReduceforEC2Role comme point de départ. Pour plus d'informations, consultez la section Rôle de service pour les EC2 instances de cluster (profil d'EC2 instance) dans le guide de gestion Amazon EMR.

Autorisations de chiffrement et de déchiffrement du catalogue de données Glue AWS

Votre profil d'instance a besoin d'autorisations pour chiffrer et déchiffrer les données au moyen de votre clé. Vous n'avez pas besoin de configurer ces autorisations si les deux déclarations suivantes s'appliquent :

Sinon, vous devez ajouter l'instruction suivante à la politique d'autorisations attachée à votre profil d' EC2 instance.

[
    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Effect": "Allow",
                "Action": [
                    "kms:Decrypt",
                    "kms:Encrypt",
                    "kms:GenerateDataKey"
                ],
                "Resource": "arn:aws:kms:region:acct-id:key/12345678-1234-1234-1234-123456789012"
            }
        ]
    }
]

Pour plus d'informations sur le chiffrement du catalogue de données AWS Glue, consultez Chiffrement de votre catalogue de données dans le Guide du développeur AWS Glue.

Autorisations basées sur les ressources

Si vous utilisez AWS Glue en conjonction avec Hive, Spark ou Presto dans Amazon EMR, AWS Glue prend en charge les politiques basées sur les ressources pour contrôler l'accès aux ressources du catalogue de données. Ces ressources comprennent les bases de données, les tables, les connexions et les fonctions définies par l'utilisateur. Pour plus d'informations, consultez Politiques de ressources AWS Glue dans le Guide du développeur AWS Glue.

Lorsque vous utilisez des politiques basées sur les ressources pour limiter l'accès à AWS Glue depuis Amazon EMR, le principal que vous spécifiez dans la politique d'autorisations doit être l'ARN de rôle associé au profil d' EC2 instance qui est spécifié lors de la création d'un cluster. Par exemple, pour une politique basée sur les ressources attachée à un catalogue, vous pouvez spécifier l'ARN de rôle pour le rôle de service par défaut des EC2 instances de cluster, EMR_EC2_DefaultRole en utilisant le format indiqué dans l'exemple suivant : Principal

arn:aws:iam::acct-id:role/EMR_EC2_DefaultRole

L'ID de compte AWS Glue acct-id peut être différent. Cela permet d'accéder aux clusters EMR à partir de comptes différents. Vous pouvez spécifier plusieurs principaux, chacun provenant d'un compte différent.

Considérations relatives à l'utilisation du catalogue de données AWS Glue

Considérez les éléments suivants lorsque vous utilisez le catalogue de données AWS Glue en tant que métastore avec Presto :