View a markdown version of this page

Utilisation du framework Delta Lake dans AWS Glue Studio - AWS Glue
Utilisation du cadre Delta Lake dans des sources de donnéesUtilisation des formats Delta Lake dans des cibles de données

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation du framework Delta Lake dans AWS Glue Studio

Utilisation du cadre Delta Lake dans des sources de données

Utilisation du cadre Delta Lake dans des sources de données Amazon S3

  1. Dans le menu Source, choisissez Amazon S3.

  2. Si vous choisissez la table du catalogue de données comme type de source Amazon S3, choisissez une base de données et une table.

  3. AWS Glue Studio affiche le format comme étant Delta Lake et l'URL Amazon S3.

  4. Choisissez Options supplémentaires pour saisir une paire clé-valeur. Par exemple, une paire clé-valeur pourrait être : key : timestamp AsOf and value : 2023-02-24 14:16:18.

    La capture d'écran affiche la section Options supplémentaires dans l'onglet Propriétés de source de données pour un nœud de source de données Amazon S3.

  5. Si vous choisissez l'emplacement Amazon S3 comme Type de source Amazon S3, choisissez l'URL Amazon S3 en cliquant sur Parcourir Amazon S3.

  6. Dans Format de données, choisissez Delta Lake.

    Note

    Si AWS Glue Studio n'est pas en mesure de déduire le schéma à partir du dossier ou du fichier Amazon S3 que vous avez sélectionné, choisissez Options supplémentaires pour sélectionner un nouveau dossier ou fichier.

    Dans Options supplémentaires, choisissez l'une des options suivantes sous Inférence de schéma :

    • Laisser AWS Glue Studio choisir automatiquement un exemple de fichier : AWS Glue Studio choisit un exemple de fichier dans l'emplacement Amazon S3 afin que le schéma puisse être déduit. Dans le champ Auto-sampled Fichier, vous pouvez consulter le fichier qui a été automatiquement sélectionné.

    • Choisir un exemple de fichier d'Amazon S3 : choisissez le fichier Amazon S3 à utiliser en cliquant sur Parcourir Amazon S3.

  7. Cliquez sur Déduire un schéma. Vous pouvez ensuite consulter le schéma de sortie en cliquant sur l'onglet Schéma de sortie.

Utilisation du cadre Delta Lake dans des sources de données du catalogue de données

  1. Dans le menu Source, choisissez Catalogue de données AWS Glue Studio.

  2. Dans l'onglet Propriétés de source de données, choisissez une base de données et une table.

  3. AWS Glue Studio affiche le type de format comme étant Delta Lake et l'URL Amazon S3.

    Note

    Si votre source Delta Lake n'est pas encore enregistrée comme table du catalogue de données AWS Glue, deux options s'offrent à vous :

    1. Créer un crawler AWS Glue pour le magasin de données Delta Lake. Pour plus d'informations, veuillez consulter la rubrique Comment préciser les options de configuration pour un magasin de données Delta Lake.

    2. Utilisez une source de données Amazon S3 pour sélectionner votre source de données Delta Lake. Consultez Utilisation du cadre Delta Lake dans des sources de données Amazon S3.

Utilisation des formats Delta Lake dans des cibles de données

Utilisation des formats Delta Lake dans des cibles de données du catalogue de données

  1. Dans le menu Cible, choisissez Catalogue de données AWS Glue Studio.

  2. Dans l'onglet Propriétés de source de données, choisissez une base de données et une table.

  3. AWS Glue Studio affiche le type de format comme étant Delta Lake et l'URL Amazon S3.

Utilisation des formats Delta Lake dans des sources de données Amazon S3

Saisissez des valeurs ou sélectionnez-les parmi les options disponibles pour configurer le format Delta Lake.

  • Type de compression : choisissez l'une des options de type de compression : Uncompressed ou Snappy.

  • Emplacement cible Amazon S3 : choisissez l'emplacement cible Amazon S3 en cliquant sur Parcourir S3.

  • Options de mise à jour du catalogue de données : la mise à jour du catalogue de données n'est pas prise en charge pour ce format dans l'éditeur visuel Glue Studio.

    • Do not update the Data Catalog (Ne pas mettre à jour le catalogue de données) : (valeur par défaut) choisissez cette option si vous ne souhaitez pas que la tâche mette à jour le catalogue de données, même si le schéma change ou si de nouvelles partitions sont ajoutées.

    • Pour mettre à jour le catalogue de données après l'exécution de la tâche AWS Glue, exécutez ou planifiez un crawler AWS Glue. Pour plus d'informations, veuillez consulter la rubrique Comment préciser les options de configuration pour un magasin de données Delta Lake.

  • Clés de partition : choisissez les colonnes à utiliser comme clés de partitionnement dans la sortie. Pour ajouter d'autres clés de partition, choisissez Add a partition key (Ajouter une clé de partition).

  • Choisissez éventuellement Options supplémentaires pour saisir une paire clé-valeur. Par exemple, une paire clé-valeur pourrait être : key : timestamp AsOf and value : 2023-02-24 14:16:18.