Amazon DataZone Quickstart avec les données AWS Glue - Amazon DataZone
Étape 1 - Création du DataZone domaine Amazon et du portail de donnéesÉtape 2 - Création du projet de publicationÉtape 3 - Création de l'environnementÉtape 4 - Produire des données pour publicationÉtape 5 - Collectez les métadonnées à partir de AWS GlueÉtape 6 - Organiser et publier la ressource de donnéesÉtape 7 - Création du projet pour l'analyse des donnéesÉtape 8 - Création d'un environnement pour l'analyse des donnéesÉtape 9 - Rechercher dans le catalogue de données et s'abonner aux donnéesÉtape 10 - Approuver la demande d'abonnementÉtape 11 - Création d'une requête et analyse des données dans Amazon Athena

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Amazon DataZone Quickstart avec les données AWS Glue

Suivez les étapes de démarrage rapide suivantes pour passer en revue l'ensemble des flux de production et de consommation de données sur Amazon DataZone avec des exemples de données AWS Glue.

Étape 1 - Création du DataZone domaine Amazon et du portail de données

Cette section décrit les étapes de création d'un DataZone domaine Amazon et d'un portail de données pour ce flux de travail.

Suivez la procédure ci-dessous pour créer un DataZone domaine Amazon. Pour plus d'informations sur DataZone les domaines Amazon, consultez DataZone Terminologie et concepts d'Amazon.

  1. Accédez à la DataZone console Amazon à l'adresse https://console.aws.amazon.com/datazone, connectez-vous, puis choisissez Create domain.

    Note

    Si vous souhaitez utiliser un DataZone domaine Amazon existant pour ce flux de travail, choisissez Afficher les domaines, puis choisissez le domaine que vous souhaitez utiliser, puis passez à l'étape 2 de création d'un projet de publication.

  2. Sur la page Créer un domaine, entrez des valeurs pour les champs suivants :

    • Nom : spécifiez le nom de votre domaine. Dans le cadre de ce flux de travail, vous pouvez appeler ce domaine Marketing.

    • Description : spécifiez une description de domaine facultative.

    • Chiffrement des données : vos données sont cryptées par défaut à l'aide d'une clé qui vous AWS appartient et qui est gérée pour vous. Dans ce cas d'utilisation, vous pouvez conserver les paramètres de chiffrement des données par défaut.

      Pour plus d'informations sur l'utilisation des clés gérées par le client, consultezLe chiffrement des données est au repos pour Amazon DataZone. Si vous utilisez votre propre clé KMS pour le chiffrement des données, vous devez inclure l'instruction suivante dans votre clé par défautAmazonDataZoneDomainExecutionRole.

      
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "Statement1",
      "Effect": "Allow",
      "Action": [
        "kms:Decrypt",
        "kms:DescribeKey",
        "kms:GenerateDataKey"
      ],
      "Resource": [
        "arn:<partition>:kms:<region>:<account-id>:key/<key-id>"
      ]
    }
  ]
}

    • Accès au service : laissez inchangée l'option Utiliser un rôle par défaut sélectionnée par défaut.

      Note

      Si vous utilisez un DataZone domaine Amazon existant pour ce flux de travail, vous pouvez choisir l'option Utiliser un rôle de service existant, puis choisir un rôle existant dans le menu déroulant.

    • Sous Configuration rapide, choisissez Configurer ce compte pour la consommation et la publication de données. Cette option active les DataZone plans Amazon intégrés du lac de données et de l'entrepôt de données, et configure les autorisations, les ressources, un projet par défaut et les profils d'environnement de lac de données et d'entrepôt de données par défaut pour ce compte. Pour plus d'informations sur les DataZone plans Amazon, consultez DataZone Terminologie et concepts d'Amazon.

    • Conservez les champs restants sous Détails des autorisations inchangés.

      Note

      Si vous possédez déjà un DataZone domaine Amazon, vous pouvez choisir l'option Utiliser un rôle de service existant, puis choisir un rôle existant dans le menu déroulant pour le rôle Glue Manage Access, le rôle Redshift Manage Access et le rôle Provisioning.

    • Ne modifiez pas les champs situés sous Tags.

    • Choisissez Create domain (Créer un domaine).

  3. Une fois le domaine créé avec succès, choisissez-le et, sur la page de résumé du domaine, notez l'URL du portail de données pour ce domaine. Vous pouvez utiliser cette URL pour accéder à votre portail de DataZone données Amazon afin d'effectuer les autres étapes de ce flux de travail. Vous pouvez également accéder au portail de données en choisissant Portail de données ouvertes.

Note

Dans la version actuelle d'Amazon DataZone, une fois le domaine créé, l'URL générée pour le portail de données ne peut pas être modifiée.

La création d'un domaine peut prendre plusieurs minutes. Attendez que le statut du domaine soit défini sur Disponible avant de passer à l'étape suivante.

Étape 2 - Création du projet de publication

Cette section décrit les étapes requises pour créer le projet de publication pour ce flux de travail.

  1. Une fois que vous aurez terminé l'étape 1 ci-dessus et créé un domaine, vous verrez le message Welcome to Amazon DataZone ! fenêtre. Dans cette fenêtre, choisissez Créer un projet.

  2. Spécifiez le nom du projet, par exemple, pour ce flux de travail SalesDataPublishingProject, vous pouvez le nommer, puis laisser les autres champs inchangés, puis choisir Créer.

Étape 3 - Création de l'environnement

Cette section décrit les étapes requises pour créer un environnement pour ce flux de travail.

  1. Une fois que vous avez terminé l'étape 2 ci-dessus et créé votre projet, vous verrez la fenêtre Votre projet est prêt à être utilisé. Dans cette fenêtre, choisissez Create environment.

  2. Sur la page Créer un environnement, spécifiez ce qui suit, puis choisissez Créer un environnement.

  3. Spécifiez les valeurs suivantes :

    • Nom : spécifiez le nom de l'environnement. Pour cette procédure pas à pas, vous pouvez l'Default data lake environmentappeler.

    • Description : spécifiez une description de l'environnement.

    • Profil d'environnement : choisissez le profil d'DataLakeProfileenvironnement. Cela vous permet d'utiliser Amazon DataZone dans ce flux de travail pour travailler avec des données dans Amazon S3, AWS Glue Catalog et Amazon Athena.

    • Pour cette procédure pas à pas, conservez les autres champs inchangés.

  4. Choisissez Create environment.

Étape 4 - Produire des données pour publication

Cette section décrit les étapes requises pour produire des données destinées à être publiées dans ce flux de travail.

  1. Une fois que vous avez terminé l'étape 3 ci-dessus, dans votre SalesDataPublishingProject projet, dans le panneau de droite, sous Outils d'analyse, sélectionnez Amazon Athena. Cela ouvre l'éditeur de requêtes Athena en utilisant les informations d'identification de votre projet pour l'authentification. Assurez-vous que votre environnement de publication est sélectionné dans le menu déroulant de DataZone l'environnement Amazon et que la <environment_name>%_pub_db base de données est sélectionnée comme dans l'éditeur de requêtes.

  2. Pour cette procédure pas à pas, vous utilisez le script de requête Create Table as Select (CTAS) pour créer une nouvelle table que vous souhaitez publier sur Amazon. DataZone Dans votre éditeur de requêtes, exécutez ce script CTAS pour créer une mkt_sls_table table que vous pouvez publier et rendre disponible pour la recherche et l'abonnement. 

    
CREATE TABLE mkt_sls_table AS
SELECT 146776932 AS ord_num, 23 AS sales_qty_sld, 23.4 AS wholesale_cost, 45.0 as lst_pr, 43.0 as sell_pr, 2.0 as disnt, 12 as ship_mode,13 as warehouse_id, 23 as item_id, 34 as ctlg_page, 232 as ship_cust_id, 4556 as bill_cust_id
UNION ALL SELECT 46776931, 24, 24.4, 46, 44, 1, 14, 15, 24, 35, 222, 4551
UNION ALL SELECT 46777394, 42, 43.4, 60, 50, 10, 30, 20, 27, 43, 241, 4565
UNION ALL SELECT 46777831, 33, 40.4, 51, 46, 15, 16, 26, 33, 40, 234, 4563
UNION ALL SELECT 46779160, 29, 26.4, 50, 61, 8, 31, 15, 36, 40, 242, 4562
UNION ALL SELECT 46778595, 43, 28.4, 49, 47, 7, 28, 22, 27, 43, 224, 4555
UNION ALL SELECT 46779482, 34, 33.4, 64, 44, 10, 17, 27, 43, 52, 222, 4556
UNION ALL SELECT 46779650, 39, 37.4, 51, 62, 13, 31, 25, 31, 52, 224, 4551
UNION ALL SELECT 46780524, 33, 40.4, 60, 53, 18, 32, 31, 31, 39, 232, 4563
UNION ALL SELECT 46780634, 39, 35.4, 46, 44, 16, 33, 19, 31, 52, 242, 4557
UNION ALL SELECT 46781887, 24, 30.4, 54, 62, 13, 18, 29, 24, 52, 223, 4561

    Assurez-vous que la table mkt_sls_table est correctement créée dans la section Tables et vues sur le côté gauche. Vous disposez désormais d'un actif de données qui peut être publié dans le DataZone catalogue Amazon.

Étape 5 - Collectez les métadonnées à partir de AWS Glue

Cette section décrit l'étape de collecte des métadonnées à partir de AWS Glue pour ce flux de travail.

  1. Une fois que vous avez terminé l'étape 4 ci-dessus, dans le portail de DataZone données Amazon, choisissez le SalesDataPublishingProject projet, puis choisissez l'onglet Données, puis choisissez Sources de données dans le panneau de gauche.

  2. Choisissez la source créée dans le cadre du processus de création de l'environnement.

  3. Choisissez Exécuter à côté du menu déroulant Action, puis cliquez sur le bouton d'actualisation. Une fois l'exécution de la source de données terminée, les actifs sont ajoutés à l' DataZone inventaire Amazon.

Étape 6 - Organiser et publier la ressource de données

Cette section décrit les étapes de conservation et de publication de la ressource de données dans ce flux de travail.

  1. Une fois que vous avez terminé l'étape 5 ci-dessus, dans le portail de DataZone données Amazon, choisissez le SalesDataPublishingProject projet que vous avez créé à l'étape précédente, choisissez l'onglet Données, choisissez Données d'inventaire dans le panneau de gauche et recherchez le mkt_sls_table tableau.

  2. Ouvrez la page de détails de l'mkt_sls_tableactif pour voir les noms commerciaux générés automatiquement. Cliquez sur l'icône de métadonnées générées automatiquement pour afficher les noms générés automatiquement pour les actifs et les colonnes. Vous pouvez accepter ou rejeter chaque nom individuellement ou choisir Accepter tout pour appliquer les noms générés. Vous pouvez également éventuellement ajouter le formulaire de métadonnées disponible à votre ressource et sélectionner des termes du glossaire pour classer vos données.

  3. Choisissez Publier la ressource pour publier la mkt_sls_table ressource.

Étape 7 - Création du projet pour l'analyse des données

Cette section décrit les étapes de création du projet pour l'analyse des données. C'est le début des étapes de consommation de données de ce flux de travail.

  1. Une fois que vous avez terminé l'étape 6 ci-dessus, dans le portail de DataZone données Amazon, choisissez Create project dans le menu déroulant Project.

  2. Sur la page Créer un projet, spécifiez le nom du projet. Par exemple, pour ce flux de travail MarketingDataAnalysisProject, vous pouvez le nommer, laisser les autres champs inchangés, puis choisir Créer.

Étape 8 - Création d'un environnement pour l'analyse des données

Cette section décrit les étapes de création d'un environnement pour l'analyse des données.

  1. Une fois que vous avez terminé l'étape 7 ci-dessus, dans le portail de DataZone données Amazon, choisissez le MarketingDataAnalysisProject projet, puis choisissez l'onglet Environnements, puis choisissez Create environment.

  2. Sur la page Créer un environnement, spécifiez ce qui suit, puis choisissez Créer un environnement.

    • Nom : spécifiez le nom de l'environnement. Pour cette procédure pas à pas, vous pouvez l'Default data lake environmentappeler.

    • Description : spécifiez une description de l'environnement.

    • Profil d'environnement : choisissez le profil d'DataLakeProfileenvironnement intégré.

    • Pour cette procédure pas à pas, conservez les autres champs inchangés.

Étape 9 - Rechercher dans le catalogue de données et s'abonner aux données

Cette section décrit les étapes de recherche dans le catalogue de données et d'abonnement aux données.

  1. Une fois que vous avez terminé l'étape 8 ci-dessus, dans le portail de DataZone données Amazon, choisissez l' DataZoneicône Amazon, et dans le champ de DataZone recherche Amazon, recherchez des actifs de données à l'aide de mots clés (par exemple, « catalogue » ou « ventes ») dans la barre de recherche du portail de données.

    Si nécessaire, appliquez des filtres ou effectuez un tri. Une fois que vous avez localisé la ressource Product Sales Data, vous pouvez la choisir pour ouvrir la page de détails de la ressource.

  2. Sur la page de détails de la ressource Catalog Sales Data, choisissez Subscribe.

  3. Dans la boîte de dialogue S'abonner, choisissez votre projet MarketingDataAnalysisProjectclient dans la liste déroulante, puis spécifiez le motif de votre demande d'abonnement, puis choisissez S'abonner.

Étape 10 - Approuver la demande d'abonnement

Cette section décrit les étapes d'approbation de la demande d'abonnement.

  1. Une fois que vous avez terminé l'étape 9 ci-dessus, dans le portail de DataZone données Amazon, choisissez le SalesDataPublishingProjectprojet avec lequel vous avez publié votre ressource.

  2. Cliquez sur l'onglet Données, puis sur Données publiées, puis sur Demandes entrantes.

  3. Vous pouvez maintenant voir la ligne correspondant à la nouvelle demande qui nécessite une approbation. Choisissez Afficher la demande. Indiquez le motif de l'approbation et choisissez Approuver.

Étape 11 - Création d'une requête et analyse des données dans Amazon Athena

Maintenant que vous avez publié avec succès une ressource dans le DataZone catalogue Amazon et que vous vous y êtes abonné, vous pouvez l'analyser.

  1. Sur le portail de DataZone données Amazon, choisissez votre projet MarketingDataAnalysisProjectclient, puis, dans le panneau de droite, sous Outils d'analyse, choisissez le lien de données Query avec Amazon Athena. Cela ouvre l'éditeur de requêtes Amazon Athena en utilisant les informations d'identification de votre projet pour l'authentification. Choisissez l'environnement du MarketingDataAnalysisProjectconsommateur dans le menu déroulant Amazon DataZone Environment de l'éditeur de requêtes, puis choisissez celui de votre projet dans le menu déroulant <environment_name>%sub_db de la base de données.

  2. Vous pouvez désormais exécuter des requêtes sur la table abonnée. Vous pouvez choisir le tableau dans Tables et vues, puis choisir Aperçu pour afficher l'instruction de sélection sur l'écran de l'éditeur. Exécutez la requête pour voir les résultats.