Interrogez de grands ensembles de données à l'aide d'un robot AWS Glue - AWS Step Functions

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Interrogez de grands ensembles de données à l'aide d'un robot AWS Glue

Cet exemple de projet montre comment ingérer un ensemble de données volumineux dans Amazon S3 et le partitionner via AWS Glue Crawlers, puis exécuter des requêtes Amazon Athena sur cette partition.

Dans ce projet, la machine d'état Step Functions invoque un AWS Glue robot d'exploration qui partitionne un ensemble de données volumineux dans Amazon S3. Une fois que le AWS Glue robot d'exploration renvoie un message de réussite, le flux de travail exécute les requêtes Athena sur cette partition. Une fois que l'exécution de la requête est terminée avec succès, une notification Amazon SNS est envoyée à une rubrique Amazon SNS.

Étape 1 : Création de la machine à états

  1. Ouvrez la console Step Functions et choisissez Create state machine.

  2. Choisissez Créer à partir d'un modèle et recherchez le modèle de démarrage correspondant. Choisissez Next (Suivant) pour continuer.

  3. Choisissez le mode d'utilisation du modèle :

    1. Exécuter une démonstration : crée une machine d'état en lecture seule. Après révision, vous pouvez créer le flux de travail et toutes les ressources associées.

    2. Développez-le : fournit une définition de flux de travail modifiable que vous pouvez revoir, personnaliser et déployer avec vos propres ressources. (Les ressources associées, telles que les fonctions ou les files d'attente, ne seront pas créées automatiquement.)

  4. Choisissez Utiliser le modèle pour poursuivre votre sélection.

    Note

    Les frais standard s'appliquent aux services déployés sur votre compte.

Étape 2 : Exécuter la machine à états de démonstration

Si vous avez choisi l'option Exécuter une démonstration, toutes les ressources associées seront déployées et prêtes à être exécutées. Si vous avez choisi l'option Construire dessus, vous devrez peut-être définir des valeurs d'espace réservé et créer des ressources supplémentaires avant de pouvoir exécuter votre flux de travail personnalisé.

  1. Choisissez Déployer et exécuter.

  2. Attendez que la AWS CloudFormation pile soit déployée. Cela peut prendre jusqu'à 10 minutes.

  3. Une fois que l'option Démarrer l'exécution apparaît, passez en revue l'entrée et choisissez Démarrer l'exécution.

Félicitations !

Vous devriez maintenant avoir une démo en cours d'exécution de votre machine d'état. Vous pouvez choisir des états dans la vue graphique pour consulter les entrées, les sorties, les variables, les définitions et les événements.