Copie de données CSV à grande échelle à l'aide de Distributed Map in Step Functions

1. Ouvrez la console Step Functions, choisissez State machines dans le menu, puis choisissez Create state machine.

2. Choisissez Créer à partir du vide.

3. Donnez un nom à votre machine à états, puis choisissez Continuer pour modifier votre machine à états dans Workflow Studio.

4. Dans l'onglet Flux, faites glisser un état de la carte et déposez-le vers l'état vide intitulé Faire glisser le premier état ici.

5. Dans l'onglet Configuration, dans le champ Nom de l'État, saisissezProcess data.

6. Dans l'onglet Actions, faites glisser une action AWS Lambda Invoke API et déposez-la dans l'état Process data.

7. Renommez l'état AWS Lambda Invoke en. Process CSV data

Pour configurer les champs obligatoires :

1. Choisissez l'état des données du processus et, dans l'onglet Configuration, procédez comme suit :

   1. Pour le mode Traitement, choisissez Distribué.

   2. Pour Source de l'article, choisissez Amazon S3, puis choisissez Fichier CSV dans S3 dans la liste déroulante Source de l'article S3.

   3. Procédez comme suit pour spécifier l'emplacement Amazon S3 de votre fichier CSV :

      1. Pour l'objet S3, sélectionnez Enter bucket and key dans la liste déroulante.

      2. Pour Bucket, entrez le nom du bucket Amazon S3, qui contient le fichier CSV. Par exemple, amzn-s3-demo-source-bucket.

      3. Dans Key, entrez le nom de l'objet Amazon S3 dans lequel vous avez enregistré le fichier CSV. Vous devez également spécifier le nom du fichier CSV dans ce champ. Par exemple, csvDataset/ratings.csv.

   4. Pour les fichiers CSV, vous devez également spécifier l'emplacement de l'en-tête de colonne. Pour ce faire, choisissez Configuration supplémentaire, puis, pour Emplacement de l'en-tête CSV, conservez la sélection par défaut Première ligne si la première ligne de votre fichier CSV est l'en-tête. Sinon, choisissez Given pour spécifier l'en-tête dans la définition de la machine à états. Pour de plus amples informations, veuillez consulter ReaderConfig.

   5. Pour Type d'exécution Child, choisissez Express.

2. Dans Exporter l'emplacement, pour exporter les résultats de Map Run vers un emplacement Amazon S3 spécifique, choisissez Exporter la sortie de l'état de la carte vers Amazon S3.

3. Procédez comme suit :

   1. Pour le compartiment S3, choisissez Entrez le nom et le préfixe du compartiment dans la liste déroulante.

   2. Pour Bucket, entrez le nom du bucket Amazon S3 vers lequel vous souhaitez exporter les résultats. Par exemple, mapOutputs.

   3. Dans le champ Préfixe, entrez le nom du dossier dans lequel vous souhaitez enregistrer les résultats. Par exemple, resultData.

1. Choisissez l'état des données du processus. Ensuite, dans Source de l'élément, choisissez Configuration supplémentaire.

2. Procédez comme suit :

   1. Choisissez Modifier les éléments avec ItemSelector pour spécifier une entrée JSON personnalisée pour chaque exécution de flux de travail enfant.

   2. Entrez l'entrée JSON suivante :

      {
        "index.$": "$$.Map.Item.Index",
        "value.$": "$$.Map.Item.Value"
      }

      Pour plus d'informations sur la création d'une entrée personnalisée, consultezItemSelector (Carte).

3. Dans les paramètres d'exécution, pour Limite de simultanéité, spécifiez le nombre d'exécutions simultanées de flux de travail enfants que l'état Distributed Map peut démarrer. Par exemple, saisissez 100.

4. Ouvrez une nouvelle fenêtre ou un nouvel onglet dans votre navigateur et terminez la configuration de la fonction Lambda que vous utiliserez dans ce flux de travail, comme expliqué dansÉtape 4 : Configuration de la fonction Lambda.

1. Ouvrez la console Lambda et choisissez Créer une fonction.

2. Sur la page Create function, sélectionnez Author from scratch.

3. Dans la section Informations de base, configurez votre fonction Lambda :

   1. Sous Nom de la fonction, saisissez distributedMapLambda.

   2. Dans Runtime (Exécution), choisissez Node.js.

   3. Conservez toutes les sélections par défaut et choisissez Créer une fonction.

   4. Après avoir créé votre fonction Lambda, copiez le nom de ressource Amazon (ARN) de la fonction affiché. Vous devrez le fournir dans votre prototype de flux de travail. Voici un exemple d'ARN :

      arn:aws:lambda:us-east-2:123456789012:function:distributedMapLambda

4. Copiez le code suivant pour la fonction Lambda et collez-le dans la section Code source de la MapLambda page distribuée.

   exports.handler = async function(event, context) {
       console.log("Received Input:\n", event);
   
       return {
           'statusCode' : 200,
           'inputReceived' : event //returns the input that it received
       }
   };

5. Choisissez Déployer. Une fois votre fonction déployée, choisissez Test pour voir le résultat de votre fonction Lambda.

1. Retournez à l'onglet ou à la fenêtre dans lequel vous avez créé le prototype de flux de travail.

2. Choisissez l'étape Traiter les données CSV et, dans l'onglet Configuration, procédez comme suit :

   1. Pour Type d'intégration, choisissez Optimisé.

   2. Dans le champ Nom de la fonction, commencez par saisir le nom de votre fonction Lambda. Choisissez la fonction dans la liste déroulante qui apparaît, ou choisissez Entrer le nom de la fonction et indiquez l'ARN de la fonction Lambda.

1. (Facultatif) Choisissez Définition dans le Panneau d'inspection panneau et affichez la définition de la machine à états.

   Astuce

   Vous pouvez également consulter la définition ASL dans Workflow Studio. Éditeur de code Dans l'éditeur de code, vous pouvez également modifier la définition ASL de votre flux de travail.

   L'exemple de code suivant montre la définition d'Amazon States Language générée automatiquement pour votre flux de travail.

   {
     "Comment": "Using Map state in Distributed mode",
     "StartAt": "Process data",
     "States": {
       "Process data": {
         "Type": "Map",
         "MaxConcurrency": 100,
         "ItemReader": {
           "ReaderConfig": {
             "InputType": "CSV",
             "CSVHeaderLocation": "FIRST_ROW"
           },
           "Resource": "arn:aws:states:::s3:getObject",
           "Parameters": {
             "Bucket": "amzn-s3-demo-source-bucket",
             "Key": "csvDataset/ratings.csv"
           }
         },
         "ItemProcessor": {
           "ProcessorConfig": {
             "Mode": "DISTRIBUTED",
             "ExecutionType": "EXPRESS"
           },
           "StartAt": "Process CSV data",
           "States": {
             "Process CSV data": {
               "Type": "Task",
               "Resource": "arn:aws:states:::lambda:invoke",
               "OutputPath": "$.Payload",
               "Parameters": {
                 "Payload.$": "$",
                 "FunctionName": "arn:aws:lambda:us-east-2:account-id:function:distributedMapLambda"
               },
               "End": true
             }
           }
         },
         "Label": "Processdata",
         "End": true,
         "ResultWriter": {
           "Resource": "arn:aws:states:::s3:putObject",
           "Parameters": {
             "Bucket": "mapOutputs",
             "Prefix": "resultData"
           }
         },
         "ItemSelector": {
           "index.$": "$$.Map.Item.Index",
           "value.$": "$$.Map.Item.Value"
         }
       }
     }
   }

2. Spécifiez un nom pour votre machine d'état. Pour ce faire, choisissez l'icône d'édition à côté du nom de la machine d'état par défaut de MyStateMachine. Ensuite, dans Configuration de la machine d'état, spécifiez un nom dans la zone Nom de la machine d'état.

   Pour ce didacticiel, saisissez le nom DistributedMapDemo.

3. (Facultatif) Dans Configuration de la machine à états, spécifiez d'autres paramètres de flux de travail, tels que le type de machine à états et son rôle d'exécution.

   Pour ce didacticiel, conservez toutes les sélections par défaut dans State Machine Configuration.

4. Dans la boîte de dialogue Confirmer la création du rôle, choisissez Confirmer pour continuer.

   Vous pouvez également choisir Afficher les paramètres des rôles pour revenir à la configuration de la machine d'état.

   Note

   Si vous supprimez le rôle IAM créé par Step Functions, Step Functions ne pourra pas le recréer ultérieurement. De même, si vous modifiez le rôle (par exemple, en supprimant Step Functions des paramètres principaux de la politique IAM), Step Functions ne pourra pas restaurer ses paramètres d'origine ultérieurement.

1. Sur la DistributedMapDemo page, choisissez Démarrer l'exécution.

2. Dans la boîte de dialogue Démarrer l'exécution, procédez comme suit :

   1. (Facultatif) Entrez un nom d'exécution personnalisé pour remplacer le nom par défaut généré.

      Non-ASCII noms et journalisation

      Step Functions accepte les noms des machines à états, des exécutions, des activités et des étiquettes contenant des caractères non ASCII. Comme ces caractères empêcheront Amazon CloudWatch d'enregistrer des données, nous vous recommandons d'utiliser uniquement des caractères ASCII afin de pouvoir suivre les métriques de Step Functions.

   2. (Facultatif) Dans la zone de saisie, entrez les valeurs d'entrée au format JSON pour exécuter votre flux de travail.

   3. Choisissez Start execution (Démarrer l'exécution).

   4. La console Step Functions vous dirige vers une page intitulée avec votre ID d'exécution, connue sous le nom de page Détails de l'exécution. Vous pouvez consulter les résultats de l'exécution au fur et à mesure de l'avancement du flux de travail et une fois celui-ci terminé.

      Pour consulter les résultats de l'exécution, choisissez des états individuels dans la vue graphique, puis choisissez les onglets individuels dans le Détails de l'étape volet pour afficher les détails de chaque état, notamment l'entrée, la sortie et la définition respectivement. Pour plus de détails sur les informations d'exécution que vous pouvez consulter sur la page Détails de l'exécution, consultezVue d'ensemble des détails d'exécution.

   Par exemple, choisissez l'Mapétat, puis choisissez Map Run pour ouvrir la page Map Run Details. Sur cette page, vous pouvez consulter tous les détails d'exécution de l'état de la carte distribuée et des exécutions de flux de travail enfants qu'il a démarrées. Pour plus d'informations sur cette page, consultezAffichage des séries de cartes.