Développement et test de scripts de tâches AWS Glue en local

Lorsque vous développez et testez vos scripts de tâches AWS Glue pour Spark, vous disposez de plusieurs options :

Vous pouvez choisir l'une des options ci-dessus en fonction de vos besoins.

Si vous préférez une expérience sans code ou avec moins de code, l’éditeur visuel AWS Glue Studio est un bon choix.

Si vous préférez une expérience de bloc-notes interactif, le bloc-notes AWS Glue Studio est un bon choix. Pour plus d’informations, consultez Using Notebooks with AWS Glue Studio and AWS Glue. Si vous souhaitez utiliser votre propre environnement local, les sessions interactives constituent un bon choix. Pour plus d’informations, consultez Using interactive sessions with AWS Glue.

Si vous préférez une expérience de développement local/à distance, l'image Docker est un bon choix. Cela vous permet de développer et de tester les scripts de tâches AWS Glue pour Spark où vous le souhaitez sans avoir à supporter les coûts d’AWS Glue.

Si vous préférez le développement local sans Docker, l’installation locale du répertoire de la bibliothèque ETL AWS Glue est un bon choix.

Développement à l’aide d’AWS Glue Studio

L’éditeur visuel AWS Glue Studio est une interface graphique qui facilite la création, l’exécution et le contrôle des tâches d’extraction, transformation et chargement (ETL) dans AWS Glue. Vous pouvez composer visuellement des flux de transformation de données et les exécuter de manière transparente sur le moteur ETL sans serveur basé sur Apache Spark d’AWS Glue. Vous pouvez inspecter le schéma et les résultats des données à chaque étape de la tâche. Pour plus d’informations, veuillez consulter le Guide de l’utilisateur AWS Glue Studio.

Développement à l'aide de sessions interactives

Les sessions interactives vous permettent de créer et de tester des applications à partir de l'environnement de votre choix. Pour plus d’informations, consultez Using interactive sessions with AWS Glue.