Création AWS Glue emplois avec sessions interactives

Les ingénieurs de données peuvent créer des tâches AWS Glue plus rapidement et plus facilement qu'avant en utilisant des séances interactives dans AWS Glue.

Vue d'ensemble de AWS Glue sessions interactives

Avec les séances interactives AWS Glue, vous pouvez rapidement créer, tester et exécuter des applications de préparation et d'analytique des données. Les séances interactives fournissent une interface programmatique et visuelle pour la création et le test de scripts d'extraction, transformation et chargement (ETL) pour la préparation de données. Les séances interactives exécutent les applications d'analytique Apache Spark et fournissent un accès à la demande à un environnement d'exécution Spark à distance. AWS Glue gère Spark sans serveur de manière transparente pour ces séances interactives.

Les sessions interactives sont flexibles, vous pouvez donc créer et tester des applications à partir de l'environnement de votre choix. Vous pouvez créer et utiliser des sessions interactives par le biais de l'API AWS Command Line Interface et de l'API. Vous pouvez utiliser des Jupyter-compatible blocs-notes pour créer et tester visuellement vos scripts de bloc-notes. Les sessions interactives fournissent un noyau Jupyter open source qui s'intègre presque partout où Jupyter le fait, y compris avec des IDE tels que PyCharm IntelliJ et VS Code. Cela vous permet de coder dans votre environnement local et de l'exécuter de manière transparente sur le backend des séances interactives.

À l'aide de l'API des séances interactive, les clients peuvent exécuter par programmation des applications utilisant l'analyse Apache Spark sans avoir à gérer l'infrastructure Spark. Vous pouvez exécuter une ou plusieurs instructions Spark au cours d'une seule séance interactive.

Les sessions interactives prennent en charge deux types de sessions : Livy et Spark Connect. Les sessions Livy utilisent les API REST-based Statement, tandis que les sessions Spark Connect fournissent une connexion gRPC directe au cluster Spark à l'aide PySpark remote() de l'API. Spark Connect est disponible dans les AWS Glue versions 5.1 et ultérieures.

Les séances interactives offrent donc un moyen plus rapide, moins coûteux et plus flexible de créer et d'exécuter des applications de préparation et d'analytique des données. Pour apprendre à utiliser les sessions interactives, consultez la documentation de cette section. Magics prises en charge par AWS Glue

Limitations