Améliorez les noyaux avec des magic commandes dans EMR Studio

Présentation

EMR Studio et EMR Notebooks prennent en charge les commandes. magic Magicles commandes, ou magics, sont des améliorations apportées par le IPython noyau pour vous aider à exécuter et à analyser des données. IPythonest un environnement shell interactif construit avec Python.

Amazon EMR prend également en charge Sparkmagic un package qui fournit des commandes magic spécifiques aux noyaux liés à Spark (PySparknoyaux SparkR et Scala) et qui utilise Livy sur le cluster pour soumettre des tâches Spark.

Tant que vous avez un noyau Python dans votre bloc-notes EMR, vous pouvez utiliser des commandes magic. De même, tout noyau lié à Spark prend en charge les commandes Sparkmagic.

Les commandes Magic, également appelées magics, se déclinent en deux variétés :

Pour connaître toutes les Répertorier les commandes magic et Sparkmagics disponibles, consultez magic.

Considérations et restrictions

Répertorier les commandes magic et Sparkmagic

Utilisez les commandes suivantes pour répertorier les commandes magic disponibles :

Utiliser %%configure pour configurer Spark

L'une des commandes Sparkmagic les plus utiles est la commande %%configure, qui configure les paramètres de création de session. Pour les paramètres conf, vous pouvez configurer n'importe quelle configuration Spark mentionnée dans la documentation de configuration d'Apache Spark.

%%configure -f
{"conf": {
    "spark.jars.packages": "com.jsuereth:scala-arm_2.11:2.0,ml.combust.bundle:bundle-ml_2.11:0.13.0,com.databricks:dbutils-api_2.11:0.0.3",
    "spark.jars": "s3://amzn-s3-demo-bucket/my-jar.jar"
    }
}        

%%configure
{ "conf": {
     "spark.jars": "hdfs://apps/hudi/lib/hudi-spark-bundle.jar,hdfs:///apps/hudi/lib/spark-spark-avro.jar", 
     "spark.serializer": "org.apache.spark.serializer.KryoSerializer",
     "spark.sql.hive.convertMetastoreParquet":"false"
     }
}

Utiliser %%sh pour exécuter spark-submit

La magic %%sh exécute des commandes shell dans un sous-processus sur une instance de votre cluster rattaché. Généralement, vous utilisez l'un des noyaux liés à Spark pour exécuter des applications Spark sur votre cluster attaché. Toutefois, si vous souhaitez utiliser un noyau Python pour soumettre une application Spark, vous pouvez utiliser la magic suivante, en remplaçant le nom du compartiment par le nom de votre compartiment en minuscules.

%%sh
spark-submit --master yarn --deploy-mode cluster s3://amzn-s3-demo-bucket/test.py

Dans cet exemple, le cluster doit accéder à l'emplacement de s3://amzn-s3-demo-bucket/test.py, sinon la commande échouera.

Vous pouvez utiliser n'importe quelle commande Linux avec la magic %%sh. Si vous souhaitez exécuter des commandes Spark ou YARN, utilisez l'une des options suivantes pour créer un utilisateur Hadoop emr-notebook et accordez-lui les autorisations nécessaires pour exécuter les commandes :

Utiliser %%display pour visualiser les dataframes Spark

Vous pouvez utiliser la magic %%display pour visualiser une dataframe Spark. Pour utiliser cette magic, exécutez la commande suivante.

%%display df

Choisissez d'afficher les résultats sous forme de tableau, comme le montre l'image suivante.

Vous pouvez également choisir de visualiser vos données à l'aide de cinq types de graphiques. Vous avez le choix entre des diagrammes circulaires, des diagrammes de dispersion, des diagrammes linéaires, des diagrammes de surface et des diagrammes à barres.

Utiliser les magics des blocs-notes EMR

Amazon EMR fournit les magics des blocs-notes EMR suivantes ; vous pouvez les utiliser avec les noyaux basés sur Python3 et Spark :

Prérequis

Avant d'installer les magics des blocs-notes EMR, effectuez les tâches suivantes :

Installer les magics des blocs-notes EMR

Pour installer les magics des blocs-notes EMR, complétez les étapes suivantes.

Montez un répertoire Workspace avec %mount_workspace_dir

La magic %mount_workspace_dir vous permet de monter votre répertoire d'espace de travail sur votre cluster EMR afin de pouvoir importer et exécuter d'autres fichiers, modules ou packages stockés dans votre répertoire.

L'exemple suivant monte l'intégralité du répertoire Workspace sur un cluster et spécifie l'argument facultatif <--fuse-type> qui permet d'utiliser goofys pour monter le répertoire.

%mount_workspace_dir . <--fuse-type goofys>

Pour vérifier que votre répertoire Workspace est monté, utilisez l'exemple suivant pour afficher le répertoire de travail actuel avec la commande ls. La sortie doit afficher tous les fichiers de votre Workspace.

%%sh
ls

Lorsque vous avez terminé d'apporter des modifications à votre Workspace, vous pouvez démonter le répertoire du Workspace à l'aide de la commande suivante :

%umount_workspace_dir

Télécharger un objet Amazon S3 avec %generate_s3_download_url

La commande generate_s3_download_url crée une URL présignée pour un objet stocké dans Amazon S3. Vous pouvez utiliser l'URL présignée pour télécharger l'objet sur votre ordinateur local. Par exemple, vous pouvez exécuter generate_s3_download_url pour télécharger le résultat d'une requête SQL que votre code écrit sur Amazon S3.

L'URL présignée est valide pendant 60 minutes par défaut. Vous pouvez modifier le délai d'expiration en spécifiant un nombre de secondes pour le drapeau --expires-in. Par exemple, --expires-in 1800 crée une URL valide pendant 30 minutes.

L'exemple suivant génère un lien de téléchargement pour un objet en spécifiant le chemin complet d'Amazon S3 : s3://EXAMPLE-DOC-BUCKET/path/to/my/object.

%generate_s3_download_url s3://EXAMPLE-DOC-BUCKET/path/to/my/object

Pour en savoir plus sur l'utilisation de generate_s3_download_url, exécutez la commande suivante pour afficher le texte d'aide.

%generate_s3_download_url?

Exécuter un bloc-notes en mode sans tête avec %execute_notebook

Grâce à la magic %execute_notebook, vous pouvez exécuter un autre bloc-notes en mode sans tête et afficher le résultat de chaque cellule que vous avez exécutée. Cela magic nécessite des autorisations supplémentaires pour le rôle d'instance partagé par Amazon EMR et Amazon EC2 . Pour plus de détails sur la façon d'accorder des autorisations supplémentaires, exécutez la commande%execute_notebook?.

Au cours d'un travail de longue durée, votre système peut se mettre en veille pour cause d'inactivité ou perdre temporairement la connexion Internet. Cela peut perturber la connexion entre votre navigateur et le serveur Jupyter. Dans ce cas, vous risquez de perdre le résultat des cellules que vous avez exécutées et envoyées depuis le serveur Jupyter.

Si vous utilisez le bloc-notes en mode sans tête avec la magic %execute_notebook, le bloc-notes EMR capture les données des cellules qui ont fonctionné, même si le réseau local est perturbé. EMR Notebooks enregistre la sortie de manière incrémentielle dans un nouveau bloc-notes portant le même nom que le bloc-notes que vous avez utilisé. EMR Notebooks place ensuite le bloc-notes dans un nouveau dossier au sein du Workspace. Les exécutions sans tête se produisent sur le même cluster et utilisent le rôle de service EMR_Notebook_DefaultRole, mais des arguments supplémentaires peuvent modifier les valeurs par défaut.

Pour exécuter un bloc-notes en mode sans tête, utilisez la commande suivante :

%execute_notebook <relative-file-path>

Pour spécifier un ID de cluster et un rôle de service pour une exécution en mode sans tête, utilisez la commande suivante :

%execute_notebook <notebook_name>.ipynb --cluster-id <emr-cluster-id> --service-role <emr-notebook-service-role>

Lorsqu'Amazon EMR et Amazon EC2 partagent un rôle d'instance, ce rôle nécessite les autorisations supplémentaires suivantes :