Mejorar los kernels con comandos magic en EMR Studio

Descripción general

EMR Studio y EMR Notebooks admiten comandos. magic Magiclos comandos, o magic comandos, son mejoras que el IPython núcleo proporciona para ayudarle a ejecutar y analizar datos. IPythones un entorno de shell interactivo creado con Python.

Amazon EMR también admite Sparkmagic un paquete que proporciona núcleos relacionados con Spark (PySparknúcleos SparkR y Scala) con comandos magic específicos y que usa Livy en el clúster para enviar trabajos de Spark.

Puede usar comandos magic siempre que tenga un kernel de Python en su cuaderno de EMR. Del mismo modo, cualquier kernel relacionado con Spark admite los comandos de Sparkmagic.

Los comandos Magic, también llamados magics, vienen en dos variedades:

Para ver todos los comandos magic disponibles, consulte Enumerar los comandos magic y Sparkmagic.

Consideraciones y limitaciones

Enumerar los comandos magic y Sparkmagic

Utilice los siguientes comandos para enumerar los comandos magic disponibles:

Usar %%configure para configurar Spark

Uno de los comandos más útiles de Sparkmagic es el comando %%configure, que configura los parámetros de creación de sesiones. En cuanto a los ajustes de conf, puede establecer cualquier configuración de Spark que se mencione en la documentación de configuración de Apache Spark.

%%configure -f
{"conf": {
    "spark.jars.packages": "com.jsuereth:scala-arm_2.11:2.0,ml.combust.bundle:bundle-ml_2.11:0.13.0,com.databricks:dbutils-api_2.11:0.0.3",
    "spark.jars": "s3://amzn-s3-demo-bucket/my-jar.jar"
    }
}        

%%configure
{ "conf": {
     "spark.jars": "hdfs://apps/hudi/lib/hudi-spark-bundle.jar,hdfs:///apps/hudi/lib/spark-spark-avro.jar", 
     "spark.serializer": "org.apache.spark.serializer.KryoSerializer",
     "spark.sql.hive.convertMetastoreParquet":"false"
     }
}

Usar %%sh para ejecutar spark-submit

La magic %%sh ejecuta comandos del intérprete de comandos en un subproceso en una instancia del clúster asociado. Normalmente, utilizaría uno de los kernels relacionados con Spark para ejecutar las aplicaciones de Spark en su clúster asociado. Sin embargo, si quiere usar un kernel de Python para enviar una aplicación de Spark, puede usar la siguiente magic y reemplazar el nombre del bucket por el nombre de su bucket en minúsculas.

%%sh
spark-submit --master yarn --deploy-mode cluster s3://amzn-s3-demo-bucket/test.py

En este ejemplo, el clúster tiene que acceder a la ubicación de s3://amzn-s3-demo-bucket/test.py o se producirá un error en el comando.

Con la magic %%sh, puede usar cualquier comando de Linux. Si desea ejecutar algún comando de Spark o YARN, use una de las siguientes opciones para crear un usuario de Hadoop de emr-notebook y concederle permisos para ejecutar los comandos:

Usar %%display para visualizar los marcos de datos de Spark

Puede usar magic %%display para ver un marco de datos de Spark. Para usar esta magic, ejecute el siguiente comando.

%%display df

Elija ver los resultados en formato de tabla, como se muestra en la siguiente imagen.

También puede optar por visualizar sus datos con cinco tipos de gráficos. Las opciones son gráficos circulares, de dispersión, de líneas, de áreas y de barras.

Usar la magic de Cuadernos de EMR

Amazon EMR proporciona la siguiente magic de Cuadernos de EMR que puede utilizar con los kernels basados en Python3 y Spark:

Requisitos previos

Antes de instalar la magic de Cuadernos de EMR, complete las siguientes tareas:

Instalar la magic de Cuadernos de EMR

Siga los pasos que se indican a continuación para instalar la magic de Cuadernos de EMR.

Montar un directorio del espacio de trabajo con %mount_workspace_dir

La magic %mount_workspace_dir le permite montar el directorio del espacio de trabajo en su clúster de EMR para que pueda importar y ejecutar otros archivos, módulos o paquetes almacenados en su directorio.

En el siguiente ejemplo, se monta todo el directorio del espacio de trabajo en un clúster y se especifica el argumento opcional <--fuse-type> para usar goofys para montar el directorio.

%mount_workspace_dir . <--fuse-type goofys>

Para comprobar que el directorio del espacio de trabajo esté montado, utilice el siguiente ejemplo para mostrar el directorio de trabajo actual con el comando ls. La salida debe mostrar todos los archivos del espacio de trabajo.

%%sh
ls

Cuando termine de realizar cambios en su espacio de trabajo, puede desmontar el directorio del espacio de trabajo con el siguiente comando:

%umount_workspace_dir

Descargar un objeto de Amazon S3 con %generate_s3_download_url

El comando generate_s3_download_url, crea una URL prefirmada para un objeto almacenado en Amazon S3. Puede usar la URL prefirmada para descargar el objeto a su máquina local. Por ejemplo, puede ejecutar generate_s3_download_url para descargar el resultado de una consulta SQL que su código escribe en Amazon S3.

De forma predeterminada, la URL prefirmada es válida durante 60 minutos. Puede cambiar el tiempo de caducidad especificando un número de segundos para la marca --expires-in. Por ejemplo, --expires-in 1800 crea una URL que es válida durante 30 minutos.

El siguiente ejemplo genera un enlace de descarga para un objeto especificando la ruta completa de Amazon S3: s3://EXAMPLE-DOC-BUCKET/path/to/my/object.

%generate_s3_download_url s3://EXAMPLE-DOC-BUCKET/path/to/my/object

Para obtener más información sobre el uso de generate_s3_download_url, ejecute el siguiente comando para mostrar el texto de ayuda.

%generate_s3_download_url?

Ejecución de un cuaderno en el modo sin encabezado con %execute_notebook

Con la magic %execute_notebook, puede ejecutar otro cuaderno en el modo sin encabezado y ver el resultado de cada celda que haya ejecutado. Esto magic requiere permisos adicionales para el rol de instancia que Amazon EMR y Amazon EC2 comparten. Para obtener más información sobre cómo conceder permisos adicionales, ejecute el comando %execute_notebook?.

Durante un trabajo de larga duración, es posible que el sistema entre en modo de suspensión debido a la inactividad o que pierda temporalmente la conectividad a internet. Esto podría interrumpir la conexión entre su navegador y el servidor de Jupyter. En este caso, podría perder la salida de las celdas que ha ejecutado y enviado desde el servidor de Jupyter.

Si ejecuta el cuaderno en el modo sin encabezado con la magic %execute_notebook, Cuadernos de EMR captura el resultado de las celdas que se han ejecutado, incluso si la red local sufre una interrupción. Cuadernos de EMR guarda la salida de forma incremental en un nuevo cuaderno con el mismo nombre que el cuaderno que ha utilizado. A continuación, Cuadernos de EMR coloca el cuaderno en una nueva carpeta dentro del espacio de trabajo. Las ejecuciones sin encabezado se realizan en el mismo clúster y utilizan el rol de servicio EMR_Notebook_DefaultRole, pero los argumentos adicionales pueden alterar los valores predeterminados.

Para ejecutar un cuaderno en el modo sin encabezado, utilice el siguiente comando:

%execute_notebook <relative-file-path>

Para especificar un ID de clúster y un rol de servicio para una ejecución sin encabezado, use el siguiente comando:

%execute_notebook <notebook_name>.ipynb --cluster-id <emr-cluster-id> --service-role <emr-notebook-service-role>

Cuando Amazon EMR y Amazon EC2 comparten un rol de instancia, el rol requiere los siguientes permisos adicionales: