Tingkatkan kernel dengan magic perintah di EMR Studio

Gambaran Umum

EMR Studio dan EMR Notebooks mendukung perintah. magic Magicperintah, atau magics, adalah perangkat tambahan yang disediakan IPython kernel untuk membantu Anda menjalankan dan menganalisis data. IPythonadalah lingkungan shell interaktif yang dibangun dengan Python.

Amazon EMR juga mendukungSparkmagic, paket yang menyediakan kernel terkait Spark (PySpark, SparkR, dan kernel Scala) dengan perintah magic tertentu dan yang menggunakan Livy di cluster untuk mengirimkan pekerjaan Spark.

Anda dapat menggunakan magic perintah selama Anda memiliki kernel Python di notebook EMR Anda. Demikian pula, kernel terkait SPARK apa pun mendukung Sparkmagic perintah.

Magicperintah, juga disebut magics, datang dalam dua varietas:

Untuk semua magic s yang tersedia, lihatDaftar magic dan Sparkmagic perintah.

Pertimbangan dan batasan

Daftar magic dan Sparkmagic perintah

Gunakan perintah berikut untuk membuat daftar magic perintah yang tersedia:

Gunakan %%configure untuk mengkonfigurasi Spark

Salah satu perintah yang paling berguna adalah Sparkmagic %%configure perintah, yang mengkonfigurasi parameter pembuatan sesi. Menggunakan conf pengaturan, Anda dapat mengonfigurasi konfigurasi Spark apa pun yang disebutkan dalam dokumentasi konfigurasi untuk Apache Spark.

%%configure -f
{"conf": {
    "spark.jars.packages": "com.jsuereth:scala-arm_2.11:2.0,ml.combust.bundle:bundle-ml_2.11:0.13.0,com.databricks:dbutils-api_2.11:0.0.3",
    "spark.jars": "s3://amzn-s3-demo-bucket/my-jar.jar"
    }
}        

%%configure
{ "conf": {
     "spark.jars": "hdfs://apps/hudi/lib/hudi-spark-bundle.jar,hdfs:///apps/hudi/lib/spark-spark-avro.jar", 
     "spark.serializer": "org.apache.spark.serializer.KryoSerializer",
     "spark.sql.hive.convertMetastoreParquet":"false"
     }
}

Gunakan %%sh untuk menjalankan spark-submit

%%shmagicMenjalankan perintah shell dalam subproses pada instance cluster terlampir Anda. Biasanya, Anda akan menggunakan salah satu kernel terkait Spark untuk menjalankan aplikasi Spark pada cluster terlampir Anda. Namun, jika Anda ingin menggunakan kernel Python untuk mengirimkan aplikasi Spark, Anda dapat menggunakan yang berikut inimagic, mengganti nama bucket dengan nama bucket Anda dalam huruf kecil.

%%sh
spark-submit --master yarn --deploy-mode cluster s3://amzn-s3-demo-bucket/test.py

Dalam contoh ini, cluster membutuhkan akses ke lokasis3://amzn-s3-demo-bucket/test.py, atau perintah akan gagal.

Anda dapat menggunakan perintah Linux apa pun dengan file %%shmagic. Jika Anda ingin menjalankan perintah Spark atau YARN, gunakan salah satu opsi berikut untuk membuat pengguna emr-notebook Hadoop dan berikan izin pengguna untuk menjalankan perintah:

Gunakan %%display untuk memvisualisasikan kerangka data Spark

Anda dapat menggunakan %%display magic untuk memvisualisasikan kerangka data Spark. Untuk menggunakan inimagic, jalankan perintah berikut.

%%display df

Pilih untuk melihat hasil dalam format tabel, seperti yang ditunjukkan gambar berikut.

Anda juga dapat memilih untuk memvisualisasikan data Anda dengan lima jenis bagan. Pilihan Anda termasuk diagram pie, scatter, line, area, dan bar.

Gunakan magic EMR Notebooks s

Amazon EMR menyediakan EMR Notebooks berikut yang dapat Anda gunakan dengan magic kernel berbasis Python3 dan Spark:

Prasyarat

Sebelum Anda menginstal EMR magic Notebooks s, selesaikan tugas-tugas berikut:

Instal magic EMR Notebooks s

Selesaikan langkah-langkah berikut untuk menginstal EMR Notebooks smagic.

Pasang direktori Workspace dengan %mount_workspace_dir

Ini %mount_workspace_dir magic memungkinkan Anda memasang direktori Workspace ke kluster EMR sehingga Anda dapat mengimpor dan menjalankan file, modul, atau paket lain yang disimpan di direktori Anda.

Contoh berikut memasang seluruh direktori Workspace ke cluster, dan menentukan <--fuse-type> argumen opsional untuk menggunakan goofys untuk memasang direktori.

%mount_workspace_dir . <--fuse-type goofys>

Untuk memverifikasi bahwa direktori Workspace Anda sudah terpasang, gunakan contoh berikut untuk menampilkan direktori kerja saat ini dengan ls perintah. Output harus menampilkan semua file di Workspace Anda.

%%sh
ls

Setelah selesai membuat perubahan di Workspace, Anda dapat melepas direktori Workspace dengan perintah berikut:

%umount_workspace_dir

Unduh objek Amazon S3 dengan %generate_s3_download_url

generate_s3_download_urlPerintah membuat URL presigned untuk objek yang disimpan di Amazon S3. Anda dapat menggunakan URL yang telah ditetapkan sebelumnya untuk mengunduh objek ke mesin lokal Anda. Misalnya, Anda mungkin menjalankan generate_s3_download_url untuk mengunduh hasil kueri SQL yang ditulis kode Anda ke Amazon S3.

URL presigned valid selama 60 menit secara default. Anda dapat mengubah waktu kedaluwarsa dengan menentukan beberapa detik untuk bendera. --expires-in Misalnya, --expires-in 1800 membuat URL yang valid selama 30 menit.

Contoh berikut menghasilkan tautan unduhan untuk objek dengan menentukan jalur Amazon S3 lengkap:. s3://EXAMPLE-DOC-BUCKET/path/to/my/object

%generate_s3_download_url s3://EXAMPLE-DOC-BUCKET/path/to/my/object

Untuk mempelajari lebih lanjut tentang menggunakangenerate_s3_download_url, jalankan perintah berikut untuk menampilkan teks bantuan.

%generate_s3_download_url?

Jalankan notebook dalam mode tanpa kepala dengan %execute_notebook

Dengan %execute_notebookmagic, Anda dapat menjalankan notebook lain dalam mode headless dan melihat output untuk setiap sel yang telah Anda jalankan. Ini magic memerlukan izin tambahan untuk peran instans yang dibagikan Amazon EMR dan Amazon EC2 . Untuk detail selengkapnya tentang cara memberikan izin tambahan, jalankan perintah%execute_notebook?.

Selama pekerjaan yang berjalan lama, sistem Anda mungkin tertidur karena tidak aktif, atau mungkin kehilangan konektivitas internet untuk sementara. Ini mungkin mengganggu koneksi antara browser Anda dan Server Jupyter. Dalam hal ini, Anda mungkin kehilangan output dari sel yang telah Anda jalankan dan kirim dari Server Jupyter.

Jika Anda menjalankan notebook dalam mode headless dengan %execute_notebookmagic, EMR Notebooks menangkap output dari sel yang telah berjalan, bahkan jika jaringan lokal mengalami gangguan. EMR Notebooks menyimpan output secara bertahap di notebook baru dengan nama yang sama dengan notebook yang Anda jalankan. EMR Notebooks kemudian menempatkan notebook ke folder baru di dalam ruang kerja. Proses tanpa kepala terjadi pada cluster yang sama dan menggunakan peran layananEMR_Notebook_DefaultRole, tetapi argumen tambahan dapat mengubah nilai default.

Untuk menjalankan notebook dalam mode headless, gunakan perintah berikut:

%execute_notebook <relative-file-path>

Untuk menentukan ID klaster dan peran layanan untuk menjalankan tanpa kepala, gunakan perintah berikut:

%execute_notebook <notebook_name>.ipynb --cluster-id <emr-cluster-id> --service-role <emr-notebook-service-role>

Saat Amazon EMR dan Amazon EC2 berbagi peran instans, peran tersebut memerlukan izin tambahan berikut: