JupyterHub - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

JupyterHub

Notebook Jupyter adalah aplikasi web sumber terbuka yang dapat Anda gunakan untuk membuat dan berbagi dokumen yang berisi kode langsung, persamaan, visualisasi, dan teks narasi. JupyterHubmemungkinkan Anda untuk meng-host beberapa instans server notebook Jupyter pengguna tunggal. Bila Anda membuat klaster dengan JupyterHub, Amazon EMR menciptakan kontainer Docker pada simpul master klaster. JupyterHub, semua komponen yang diperlukan untuk Jupyter, dan Sparkmagic dijalankan dalam kontainer.

Sparkmagic adalah perpustakaan kernel yang memungkinkan notebook Jupyter untuk berinteraksi dengan Apache Spark berjalan di Amazon EMR melalui Apache Livy, yang merupakan server REST untuk Spark. Spark dan Apache Livy diinstal secara otomatis ketika Anda membuat klaster dengan. JupyterHub Default Python 3 kernel untuk Jupyter tersedia bersama dengan kernel PySpark 3, PySpark, dan Spark yang tersedia dengan Sparkmagic. Anda dapat menggunakan kernel ini untuk menjalankan kode Spark ad-hoc dan kueri SQL interaktif menggunakan Python dan Scala. Anda dapat menginstal kernel tambahan dalam kontainer Docker secara manual. Untuk informasi selengkapnya, lihat Memasang kernel dan pustaka tambahan.

Diagram berikut menggambarkan komponen JupyterHub di Amazon EMR dengan metode autentikasi yang sesuai untuk pengguna notebook dan administrator. Untuk informasi selengkapnya, lihat Menambahkan pengguna dan administrator Jupyter Notebook.

JupyterHub architecture on EMR showing user authentication and component interactions.

Tabel berikut mencantumkan versi yang JupyterHub disertakan dalam rilis terbaru dari Amazon EMR seri 7.x, bersama dengan komponen yang diinstal Amazon EMR seri 7.x. JupyterHub

Untuk versi komponen yang diinstal dengan JupyterHub rilis ini, lihat Rilis 7.9.0 Versi Komponen.

JupyterHub informasi versi untuk emr-7.9.0
Label Rilis Amazon EMR JupyterHub Versi Komponen Dipasang Dengan JupyterHub

emr-7.9.0

JupyterHub 1.5.0

emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

Tabel berikut mencantumkan versi yang JupyterHub disertakan dalam rilis Amazon EMR seri 6.x terbaru, bersama dengan komponen yang diinstal Amazon EMR seri 6.x. JupyterHub

Untuk versi komponen yang diinstal dengan JupyterHub rilis ini, lihat Rilis 6.15.0 Versi Komponen.

JupyterHub informasi versi untuk emr-6.15.0
Label Rilis Amazon EMR JupyterHub Versi Komponen Dipasang Dengan JupyterHub

emr-6.6.15.0

JupyterHub 1.5.0

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

Tabel berikut mencantumkan versi yang JupyterHub disertakan dalam rilis terbaru dari Amazon EMR seri 5.x, bersama dengan komponen yang diinstal Amazon EMR seri 5.x. JupyterHub

Untuk versi komponen yang diinstal dengan JupyterHub rilis ini, lihat Rilis 5.36.2 Versi Komponen.

JupyterHub informasi versi untuk emr-5.36.2
Label Rilis Amazon EMR JupyterHub Versi Komponen Dipasang Dengan JupyterHub

emr-5.36.2

JupyterHub 1.4.1

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

Kernel Python 3 yang disertakan dengan JupyterHub Amazon EMR adalah 3.6.4.

Pustaka yang diinstal dalam jupyterhub kontainer dapat bervariasi antara versi rilis Amazon EMR dan versi Amazon EC2 AMI.

Untuk membuat daftar pustaka yang diinstal menggunakan conda

  • Jalankan perintah berikut pada baris perintah simpul utama:

    sudo docker exec jupyterhub bash -c "conda list"
Untuk membuat daftar pustaka yang diinstal menggunakan pip

  • Jalankan perintah berikut pada baris perintah simpul utama:

    sudo docker exec jupyterhub bash -c "pip freeze"
Topik