JupyterHub - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

JupyterHub

Jupyter Notebook è un'applicazione Web open source che puoi utilizzare per creare e condividere documenti contenenti il codice live, equazioni, visualizzazioni e testo introduttivo. JupyterHubconsente di ospitare più istanze di un server del notebook Jupyter a un solo utente. Quando crei un cluster con JupyterHub Amazon EMR crea un container Docker sul nodo master del cluster. JupyterHub, tutti i componenti necessari per Jupyter e Sparkmagic vengono eseguiti all'interno del contenitore.

Sparkmagic è una libreria di kernel che consente ai notebook Jupyter di interagire con Apache Spark in esecuzione su Amazon EMR tramite Apache Livy, che è un server REST per Spark. Spark e Apache Livy vengono installati automaticamente al momento della creazione di un cluster con JupyterHub. Il kernel PySpark e Spark disponibili con Spark e Spark disponibili con Spark e Spark disponibili con Spark. PySpark PySpark Puoi utilizzare questi kernel per eseguire codice Spark ad-hoc e query SQL interattive utilizzando Python e Scala. Puoi installare kernel aggiuntivi all'interno del container Docker manualmente. Per ulteriori informazioni, consulta Installazione di kernel e librerie aggiuntive.

Il seguente diagramma mostra i componenti di JupyterHub Amazon EMR con metodi di autenticazione corrispondenti per gli utenti del notebook e l'amministratore. Per ulteriori informazioni, consulta Aggiunta di utenti e amministratori Jupyter Notebook.

JupyterHub architecture on EMR showing user authentication and component interactions.

La seguente tabella indica la versione JupyterHub inclusa nell'ultimo rilascio della serie Amazon EMR 7.x insieme ai componenti con cui viene installato Amazon EMR. JupyterHub

Per la versione dei componenti installati con JupyterHub questo rilascio, consulta la sezione Versioni dei componenti del rilascio 7.9.0.

JupyterHub informazioni sulla versione per emr-7.9.0
Etichetta di rilascio di Amazon EMR JupyterHub versione Componenti installati con JupyterHub

emr-7.9.0

JupyterHub 1.5.0

emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

La seguente tabella indica la versione JupyterHub inclusa nell'ultimo rilascio della serie Amazon EMR 6.x insieme ai componenti con cui viene installato Amazon EMR. JupyterHub

Per la versione dei componenti installati con JupyterHub questo rilascio, consulta la sezione Versioni dei componenti del rilascio 6.15.0.

JupyterHub informazioni sulla versione di emr-6.15.0
Etichetta di rilascio di Amazon EMR JupyterHub versione Componenti installati con JupyterHub

emr-6.15.0

JupyterHub 1.5.0

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

La seguente tabella indica la versione JupyterHub inclusa nell'ultimo rilascio della serie Amazon EMR 5.x insieme ai componenti con cui viene installato Amazon EMR. JupyterHub

Per la versione dei componenti installati con JupyterHub questo rilascio, consulta la sezione Versioni dei componenti del rilascio 5.36.2.

JupyterHub informazioni sulla versione per emr-5.36.2
Etichetta di rilascio di Amazon EMR JupyterHub versione Componenti installati con JupyterHub

emr-5.36.2

JupyterHub 1.4.1

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave, livy-server, jupyterhub

Il kernel PySpark incluso in JupyterHub Amazon EMR è 3.6.4.

Le librerie installate all'interno del jupyterhub container possono variare tra versioni del rilascio Amazon EMR e versioni di Amazon EC2 AMI.

Per elencare le librerie installate utilizzando conda
  • Eseguire il seguente comando sulla riga di comando del nodo master:

    sudo docker exec jupyterhub bash -c "conda list"
Per elencare le librerie installate utilizzando pip
  • Eseguire il seguente comando sulla riga di comando del nodo master:

    sudo docker exec jupyterhub bash -c "pip freeze"