Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Exemples de commandes CLI pour ordinateur portable dans EMR Studio
Cette rubrique présente des exemples de commandes CLI pour un bloc-notes EMR. L'exemple utilise le bloc-notes de démonstration de la console EMR Notebooks. Pour localiser le bloc-notes, utilisez le chemin relatif du fichier à partir du répertoire de base. Dans cet exemple, vous pouvez exécuter deux fichiers de bloc-notes : demo_pyspark.ipynb etmy_folder/python3.ipynb.
Note
Les notebooks EMR sont disponibles sous forme d'espaces de travail EMR Studio dans la console. Le bouton Créer un espace de travail de la console vous permet de créer de nouveaux blocs-notes. Pour accéder aux Workspaces ou en créer, les utilisateurs EMR Notebooks doivent disposer d'autorisations de rôle IAM supplémentaires. Pour plus d'informations, consultez Amazon EMR Notebooks are Amazon EMR Studio Workspaces dans la console et Amazon EMR.
Le chemin relatif du fichier demo_pyspark.ipynb est demo_pyspark.ipynb, comme indiqué ci-dessous.
Le chemin relatif pour python3.ipynb est my_folder/python3.ipynb, comme indiqué ci-dessous.
Pour plus d'informations sur les actions NotebookExecution de l'API Amazon EMR, consultez la rubrique Actions de l'API Amazon EMR.
Exécution d'un bloc-notes
Vous pouvez utiliser le AWS CLI pour exécuter votre bloc-notes avec l'start-notebook-executionaction, comme le montrent les exemples suivants.
Exemple– Exécution d'un bloc-notes EMR dans un espace de travail EMR Studio avec un cluster Amazon EMR (fonctionnant sur Amazon EC2)
aws emr --regionus-east-1\ start-notebook-execution \ --editor-ide-ABCDEFG123456\ --notebook-params '{"input_param":"my-value", "good_superhero":["superman", "batman"]}' \ --relative-pathtest.ipynb\ --notebook-execution-namemy-execution\ --execution-engine '{"Id" : "j-1234ABCD123"}' \ --service-role EMR_Notebooks_DefaultRole { "NotebookExecutionId": "ex-ABCDEFGHIJ1234ABCD" }
Exemple– Exécution d'un bloc-notes EMR dans un espace de travail EMR Studio avec un cluster de bloc-notes EMR
aws emr start-notebook-execution \ --regionus-east-1\ --service-role EMR_Notebooks_DefaultRole \ --environment-variables '{"KERNEL_EXTRA_SPARK_OPTS": "--conf spark.executor.instances=1", "KERNEL_LAUNCH_TIMEOUT": "350"}' \ --output-notebook-format HTML \ --execution-engine Id=arn:aws:emr-containers:us-west-2:account-id:/virtualclusters/ABCDEFG/endpoints/ABCDEF,Type=EMR_ON_EKS,ExecutionRoleArn=arn:aws:iam::account-id:role/execution-role\ --editor-id e-ABCDEFG\ --relative-pathEMRonEKS-spark_python.ipynb
Exemple– Exécution d'un bloc-notes EMR en spécifiant son emplacement Amazon S3
aws emr start-notebook-execution \ --regionus-east-1\ --notebook-execution-namemy-execution-on-emr-on-eks-cluster\ --service-role EMR_Notebooks_DefaultRole \ --environment-variables '{"KERNEL_EXTRA_SPARK_OPTS": "--conf spark.executor.instances=1", "KERNEL_LAUNCH_TIMEOUT": "350"}' \ --output-notebook-format HTML \ --execution-engine Id=arn:aws:emr-containers:us-west-2:account-id:/virtualclusters/ABCDEF/endpoints/ABCDEF,Type=EMR_ON_EKS,ExecutionRoleArn=arn:aws:iam::account-id:role/execution-role\ --notebook-s3-location '{"Bucket": "amzn-s3-demo-bucket","Key": "s3-prefix-to-notebook-location/EMRonEKS-spark_python.ipynb"}' \ --output-notebook-s3-location '{"Bucket": "amzn-s3-demo-bucket","Key": "s3-prefix-for-storing-output-notebook"}'
Sortie de bloc-note
Voici le résultat d'un exemple de bloc-notes. La cellule 3 indique les valeurs des paramètres nouvellement injectés.
Décrire un bloc-notes
Vous pouvez utiliser l'action describe-notebook-execution pour accéder aux informations relatives à l'exécution d'un bloc-notes spécifique.
aws emr --region us-east-1 \ describe-notebook-execution --notebook-execution-id ex-IZWZZVR9DKQ9WQ7VZWXJZR29UGHTE { "NotebookExecution": { "NotebookExecutionId": "ex-IZWZZVR9DKQ9WQ7VZWXJZR29UGHTE", "EditorId": "e-BKTM2DIHXBEDRU44ANWRKIU8N", "ExecutionEngine": { "Id": "j-2QMOV6JAX1TS2", "Type": "EMR", "MasterInstanceSecurityGroupId": "sg-05ce12e58cd4f715e" }, "NotebookExecutionName": "my-execution", "NotebookParams": "{\"input_param\":\"my-value\", \"good_superhero\":[\"superman\", \"batman\"]}", "Status": "FINISHED", "StartTime": 1593490857.009, "Arn": "arn:aws:elasticmapreduce:us-east-1:123456789012:notebook-execution/ex-IZWZZVR9DKQ9WQ7VZWXJZR29UGHTE", "LastStateChangeReason": "Execution is finished for cluster j-2QMOV6JAX1TS2.", "NotebookInstanceSecurityGroupId": "sg-0683b0a39966d4a6a", "Tags": [] } }
Arrêter un bloc-notes
Si votre bloc-notes exécute une exécution que vous souhaitez arrêter, vous pouvez le faire à l'aide de la commande stop-notebook-execution.
# stop a running execution aws emr --region us-east-1 \ stop-notebook-execution --notebook-execution-id ex-IZWZX78UVPAATC8LHJR129B1RBN4T # describe it aws emr --region us-east-1 \ describe-notebook-execution --notebook-execution-id ex-IZWZX78UVPAATC8LHJR129B1RBN4T { "NotebookExecution": { "NotebookExecutionId": "ex-IZWZX78UVPAATC8LHJR129B1RBN4T", "EditorId": "e-BKTM2DIHXBEDRU44ANWRKIU8N", "ExecutionEngine": { "Id": "j-2QMOV6JAX1TS2", "Type": "EMR" }, "NotebookExecutionName": "my-execution", "NotebookParams": "{\"input_param\":\"my-value\", \"good_superhero\":[\"superman\", \"batman\"]}", "Status": "STOPPED", "StartTime": 1593490876.241, "Arn": "arn:aws:elasticmapreduce:us-east-1:123456789012:editor-execution/ex-IZWZX78UVPAATC8LHJR129B1RBN4T", "LastStateChangeReason": "Execution is stopped for cluster j-2QMOV6JAX1TS2. Internal error", "Tags": [] } }
Répertorier les exécutions d'un bloc-notes par heure de début
Vous pouvez passer un paramètre --from à list-notebook-executions pour répertorier les exécutions de votre bloc-notes par heure de début.
# filter by start time aws emr --region us-east-1 \ list-notebook-executions --from 1593400000.000 { "NotebookExecutions": [ { "NotebookExecutionId": "ex-IZWZX78UVPAATC8LHJR129B1RBN4T", "EditorId": "e-BKTM2DIHXBEDRU44ANWRKIU8N", "NotebookExecutionName": "my-execution", "Status": "STOPPED", "StartTime": 1593490876.241 }, { "NotebookExecutionId": "ex-IZWZZVR9DKQ9WQ7VZWXJZR29UGHTE", "EditorId": "e-BKTM2DIHXBEDRU44ANWRKIU8N", "NotebookExecutionName": "my-execution", "Status": "RUNNING", "StartTime": 1593490857.009 }, { "NotebookExecutionId": "ex-IZWZYRS0M14L5V95WZ9OQ399SKMNW", "EditorId": "e-BKTM2DIHXBEDRU44ANWRKIU8N", "NotebookExecutionName": "my-execution", "Status": "STOPPED", "StartTime": 1593490292.995 }, { "NotebookExecutionId": "ex-IZX009ZK83IVY5E33VH8MDMELVK8K", "EditorId": "e-BKTM2DIHXBEDRU44ANWRKIU8N", "NotebookExecutionName": "my-execution", "Status": "FINISHED", "StartTime": 1593489834.765 }, { "NotebookExecutionId": "ex-IZWZXOZF88JWDF9J09GJ91R57VI0N", "EditorId": "e-BKTM2DIHXBEDRU44ANWRKIU8N", "NotebookExecutionName": "my-execution", "Status": "FAILED", "StartTime": 1593488934.688 } ] }
Répertorier les exécutions d'un bloc-notes par heure de début et par état
La commande list-notebook-executions peut également utiliser un paramètre --status pour filtrer les résultats.
# filter by start time and status aws emr --region us-east-1 \ list-notebook-executions --from 1593400000.000 --status FINISHED { "NotebookExecutions": [ { "NotebookExecutionId": "ex-IZWZZVR9DKQ9WQ7VZWXJZR29UGHTE", "EditorId": "e-BKTM2DIHXBEDRU44ANWRKIU8N", "NotebookExecutionName": "my-execution", "Status": "FINISHED", "StartTime": 1593490857.009 }, { "NotebookExecutionId": "ex-IZX009ZK83IVY5E33VH8MDMELVK8K", "EditorId": "e-BKTM2DIHXBEDRU44ANWRKIU8N", "NotebookExecutionName": "my-execution", "Status": "FINISHED", "StartTime": 1593489834.765 } ] }
