Configuration des Séances interactives AWS Glue pour Jupyter et Blocs-notes AWS Glue Studio

Présentation de Jupyter magics

Les Jupyter magics sont des commandes qui peuvent être exécutées au début d'une cellule ou en tant que corps cellulaire entier. Les magics commencent par % pour les magics linéaires et %% pour les magics cellulaires. Les magics linéaires telles que %region et %connections peuvent être exécutées avec plusieurs magics dans une cellule, ou avec du code inclus à l’intérieur de la cellule, comme dans l'exemple suivant.

%region us-east-2
%connections my_rds_connection
dy_f = glue_context.create_dynamic_frame.from_catalog(database='rds_tables', table_name='sales_table')         
        

Les magics cellulaires doivent utiliser la cellule entière et leur commande peut s'étendre sur plusieurs lignes. Ci-dessous un exemple de %%sql.

%%sql
select * from rds_tables.sales_table
        

Des magics soutenus par les séances interactives AWS Glue pour Jupyter

Ci-après les magics que vous pouvez utiliser avec les séances interactives AWS Glue pour les bloc-notes Jupyter.

Sessions Magics (Séances Magics)

Magics pour la sélection des types de tâches

Magics de configuration AWS Glue pour Spark.

Le magic %%configure est un dictionnaire au format JSON comprenant tous les paramètres de configuration d'une session. Chaque paramètre peut être spécifié ici ou par magies individuelles.

%%tags
{"billing":"Data-Platform", "team":"analytics"}
                      

%status

Session ID: <sessionId>
 Status: READY
 Role: <example-role>
 CreatedOn: 2023-05-26 11:12:17.056000-07:00
 GlueVersion: 3.0
 Job Type: glueetl
 Tags: {'owner':'example-owner', 'team':'analytics', 'billing':'Data-Platform'}
 Worker Type: G.4X
 Number of Workers: 5
 Region: us-west-2
 Applying the following default arguments:
 --glue_kernel_version 0.38.0
 --enable-glue-datacatalog true
 Arguments Passed: ['--glue_kernel_version: 0.38.0', '--enable-glue-datacatalog: true']                
                

%%assume_role
{
  'arn:aws:iam::XXXXXXXXXXXX:role/AWSGlueServiceRole'
}
                

 %%assume_role
{{
    "aws_access_key_id" = "XXXXXXXXXXXX",
    "aws_secret_access_key" = "XXXXXXXXXXXX",
    "aws_session_token" = "XXXXXXXXXXXX"
}}

Arguments du magic cellulaire %%configure

Le magic %%configure est un dictionnaire au format JSON comprenant tous les paramètres de configuration d'une session. Chaque paramètre peut être spécifié ici ou par magies individuelles. Vous trouverez ci-dessous des exemples d'arguments soutenus par le magic cellulaire %%configure. Utilisez le préfixe -- pour les arguments d’exécution spécifiés pour la tâche. Exemple :

%%configure
{
   "--user-jars-first": "true",
   "--enable-glue-datacatalog": "false"
}     
        

Pour plus d’informations sur les paramètres des tâches, consultez Paramètres des tâches.

Configuration de session

%%configure
{
  "max_retries": "0"
}                      
                          

%%configure
{
  "max_concurrent_runs": "3"
}

Paramètres de session

%%configure
{
  "--enable-spark-ui": "true"
}

%%configure
{
  "--spark-event-logs-path": "s3://path/to/event/logs/"
}                           
                          

%%configure 
{
  "script_location": "s3://new-folder-here"
}                            
                          

%%configure
{
    "--security_configuration": {
"encryption_type": "kms",
"kms_key_id": "YOUR_KMS_KEY_ARN"
}
}
                  

%%configure 
{
  "--job-language": "scala"
}                            
                  

%%configure 
{
  "--class": "className"
}                            
                  

%%configure 
{
  "--user-jars-first": "true"
}                            
                  

%%configure 
{
  "--use-postgres-driver": "true"
}                            
                  

%%configure 
{
  "--extra-files": "s3://path/to/additional/files/"
}                            
                  

%%configure
{
  "--job-bookmark-option": "job-bookmark-enable"
}                            
                  

%%configure 
{
  "--TempDir": "s3://path/to/temp/dir"
}                            
                  

%%configure 
{
  "--enable-s3-parquet-optimized-committer": "false"
}                            
                  

%%configure 
{
  "--enable-rename-algorithm-v2": "true"
}                            
                  

%%configure 
{
  "--enable-glue-datacatalog": "true"
}                            
                  

%%configure 
{
  "--enable-metrics": "true"
}                            
                  

%%configure 
{
  "--enable-continuous-cloudwatch-log": "true"
}                            
                  

%%configure 
{
  "--enable-continuous-log-filter": "true"
}                            
                  

%%configure 
{
  "--continuous-log-stream-prefix": "prefix"
}                            
                  

%%configure 
{
  "--continuous-log-conversionPattern": "pattern"
}                      
                  

%%configure
{
    "--conf": "spark.hadoop.hive.metastore.glue.catalogid=123456789012 --conf hive.metastore.client.factory.class=com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory --conf hive.metastore.schema.verification=false"
}       
        

%%configure 
{
  "timeout": "30"
}

%%configure 
{
  "––enable-auto-scaling": "true"
}

Magics de tâches Spark (ETL et streaming)

%connections my_rds_connection
                    dy_f = glue_context.create_dynamic_frame.from_catalog(database='rds_tables', table_name='sales_table')

Magics pour les tâches Ray

Action Magics (Action Magics)

import matplotlib.pyplot as plt

# Set X-axis and Y-axis values
x = [5, 2, 8, 4, 9]
y = [10, 4, 8, 5, 2]
  
# Create a bar chart 
plt.bar(x, y)
  
# Show the plot
%matplot plt      
                

import plotly.express as px
                  
#Create a graphical figure
fig = px.line(x=["a","b","c"], y=[1,3,2], title="sample figure")

#Show the figure
%plotly fig

Désignation des séances

Les séances interactives AWS Glue sont des ressources AWS et nécessitent un nom. Les noms doivent être uniques pour chaque session et peuvent être restreints par vos administrateurs IAM. Pour plus d’informations, consultez Séances interactives avec IAM. Le noyau Jupyter génère automatiquement des noms de session uniques pour vous. Toutefois, les séances peuvent être nommées manuellement de deux manières :

Un nom de séance est généré comme suit :

Le préfixe des noms de séance vous autorise à reconnaître votre session lorsque vous la répertoriez dans l'interface AWS CLI ou dans la console.

Spécification d'un rôle IAM pour les séances interactives

Vous devez spécifier un rôle Identity and Access Management (IAM) AWS à utiliser avec le code ETL AWS Glue que vous exécutez avec des séances interactives.

Le rôle requiert les mêmes autorisations IAM que celles requises pour exécuter les tâches AWS Glue. Voir Création d'un rôle IAM pour AWS Glue pour plus d'informations sur la création d'un rôle pour les tâches AWS Glue et les séances interactives.

Les rôles IAM peuvent être spécifiés de deux manières :

Configuration des séances avec des profils nommés

Les séances interactives AWS Glue utilisent les mêmes informations d'identification que AWS Command Line Interface ou boto3. Les sessions interactives honorent et fonctionnent avec des profils nommés tels que le AWS CLI trouvé dans ~/.aws/config (Linux ou MacOS) ou %USERPROFILE%\.aws\config (Windows). Pour de plus amples informations, consultez Using named profiles.

Les séances interactives tirent parti des profils nommés en permettant au préfixe de fonction du service et aux ID de séance AWS Glue d'être spécifiés dans un profil. Pour configurer un rôle de profil, ajoutez une ligne pour la clé iam_role et/ou session_id_prefix à votre profil nommé comme indiqué ci-dessous. Le session_id_prefix ne nécessite pas de guillemets. Par exemple, si vous souhaitez ajouter un session_id_prefix, saisissez la valeur du session_id_prefix=myprefix.

[default]
region=us-east-1
aws_access_key_id=AKIAIOSFODNN7EXAMPLE 
aws_secret_access_key=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
glue_iam_role=arn:aws:iam::<AccountID>:role/<GlueServiceRole> 
session_id_prefix=<prefix_for_session_names>

[user1] 
region=eu-west-1
aws_access_key_id=AKIAI44QH8DHBEXAMPLE 
aws_secret_access_key=je7MtGbClwBF/2Zp9Utk/h3yCo8nvbEXAMPLEKEY
glue_iam_role=arn:aws:iam::<AccountID>:role/<GlueServiceRoleUser1> 
session_id_prefix=<prefix_for_session_names_for_user1>          
        

Si vous disposez d'une méthode personnalisée pour générer des informations d'identification, vous pouvez également configurer votre profil pour utiliser le paramètre credential_process dans votre fichier ~/.aws/config. Par exemple :

[profile developer]
region=us-east-1
credential_process = "/Users/Dave/generate_my_credentials.sh" --username helen         
        

Vous trouverez plus de détails sur la source d'approvisionnement des informations d'identification via le paramètre credential_process ici : Source d'approvisionnement des informations d'identification avec un processus externe.

Si une région ou iam_role ne sont pas définis dans le profil que vous utilisez, vous devez les spécifier à l'aide des magics %region et %iam_role dans la première cellule que vous exécutez.