Konfigurieren von AWS Glue-interaktiven Sitzungen für Jupyter und AWS Glue Studio-Notebooks

Einführung in Jupyter Magics

Jupyter Magics sind Befehle, die am Anfang einer Zelle oder als ganzer Zellinhalt ausgeführt werden können. Zeilen-Magics beginnen mit % und Zellen-Magics mit %%. Zeilen-Magics wie %region und %connections können wie im folgenden Beispiel mit mehreren Magics in einer Zelle oder mit Code im Zellinhalt ausgeführt werden.

%region us-east-2
%connections my_rds_connection
dy_f = glue_context.create_dynamic_frame.from_catalog(database='rds_tables', table_name='sales_table')         
        

Zell-Magics müssen die gesamte Zelle verwenden und der Befehl kann sich über mehrere Zeilen erstrecken. Ein Beispiel für %%sql sehen Sie unten.

%%sql
select * from rds_tables.sales_table
        

Unterstützte Magics in AWS Glue-interaktiven Sitzungen für Jupyter

Im Folgenden finden Sie Magics, die Sie in AWS Glue Interactive Sessions für Jupyter Notebooks verwenden können.

Sessions Magics

Magics für die Auswahl von Auftragstypen

AWS Glue for Spark config magics

Das %%configure-Magic ist ein JSON-formatiertes Wörterbuch, das alle Konfigurationsparameter für eine Sitzung enthält. Jeder Parameter kann hier oder durch einzelne Magics angegeben werden.

%%tags
{"billing":"Data-Platform", "team":"analytics"}
                      

%status

Session ID: <sessionId>
 Status: READY
 Role: <example-role>
 CreatedOn: 2023-05-26 11:12:17.056000-07:00
 GlueVersion: 3.0
 Job Type: glueetl
 Tags: {'owner':'example-owner', 'team':'analytics', 'billing':'Data-Platform'}
 Worker Type: G.4X
 Number of Workers: 5
 Region: us-west-2
 Applying the following default arguments:
 --glue_kernel_version 0.38.0
 --enable-glue-datacatalog true
 Arguments Passed: ['--glue_kernel_version: 0.38.0', '--enable-glue-datacatalog: true']                
                

%%assume_role
{
  'arn:aws:iam::XXXXXXXXXXXX:role/AWSGlueServiceRole'
}
                

 %%assume_role
{{
    "aws_access_key_id" = "XXXXXXXXXXXX",
    "aws_secret_access_key" = "XXXXXXXXXXXX",
    "aws_session_token" = "XXXXXXXXXXXX"
}}

%%configure cell magic arguments

Das %%configure-Magic ist ein JSON-formatiertes Wörterbuch, das alle Konfigurationsparameter für eine Sitzung enthält. Jeder Parameter kann hier oder durch einzelne Magics angegeben werden. Nachfolgend finden Sie Beispiele für Argumente, die von dem %%configure-Zellen-Magic unterstützt werden. Verwenden Sie das Präfix -- für Ausführungsargumente, die für den Auftrag angegeben wurden. Beispiel:

%%configure
{
   "--user-jars-first": "true",
   "--enable-glue-datacatalog": "false"
}     
        

Weitere Informationen zu Auftragsparametern finden Sie unter Auftragsparameter.

Sitzungskonfiguration

%%configure
{
  "max_retries": "0"
}                      
                          

%%configure
{
  "max_concurrent_runs": "3"
}

Sitzungsparameter

%%configure
{
  "--enable-spark-ui": "true"
}

%%configure
{
  "--spark-event-logs-path": "s3://path/to/event/logs/"
}                           
                          

%%configure 
{
  "script_location": "s3://new-folder-here"
}                            
                          

%%configure
{
    "--security_configuration": {
"encryption_type": "kms",
"kms_key_id": "YOUR_KMS_KEY_ARN"
}
}
                  

%%configure 
{
  "--job-language": "scala"
}                            
                  

%%configure 
{
  "--class": "className"
}                            
                  

%%configure 
{
  "--user-jars-first": "true"
}                            
                  

%%configure 
{
  "--use-postgres-driver": "true"
}                            
                  

%%configure 
{
  "--extra-files": "s3://path/to/additional/files/"
}                            
                  

%%configure
{
  "--job-bookmark-option": "job-bookmark-enable"
}                            
                  

%%configure 
{
  "--TempDir": "s3://path/to/temp/dir"
}                            
                  

%%configure 
{
  "--enable-s3-parquet-optimized-committer": "false"
}                            
                  

%%configure 
{
  "--enable-rename-algorithm-v2": "true"
}                            
                  

%%configure 
{
  "--enable-glue-datacatalog": "true"
}                            
                  

%%configure 
{
  "--enable-metrics": "true"
}                            
                  

%%configure 
{
  "--enable-continuous-cloudwatch-log": "true"
}                            
                  

%%configure 
{
  "--enable-continuous-log-filter": "true"
}                            
                  

%%configure 
{
  "--continuous-log-stream-prefix": "prefix"
}                            
                  

%%configure 
{
  "--continuous-log-conversionPattern": "pattern"
}                      
                  

%%configure
{
    "--conf": "spark.hadoop.hive.metastore.glue.catalogid=123456789012 --conf hive.metastore.client.factory.class=com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory --conf hive.metastore.schema.verification=false"
}       
        

%%configure 
{
  "timeout": "30"
}

%%configure 
{
  "––enable-auto-scaling": "true"
}

Magic von Spark-Aufträgen (ETL und Streaming)

%connections my_rds_connection
                    dy_f = glue_context.create_dynamic_frame.from_catalog(database='rds_tables', table_name='sales_table')

Magics für Ray-Aufträgen

Action Magics

import matplotlib.pyplot as plt

# Set X-axis and Y-axis values
x = [5, 2, 8, 4, 9]
y = [10, 4, 8, 5, 2]
  
# Create a bar chart 
plt.bar(x, y)
  
# Show the plot
%matplot plt      
                

import plotly.express as px
                  
#Create a graphical figure
fig = px.line(x=["a","b","c"], y=[1,3,2], title="sample figure")

#Show the figure
%plotly fig

Benennen von Sitzungen

AWS Glue-interaktive Sitzungen sind AWS-Ressourcen und erfordern einen Namen. Namen sollten für jede Sitzung eindeutig sein und können von Ihren IAM-Administratoren eingeschränkt werden. Weitere Informationen finden Sie unter Interaktive Sitzungen mit IAM. Der Jupyter-Kernel generiert automatisch eindeutige Sitzungsnamen für Sie. Es gibt jedoch zwei Möglichkeiten, um Sitzungen manuell zu benennen:

Ein Sitzungsname wird wie folgt generiert:

Durch die Angabe eines Präfix können Sie Ihre Sitzung beim Auflisten in der AWS CLI oder in der Konsole leichter wiederfinden.

Angeben einer IAM-Rolle für interaktive Sitzungen

Sie müssen eine AWS Identity and Access Management (IAM)-Rolle angeben, mit der AWS Glue ETL-Code verwendet werden soll, den Sie mit interaktiven Sitzungen ausführen.

Die Rolle muss über dieselben IAM-Berechtigungen verfügen, die zum Ausführen von AWS Glue-Aufträgen erforderlich sind. Weitere Informationen zum Erstellen einer Rolle für AWS Glue-Aufträge und interaktive Sitzungen finden Sie unter Erstellen einer IAM-Rolle für AWS Glue.

IAM-Rollen können auf zwei Arten angegeben werden:

Konfigurieren von Sitzungen mit benannten Profilen

AWS Glue-interaktive Sitzungen verwenden die gleichen Anmeldeinformationen wie die AWS Command Line Interface oder boto3. Interaktive Sitzungen schätzen und arbeiten mit benannten Profilen wie die AWS CLI, die in ~/.aws/config (Linux und macOS) oder %USERPROFILE%\.aws\config (Windows) zu finden sind. Weitere Informationen finden Sie unter Verwendung benannter Profile.

Interaktive Sitzungen nutzen benannte Profile, indem sie die Angabe der AWS Glue-Servicerolle und des Sitzungs-ID-Präfix in einem Profil zulassen. Um eine Profilrolle zu konfigurieren, fügen Sie eine Zeile für den Schlüssel iam_role und/oder session_id_prefix wie unten gezeigt in Ihrem benannten Profil hinzu. Für sind session_id_prefix keine Anführungszeichen erforderlich. Wenn Sie beispielsweise einen session_id_prefix hinzufügen möchten, geben Sie den Wert von session_id_prefix=myprefix ein.

[default]
region=us-east-1
aws_access_key_id=AKIAIOSFODNN7EXAMPLE 
aws_secret_access_key=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
glue_iam_role=arn:aws:iam::<AccountID>:role/<GlueServiceRole> 
session_id_prefix=<prefix_for_session_names>

[user1] 
region=eu-west-1
aws_access_key_id=AKIAI44QH8DHBEXAMPLE 
aws_secret_access_key=je7MtGbClwBF/2Zp9Utk/h3yCo8nvbEXAMPLEKEY
glue_iam_role=arn:aws:iam::<AccountID>:role/<GlueServiceRoleUser1> 
session_id_prefix=<prefix_for_session_names_for_user1>          
        

Wenn Sie eine benutzerdefinierte Methode zum Generieren von Anmeldeinformationen nutzen, können Sie Ihr Profil auch dafür konfigurieren, credential_process-Parameter in Ihrer ~/.aws/config-Datei zu verwenden. Zum Beispiel:

[profile developer]
region=us-east-1
credential_process = "/Users/Dave/generate_my_credentials.sh" --username helen         
        

Weitere Informationen zur Beschaffung von Anmeldeinformationen mithilfe der credential_process-Parameter finden Sie hier: Beschaffung von Anmeldeinformationen mit einem externen Prozess.

Wenn eine Region oder iam_role in dem von Ihnen verwendeten Profil nicht festgelegt sind, müssen Sie sie mit den Magic-Anweisungen %region und %iam_role in der ersten Zelle angeben, die Sie ausführen.