Ejemplos de AWS Glue con Herramientas para PowerShell V4 - Ejemplos de código de AWS SDK
Acciones

Hay más ejemplos de AWS SDK disponibles en el repositorio de GitHub de ejemplos de AWS SDK de documentos.

Ejemplos de AWS Glue con Herramientas para PowerShell V4

Los siguientes ejemplos de código muestran cómo realizar acciones e implementar escenarios comunes usando Herramientas de AWS para PowerShell V4 con AWS Glue.

Las acciones son extractos de código de programas más grandes y deben ejecutarse en contexto. Mientras las acciones muestran cómo llamar a las distintas funciones de servicio, es posible ver las acciones en contexto en los escenarios relacionados.

En cada ejemplo se incluye un enlace al código de origen completo, con instrucciones de configuración y ejecución del código en el contexto.

Acciones

En el siguiente ejemplo de código, se muestra cómo utilizar New-GLUEJob.

Herramientas para PowerShell V4

Ejemplo 1: en este ejemplo se muestra cómo crear un trabajo nuevo en AWS Glue. El valor del nombre del comando siempre será glueetl. AWS Glue es compatible con la ejecución de scripts de trabajos escritos en Python o Scala. En este ejemplo, el script del trabajo (MyTestGlueJob.py) está escrito en Python. Los parámetros de Python se especifican en la variable de $DefArgs y luego se transfieren al comando de PowerShell en el parámetro de DefaultArguments, el cual admite una tabla hash. Los parámetros en la variable $JobParams provienen de la API CreateJob, la cual está documentada en la sección Trabajos (https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-jobs-job.html) de la referencia de API de AWS Glue.

$Command = New-Object Amazon.Glue.Model.JobCommand
$Command.Name = 'glueetl'
$Command.ScriptLocation = 's3://amzn-s3-demo-source-bucket/admin/MyTestGlueJob.py'
$Command

$Source = "source_test_table"
$Target = "target_test_table"
$Connections = $Source, $Target

$DefArgs = @{
     '--TempDir' = 's3://amzn-s3-demo-bucket/admin'
     '--job-bookmark-option' = 'job-bookmark-disable'
     '--job-language' = 'python'
     }
$DefArgs

$ExecutionProp = New-Object Amazon.Glue.Model.ExecutionProperty
$ExecutionProp.MaxConcurrentRuns = 1
$ExecutionProp

$JobParams = @{
    "AllocatedCapacity"    = "5"
    "Command"              = $Command
    "Connections_Connection" = $Connections
    "DefaultArguments"  = $DefArgs
    "Description"       = "This is a test"
    "ExecutionProperty" = $ExecutionProp
    "MaxRetries"        = "1"
    "Name"              = "MyOregonTestGlueJob"
    "Role"              = "Amazon-GlueServiceRoleForSSM"
    "Timeout"           = "20"
     }

New-GlueJob @JobParams

  • Para obtener información sobre la API, consulte CreateJob en la Referencia de Cmdlet de Herramientas de AWS para PowerShell (V4).