Ejemplos de AWS Glue con las Herramientas para PowerShell V4 - Herramientas de AWS para PowerShell (versión 4)
Acciones

Se ha publicado la versión 5 (V5) de Herramientas de AWS para PowerShell.

Para empezar a utilizar la nueva versión de Tools para PowerShell, consulte la Guía del usuario de Herramientas de AWS para PowerShell (V5), especialmente el tema sobre la Migración a la V5.

Ejemplos de AWS Glue con las Herramientas para PowerShell V4

En los siguientes ejemplos de código, se muestra cómo realizar acciones e implementar escenarios comunes usando Herramientas de AWS para PowerShell V4 con AWS Glue.

Las acciones son extractos de código de programas más grandes y deben ejecutarse en contexto. Mientras las acciones muestran cómo llamar a las distintas funciones de servicio, es posible ver las acciones en contexto en los escenarios relacionados.

En cada ejemplo se incluye un enlace al código de origen completo, con instrucciones de configuración y ejecución del código en el contexto.

Acciones

En el siguiente ejemplo de código, se muestra cómo utilizar New-GLUEJob.

Herramientas para PowerShell V4

Ejemplo 1: en este ejemplo se muestra cómo crear un trabajo nuevo en AWS Glue. El valor del nombre del comando siempre será glueetl. AWS Glue es compatible con la ejecución de scripts de trabajos escritos en Python o Scala. En este ejemplo, el script del trabajo (MyTestGlueJob.py) está escrito en Python. Los parámetros de Python se especifican en la variable de $DefArgs y luego se transfieren al comando de PowerShell en el parámetro de DefaultArguments, el cual admite una tabla hash. Los parámetros en la variable $JobParams provienen de la API CreateJob, la cual está documentada en la sección Trabajos (https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-jobs-job.html) de la referencia de API de AWS Glue.

$Command = New-Object Amazon.Glue.Model.JobCommand
$Command.Name = 'glueetl'
$Command.ScriptLocation = 's3://amzn-s3-demo-source-bucket/admin/MyTestGlueJob.py'
$Command

$Source = "source_test_table"
$Target = "target_test_table"
$Connections = $Source, $Target

$DefArgs = @{
     '--TempDir' = 's3://amzn-s3-demo-bucket/admin'
     '--job-bookmark-option' = 'job-bookmark-disable'
     '--job-language' = 'python'
     }
$DefArgs

$ExecutionProp = New-Object Amazon.Glue.Model.ExecutionProperty
$ExecutionProp.MaxConcurrentRuns = 1
$ExecutionProp

$JobParams = @{
    "AllocatedCapacity"    = "5"
    "Command"              = $Command
    "Connections_Connection" = $Connections
    "DefaultArguments"  = $DefArgs
    "Description"       = "This is a test"
    "ExecutionProperty" = $ExecutionProp
    "MaxRetries"        = "1"
    "Name"              = "MyOregonTestGlueJob"
    "Role"              = "Amazon-GlueServiceRoleForSSM"
    "Timeout"           = "20"
     }

New-GlueJob @JobParams

  • Para obtener información sobre la API, consulte CreateJob en la Referencia de Cmdlet de Herramientas de AWS para PowerShell (V4).