Exemplos de AWS Glue usando o Tools for PowerShell V4 - Ferramentas da AWS para PowerShell (versão 4)
Ações

A versão 5 (V5) do Ferramentas da AWS para PowerShell foi lançada!

Para começar a usar a nova versão do SDK, consulte o Guia do usuário do Ferramentas da AWS para PowerShell (V5), especialmente o tópico Migração para V5.

Exemplos de AWS Glue usando o Tools for PowerShell V4

Os exemplos de código a seguir mostram como realizar ações e implementar cenários comuns usando o Ferramentas da AWS para PowerShell V4 com o AWS Glue.

Ações são trechos de código de programas maiores e devem ser executadas em contexto. Embora as ações mostrem como chamar perfis de serviço individuais, você pode ver as ações no contexto em seus cenários relacionados.

Cada exemplo inclui um link para o código-fonte completo, em que você pode encontrar instruções sobre como configurar e executar o código.

Tópicos

Ações

O código de exemplo a seguir mostra como usar New-GLUEJob.

Ferramentas para PowerShell V4

Exemplo 1: esse exemplo cria um novo trabalho no AWS Glue. O valor do nome do comando é sempre glueetl. AWS O Glue é compatível com a execução de scripts de trabalhos escritos em Python ou Scala. Neste exemplo, o script de trabalho (MyTestGlueJob.py) é escrito em Python. Os parâmetros do Python são especificados na variável $DefArgs e, em seguida, passados para o comando do PowerShell no parâmetro DefaultArguments, que aceita uma tabela de hash. Os parâmetros na variável $JobParams são provenientes da API CreateJob, documentada no tópico Trabalhos (https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-jobs-job.html) da Referência da API do AWS Glue.

$Command = New-Object Amazon.Glue.Model.JobCommand
$Command.Name = 'glueetl'
$Command.ScriptLocation = 's3://amzn-s3-demo-source-bucket/admin/MyTestGlueJob.py'
$Command

$Source = "source_test_table"
$Target = "target_test_table"
$Connections = $Source, $Target

$DefArgs = @{
     '--TempDir' = 's3://amzn-s3-demo-bucket/admin'
     '--job-bookmark-option' = 'job-bookmark-disable'
     '--job-language' = 'python'
     }
$DefArgs

$ExecutionProp = New-Object Amazon.Glue.Model.ExecutionProperty
$ExecutionProp.MaxConcurrentRuns = 1
$ExecutionProp

$JobParams = @{
    "AllocatedCapacity"    = "5"
    "Command"              = $Command
    "Connections_Connection" = $Connections
    "DefaultArguments"  = $DefArgs
    "Description"       = "This is a test"
    "ExecutionProperty" = $ExecutionProp
    "MaxRetries"        = "1"
    "Name"              = "MyOregonTestGlueJob"
    "Role"              = "Amazon-GlueServiceRoleForSSM"
    "Timeout"           = "20"
     }

New-GlueJob @JobParams

  • Para ter detalhes da API, consulte CreateJob na Referência do Cmdlet Ferramentas da AWS para PowerShell (V4).