Especificar parâmetros de esquema - AWS Glue

Especificar parâmetros de esquema

O arquivo de configuração contém especificações de parâmetro do blueprint em um objeto JSON parameterSpec. parameterSpec contém um ou mais objetos de parâmetro.

"parameterSpec": {
    "<parameter_name>": {
      "type": "<parameter-type>",
      "collection": true|false, 
      "description": "<parameter-description>",
      "defaultValue": "<default value for the parameter if value not specified>"
      "allowedValues": "<list of allowed values>" 
    },
    "<parameter_name>": {    
       ...
    }
  }

A seguir estão as regras para codificar cada objeto de parâmetro:

  • O nome e o type do parâmetro são obrigatórios. Todas as outras propriedades são opcionais.

  • Se você especificar a propriedade defaultValue, o parâmetro será opcional. Caso contrário, o parâmetro é obrigatório e o analista de dados que cria um fluxo de trabalho a partir do blueprint deve fornecer um valor para ele.

  • Se você definir a propriedade collection como true, o parâmetro poderá ter uma coleção de valores. Coleções podem ser de qualquer tipo de dados.

  • Se você especificar allowedValues, o console do AWS Glue exibirá uma lista suspensa de valores para o analista de dados escolher ao criar um fluxo de trabalho a partir do esquema.

Os seguintes valores são permitidos para o type:

Tipos de dados de parâmetro Observações
String -
Integer -
Double -
Boolean Os possíveis valores são true e false. Gera uma caixa de seleção na página Create a workflow from <esquema> (Criar um fluxo de trabalho a partir de <esquema>) no console do AWS Glue.
S3Uri Caminho completo do Amazon S3, começando com s3://. Gera um campo de texto e o botão Browse (Navegar) na página Create a workflow from <blueprint> (Criar um fluxo de trabalho a partir de <blueprint>).
S3Bucket Somente nome do bucket do Amazon S3. Gera um seletor de bucket na página Create a workflow from <blueprint> (Criar um fluxo de trabalho a partir de <blueprint>).
IAMRoleArn O nome do recurso da Amazon (ARN) da função do AWS Identity and Access Management (IAM). Gera um seletor de função na página Create a workflow from <blueprint> (Criar um fluxo de trabalho a partir de <blueprint>).
IAMRoleName Nome de uma função do IAM. Gera um seletor de função na página Create a workflow from <blueprint> (Criar um fluxo de trabalho a partir de <blueprint>).