Especificación de parámetros del esquema - AWS Glue

Especificación de parámetros del esquema

El archivo de configuración contiene especificaciones de parámetros del proyecto en un objeto JSON parameterSpec. parameterSpec contiene uno o varios objetos de parámetro.

"parameterSpec": {
    "<parameter_name>": {
      "type": "<parameter-type>",
      "collection": true|false, 
      "description": "<parameter-description>",
      "defaultValue": "<default value for the parameter if value not specified>"
      "allowedValues": "<list of allowed values>" 
    },
    "<parameter_name>": {    
       ...
    }
  }

Las siguientes son las reglas para codificar cada objeto de parámetro:

  • El nombre y type de parámetro son obligatorios. Todas las demás propiedades son opcionales.

  • Si especifica la propiedad defaultValue, el parámetro es opcional. De lo contrario, el parámetro es obligatorio y el analista de datos que está creando un flujo de trabajo a partir del proyecto debe proporcionar un valor para él.

  • Si establece la propiedad collection a true, el parámetro puede tomar una recopilación de valores. Las recopilaciones pueden ser de cualquier tipo de datos.

  • Si especifica allowedValues, la consola de AWS Glue muestra una lista desplegable de valores para que el analista de datos elija al crear un flujo de trabajo a partir del esquema.

Se permiten los siguientes valores para type:

Tipos de datos de los parámetros Notas
String -
Integer -
Double -
Boolean Los posibles valores son true y false. Genera una casilla de verificación en la página Create a workflow from <blueprint> (Crear un flujo de trabajo a partir de <esquema>) en la consola de AWS Glue.
S3Uri Complete la ruta de Amazon S3. Comience con s3://. Genera un campo de texto y el botón Browse (Examinar) en la página Create a workflow from <blueprint> (Crear un flujo de trabajo a partir de <proyecto>).
S3Bucket Solo el nombre del bucket de Amazon S3. Genera un selector de buckets en la página Create a workflow from <blueprint> (Crear un flujo de trabajo a partir de <proyecto>).
IAMRoleArn El nombre de recurso de Amazon (ARN) del rol de AWS Identity and Access Management (IAM). Genera un selector de roles en la página Create a workflow from <blueprint> (Crear un flujo de trabajo a partir de <proyecto>).
IAMRoleName El nombre de un rol de IAM. Genera un selector de roles en la página Create a workflow from <blueprint> (Crear un flujo de trabajo a partir de <proyecto>).