View a markdown version of this page

Crear y trabajar con AWS Glue DataBrew trabajos de recetas - AWS Glue DataBrew Guía para desarrolladores
Ejemplo de partición de columnasAutomatizar la ejecución de los trabajos con un cronogramaTrabaje con expresiones cron para trabajos de elaboración de recetasEliminar trabajos y cronogramas de trabajos

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Crear y trabajar con AWS Glue DataBrew trabajos de recetas

Utilice una DataBrew receta para limpiar y normalizar los datos de un DataBrew conjunto de datos y escriba el resultado en la ubicación de salida que elija. La ejecución de un trabajo de preparación no afecta al conjunto de datos ni a los datos de origen subyacentes. Cuando se ejecuta un trabajo, se conecta a los datos de origen en modo de solo lectura. El resultado del trabajo se escribe en una ubicación de salida que usted defina en Amazon S3, en la AWS Glue Data Catalog base de datos JDBC compatible o en una base de datos JDBC compatible.

Utilice el siguiente procedimiento para crear un trabajo de DataBrew receta.

Para crear un trabajo de recetas

  1. Inicie sesión en Consola de administración de AWS y abra la DataBrew consola en https://console.aws.amazon.com/databrew/.

  2. Elija TRABAJOS en el panel de navegación, elija la pestaña Recipe trabajos y, a continuación, elija Crear trabajo.

  3. Introduce un nombre para tu trabajo y, a continuación, selecciona Crear un trabajo de recetas.

  4. En la entrada de trabajo, introduzca los detalles del trabajo que desea crear: el nombre del conjunto de datos que se va a procesar y la receta que se va a utilizar.

    Un trabajo de receta usa una DataBrew receta para transformar un conjunto de datos. Para usar una receta, asegúrate de publicarla primero.

  5. Configure los ajustes de salida de sus trabajos.

    Proporcione un destino para el resultado de su trabajo. Si no tiene una DataBrew conexión configurada para su destino de salida, configúrela primero en la pestaña CONJUNTOS DE DATOS, tal y como se describe enConexiones compatibles para fuentes y salidas de datos. Elija uno de los siguientes destinos de salida:

    • Amazon S3, con o sin AWS Glue Data Catalog soporte

    • Amazon Redshift, con o sin soporte AWS Glue Data Catalog

    • JDBC

    • Mesas Snowflake

    • Tablas de bases de datos de Amazon RDS con AWS Glue Data Catalog soporte. Las tablas de bases de datos de Amazon RDS admiten los siguientes motores de bases de datos:

      • Amazon Aurora

      • MySQL

      • Oracle

      • PostgreSQL

      • Microsoft SQL Server

    • Amazon S3 con AWS Glue Data Catalog soporte.

    Para la AWS Glue Data Catalog salida basada en AWS Lake Formation, solo DataBrew admite la sustitución de los archivos existentes. En este enfoque, los archivos se sustituyen para mantener intactos sus permisos actuales de Lake Formation para su función de acceso a los datos. Además, DataBrew da prioridad a la ubicación de Amazon S3 de la AWS Glue Data Catalog tabla. Por lo tanto, no puede anular la ubicación de Amazon S3 al crear un trabajo de receta.

    En algunos casos, la ubicación de Amazon S3 en el resultado del trabajo difiere de la ubicación de Amazon S3 en la tabla del catálogo de datos. En estos casos, DataBrew actualiza la definición del trabajo automáticamente con la ubicación de Amazon S3 de la tabla del catálogo. Lo hace cuando actualiza o inicia sus trabajos existentes.

  6. Solo para los destinos de salida de Amazon S3, tiene más opciones:

    1. Elija uno de los formatos de salida de datos disponibles para Amazon S3, la compresión opcional y un delimitador personalizado opcional. Los delimitadores admitidos para los archivos de salida son los mismos que para los de entrada: coma, dos puntos, punto y coma, barra vertical, tabulación, intercalación, barra invertida y espacio. Para obtener información sobre el formato, consulte la siguiente tabla.

      Formato Extensión de archivo (sin comprimir) Extensiones de archivo (comprimidas)

      Comma-separated valores

      		 .csv .csv.snappy, .csv.gz, .csv.lz4, csv.bz2, .csv.deflate, csv.br

      Tab-separated valores

      		 .csv .tsv.snappy, .tsv.gz, .tsv.lz4, tsv.bz2, .tsv.deflate, tsv.br
      Apache Parquet .parquet .parquet.snappy, .parquet.gz, .parquet.lz4, .parquet.lzo, .parquet.br
      AWS Glue Parquet No compatible .glue.parquet.snappy
      Apache Avro .avro .avro.snappy, .avro.gz, .avro.lz4, .avro.bz2, .avro.deflate, .avro.br
      Apache ORC .orc .orc.snappy, .orc.lzo, .orc.zlib
      XML .xml .xml.snappy, .xml.gz, .xml.lz4, .xml.bz2, .xml.deflate, .xml.br
      JSON (solo en formato de líneas JSON) .json .json.snappy, .json.gz, .json.lz4, json.bz2, .json.deflate, .json.br
      Tableau Hyper No compatible No aplicable

    2. Elija si desea generar un solo archivo o varios archivos. Existen tres opciones para la salida de archivos con Amazon S3:

      • Generar archivos automáticamente (recomendado): ha DataBrew determinado el número óptimo de archivos de salida.

      • Salida de un solo archivo: hace que se genere un solo archivo de salida. Esta opción puede provocar un tiempo adicional de ejecución del trabajo, ya que es necesario realizar un posprocesamiento.

      • Salida de varios archivos: permite especificar el número de archivos para la salida del trabajo. Los valores válidos son de 2 a 999. Es posible que se generen menos archivos de los que especifique si se utiliza la partición de columnas o si el número de filas de la salida es inferior al número de archivos que especifique.

    3. (Opcional) Elija la partición de columnas para la salida del trabajo de receta.

      La partición de columnas proporciona otra forma de dividir el resultado del trabajo de receta en varios archivos. La partición de columnas se puede utilizar con la salida de Amazon S3 nueva o existente o con la salida del nuevo catálogo de datos de Amazon S3. No se puede usar con las tablas del catálogo de datos Amazon S3 existentes. Los archivos de salida se basan en los valores de los nombres de columna que especifique. Si los nombres de columna que especifique son únicos, las rutas de las carpetas de Amazon S3 resultantes se basan en el orden de los nombres de las columnas.

      Para ver un ejemplo de partición de columnasEjemplo de partición de columnas, consulte lo siguiente.

  7. (Opcional) Seleccione Activar el cifrado de la salida del trabajo para cifrar la salida del trabajo que se DataBrew escribe en la ubicación de salida y, a continuación, elija el método de cifrado:

    • Utilice SSE-S3 cifrado: la salida se cifra mediante cifrado del lado del servidor con claves de cifrado administradas por Amazon S3.

    • Use AWS Key Management Service(AWS KMS): la salida se cifra mediante.AWS KMS Para usar esta opción, elija el nombre de recurso de Amazon (ARN) de la AWS KMS clave que desee usar. Si no tiene una AWS KMS clave, puede crear una seleccionando Crear una AWS KMS clave.

  8. Para los permisos de acceso, elige un rol AWS Identity and Access Management(IAM) que te permita DataBrew escribir en tu ubicación de salida. En el caso de una ubicación que sea propiedad de tu AWS cuenta, puedes elegir la función de administración del AwsGlueDataBrewDataAccessRole servicio. De este modo, podrá acceder DataBrew a AWS los recursos de su propiedad.

  9. En el panel de configuración avanzada del trabajo, puede elegir más opciones para ejecutar el trabajo:

    • Número máximo de unidades: DataBrew procesa los trabajos con varios nodos de cómputo y se ejecutan en paralelo. El número predeterminado de nodos es 5. El número máximo de nodos es 149.

    • Tiempo de espera del trabajo: si un trabajo tarda más de los minutos que ha establecido aquí en ejecutarse, se produce un error de tiempo de espera. El valor predeterminado es de 2880 minutos o 48 horas.

    • Número de reintentos: si un trabajo falla mientras se está ejecutando, DataBrew puede intentar volver a ejecutarlo. De forma predeterminada, el trabajo no se vuelve a intentar.

    • Habilitar Amazon CloudWatch Logs para el trabajo: DataBrew permite publicar información de diagnóstico en CloudWatch Logs. Estos registros pueden ser útiles para solucionar problemas o para obtener más detalles sobre cómo se procesa el trabajo.

  10. En el caso de los trabajos programados, puede aplicar un DataBrew cronograma de trabajo para que el trabajo se ejecute en un momento determinado o de forma periódica. Para obtener más información, consulte Automatizar la ejecución de los trabajos con un cronograma.

  11. Cuando los ajustes sean los que desea, elija Crear trabajo. O bien, si desea ejecutar el trabajo inmediatamente, elija Crear y ejecutar trabajo.

Puede supervisar el progreso del trabajo comprobando su estado mientras el trabajo está en ejecución. Cuando se completa la ejecución del trabajo, el estado cambia a Se ha realizado correctamente. La salida del trabajo ahora está disponible en la ubicación de salida elegida.

DataBrew guarda la definición del trabajo para que pueda ejecutar el mismo trabajo más adelante. Para volver a ejecutar un trabajo, seleccione Trabajos en el panel de navegación. Elija el trabajo con el que quiere trabajar y, a continuación, elija Ejecutar trabajo.

Ejemplo de partición de columnas

Como ejemplo de partición de columnas, supongamos que se especifican tres columnas, cada una de las cuales contiene uno de los dos valores posibles. La Dept columna puede tener el valor Admin oEng. La Staff-type columna puede tener el valor Part-time oFull-time. La Location columna puede tener el valor Office1 oOffice2. Los buckets de Amazon S3 para la producción de su trabajo tienen un aspecto similar al siguiente.

s3://bucket/output-folder/Dept=Admin/Staff-type=Part-time/Area=Office1/jobId_timestamp_part0001.csv
s3://bucket/output-folder/Dept=Admin/Staff-type=Part-time/Location=Office2/jobId_timestamp_part0002.csv
s3://bucket/output-folder/Dept=Admin/Staff-type=Full-time/Location=Office1/jobId_timestamp_part0003.csv
s3://bucket/output-folder/Dept=Admin/Staff-type=Full-time/Location=Office2/jobId_timestamp_part0004.csv
s3://bucket/output-folder/Dept=Eng/Staff-type=Part-time/Location=Office1/jobId_timestamp_part0005.csv
s3://bucket/output-folder/Dept=Eng/Staff-type=Part-time/Location=Office2/jobId_timestamp_part0006.csv
s3://bucket/output-folder/Dept=Eng/Staff-type=Full-time/Location=Office1/jobId_timestamp_part0007.csv
s3://bucket/output-folder/Dept=Eng/Staff-type=Full-time/Location=Office2/jobId_timestamp_part0008.csv

Automatizar la ejecución de los trabajos con un cronograma

Puede volver a ejecutar los DataBrew trabajos en cualquier momento y también automatizar las ejecuciones de los DataBrew trabajos con un cronograma.

Para volver a ejecutar un trabajo DataBrew

  1. Inicie sesión en Consola de administración de AWS y abra la DataBrew consola en https://console.aws.amazon.com/databrew/.

  2. En el panel de navegación, selecciona Trabajos. Elija el trabajo que desee ejecutar y, a continuación, elija Ejecutar trabajo.

Para ejecutar un DataBrew trabajo en un momento determinado o de forma periódica, cree un cronograma de DataBrew trabajos. A continuación, puede configurar su trabajo para que se ejecute de acuerdo con el cronograma.

Para crear un cronograma de DataBrew tareas

  1. En el panel de navegación de la DataBrew consola, elija Trabajos. Seleccione la pestaña Programaciones y, a continuación, seleccione Añadir programación.

  2. Introduce un nombre para tu programación y, a continuación, elige un valor para la frecuencia de ejecución:

    • Recurrente: elija la frecuencia con la que desea que se ejecute el trabajo (por ejemplo, cada 12 horas). A continuación, elija el día o los días en los que desea ejecutar el trabajo. Si lo desea, puede introducir la hora del día en que se ejecuta el trabajo.

    • A una hora determinada: introduzca la hora del día en la que desea que se ejecute el trabajo. A continuación, elija el día o los días en los que desea ejecutar el trabajo.

    • Introduzca CRON: defina el horario de trabajo introduciendo una expresión cron válida. Para obtener más información, consulte Trabaje con expresiones cron para trabajos de elaboración de recetas.

  3. Cuando la configuración sea la que desea, elija Save (Guardar).

Para asociar un trabajo a un cronograma

  1. En el panel de navegación, elija Trabajos.

  2. Elija el trabajo con el que quiere trabajar y, a continuación, en Acciones, elija Editar. .

  3. En el panel Programar trabajos, seleccione Asociar programación. Elija el nombre de la programación que desee usar.

  4. Cuando la configuración sea la que desea, elija Save (Guardar).

Trabaje con expresiones cron para trabajos de elaboración de recetas

Las expresiones Cron tienen seis campos obligatorios, que están separados por un espacio en blanco. La sintaxis es la siguiente.

Minutes Hours Day-of-month Month Day-of-week Year

En la sintaxis anterior, se utilizan los siguientes valores y caracteres comodín para los campos indicados.

Campos Valores Caracteres comodín

Minutos

0–59

, - * /

Horas

0–23

, - * /

Day-of-month

1–31

, - * ? / L W

Mes

1—12 o JAN-DEC

, - * /

Day-of-week

1—7 o SUN-SAT

, - * ? / L

Año

1970-2199

, - * /

Utilice estos caracteres comodín de la siguiente manera:

  • El carácter comodín , (coma) incluye valores adicionales. En el Month campo, JAN,FEB,MAR incluye enero, febrero y marzo.

  • El comodín - (al trazo) especifica los rangos. En el Day campo, del 1 al 15 se incluyen los días 1 a 15 del mes especificado.

  • El * (asterisco) incluye todos los valores del campo. En el Hours campo, * incluye todas las horas.

  • El comodín / (barra inclinada) especifica incrementos. En el Minutes campo, puede 1/10 especificar cada 10 minutos, empezando por el primer minuto de la hora (por ejemplo, los minutos 11, 21 y 31).

  • El comodín ? (signo de interrogación) especifica uno u otro. Por ejemplo, supongamos que en el Day-of-month campo introduce 7. Si no le importa qué día de la semana es el séptimo, ¿puede escribir? en el Day-of-week campo.

  • El comodín L del Day-of-week campo Day-of-month o especifica el último día del mes o de la semana.

  • El comodín W en el campo Day-of-month especifica un día de la semana. En el campo Day-of-month, 3W especifica el día más cercano al tercer día de semana del mes.

Estos campos y valores tienen las siguientes limitaciones:

  • No se pueden especificar los campos Day-of-month y Day-of-week en la misma expresión Cron. Si especifica un valor en uno de los campos, debe utilizar un ? (signo de interrogación) en el otro.

  • No se admiten las expresiones cron que generan velocidades superiores a 5 minutos.

Cuando cree una programación, puede utilizar las siguientes cadenas Cron de ejemplo.

Minutos Horas Día del mes Mes Día de la semana Año Significado

0

10

*

*

?

*

Corre a las 10:00 a. m. (UTC) todos los días

15

12

*

*

?

*

Ejecutar a las 12:15 (UTC) todos los días

0

18

?

*

MON-FRI

*

Ejecutar a las 18:00 (UTC) de lunes a viernes

0

8

1

*

?

*

Corre a las 8:00 a. m. (UTC) el primer día del mes

0/15

*

*

*

?

*

Ejecutar cada 15 minutos

0/10

*

?

*

MON-FRI

*

Ejecutar cada 10 minutos de lunes a viernes

0/5

8-17

?

*

MON-FRI

*

Ejecutar cada 5 minutos de lunes a viernes entre las 8:00 y las 17:55 (UTC)

Por ejemplo, puedes usar la siguiente expresión cron para ejecutar un trabajo todos los días a las 12:15 UTC.

15 12 * * ? *

Eliminar trabajos y cronogramas de trabajos

Si ya no necesita un trabajo o un cronograma de trabajo, puede eliminarlos.

Eliminación de un trabajo

  1. En el panel de navegación, elija Trabajos.

  2. Elija el trabajo que desee eliminar y, a continuación, en Acciones, elija Eliminar. .

Para eliminar un cronograma de trabajo

  1. En el panel de navegación, elija Trabajos y, a continuación, elija la pestaña Programaciones.

  2. Elija la programación que desee eliminar y, a continuación, en Acciones, elija Eliminar. .