Consulta de conjuntos de datos de gran tamaño mediante un rastreador AWS Glue
En este proyecto de muestra se ilustra cómo ingerir un conjunto de datos de gran tamaño en Amazon S3 y particionarlo mediante rastreadores de AWS Glue y, a continuación, ejecutar consultas de Amazon Athena en esa partición.
En este proyecto, la máquina de estado de Step Functions invoca un rastreador de AWS Glue que particiona un conjunto de datos de gran tamaño en Amazon S3. Una vez que el rastreador de AWS Glue devuelve un mensaje de éxito, el flujo de trabajo ejecuta las consultas de Athena en esa partición. Una vez que la ejecución de la consulta se haya completado correctamente, se envía una notificación de Amazon SNS a un tema de Amazon SNS.
Paso 1: Crear la máquina de estado
-
Abra la consola de Step Functions
y seleccione Crear máquina de estado. -
Seleccione Crear a partir de una plantilla y busque la plantilla de inicio relacionada. Elija Siguiente para continuar.
-
Elija cómo usar la plantilla:
-
Realizar una demostración: crea una máquina de estado de solo lectura. Tras la revisión, puede crear el flujo de trabajo y todos los recursos relacionados.
-
Crear a partir de ella: proporciona una definición de flujo de trabajo editable que puede revisar, personalizar e implementar con sus propios recursos. (Los recursos relacionados, como las funciones o las colas, no se crearán automáticamente).
-
-
Elija Utilizar plantilla para continuar con la selección.
nota
Se aplican cargos estándar por los servicios implementados en su cuenta.
Paso 2: ejecución de la máquina de estado de demostración
Si elige la opción Ejecutar una demostración, todos los recursos relacionados se implementarán y estarán listos para ejecutarse. Si eligió la opción Crear a partir de ella, es posible que necesite establecer valores de marcador de posición y crear recursos adicionales antes de poder ejecutar su flujo de trabajo personalizado.
Elija Implementar y ejecutar.
Espera a que se implemente la pila de CloudFormation. Este proceso puede tardar hasta 10 minutos en completarse.
Cuando aparezca la opción Iniciar ejecución, revise la entrada y elija Iniciar ejecución.
¡Enhorabuena!
Ahora debería tener una demostración en funcionamiento de su máquina de estado. Puede elegir estados en la vista gráfica para revisar la entrada, la salida, las variables, la definición y los eventos.
