Creación de un cuaderno de Studio con Kinesis Data Streams

Crear una tabla

1. Inicie sesión en la Consola de administración de AWS y abra la consola de AWS Glue en https://console.aws.amazon.com/glue/.

2. Si aún no tiene una base de datos AWS Glue, elija Bases de datos en la barra de navegación izquierda. Elija Agregar una base de datos. En la ventana Añadir base de datos, introduzca default en el nombre de la base de datos. Seleccione Crear.

3. En la barra de navegación izquierda, seleccione Tablas. En la página Tablas, seleccione Añadir tablas y Añadir tabla manualmente.

4. En la página Configurar las propiedades de la tabla, introduzca stock como Nombre de la tabla. Asegúrese de seleccionar la base de datos que creó anteriormente. Elija Siguiente.

5. En la página Añadir un almacén de datos, elija Kinesis. Para el Nombre del flujo, introduzcaExampleInputStream. Para la URL de origen de Kinesis, pulse Intro https://kinesis.us-east-1.amazonaws.com. Si copia y pega la URL de origen de Kinesis, asegúrese de eliminar los espacios iniciales o finales. Elija Siguiente.

6. En la página de Clasificación, seleccione JSON. Elija Siguiente.

7. En la página Definir un esquema, elija Añadir columna para añadir una. Añada columnas con las siguientes propiedades:

   Nombre de la columna	Tipo de datos
   ticker	cadena
   precio	double

   Elija Siguiente.

8. En la página siguiente, verifique su configuración y seleccione Finalizar.

9. Elija la tabla recién creada de la lista de tablas.

10. Elija Editar tabla y añada una propiedad con la clave managed-flink.proctime y el valor proctime.

11. Seleccione Aplicar.

1. Abra la consola de Managed Service para Apache Flink en https://console.aws.amazon.com/managed-flink/home?region=us-east-1#/applications/dashboard.

2. En la página de Aplicaciones de Managed Service para Apache Flink, seleccione la pestaña Studio. Seleccione Crear cuaderno de Studio.

   nota

   También puede crear un cuaderno de Studio desde las consolas de Amazon MSK o Kinesis Data Streams seleccionando el clúster de Amazon MSK o la el flujo de datos de Kinesis de entrada y eligiendo Procesar datos en tiempo real.

3. En la página Crear cuaderno de Studio, proporcione la siguiente información:

   • Introduzca MyNotebook como nombre del cuaderno.

   • Elija el valor predeterminado para la Base de datos de Glue de AWS.

   Seleccione Crear cuaderno de Studio.

4. En la página MyNotebook, seleccione Ejecutar. Espere a que el Estado muestre En ejecución. Se aplican cargos cuando el cuaderno se está ejecutando.

1. Verifique su ID de cuenta. Necesitará este valor para crear su aplicación.

2. Cree el rol arn:aws:iam::AccountID:role/ZeppelinRole y añada los siguientes permisos al rol creado automáticamente por consola.

   "kinesis:GetShardIterator",

   "kinesis:GetRecords",

   "kinesis:ListShards"

3. Cree un archivo denominado create.json con el siguiente contenido. Reemplace los valores de marcador de posición con su información.

   {
       "ApplicationName": "MyNotebook",
       "RuntimeEnvironment": "ZEPPELIN-FLINK-3_0",
       "ApplicationMode": "INTERACTIVE",
       "ServiceExecutionRole": "arn:aws:iam::AccountID:role/ZeppelinRole",
       "ApplicationConfiguration": {
           "ApplicationSnapshotConfiguration": {
               "SnapshotsEnabled": false
           },
           "ZeppelinApplicationConfiguration": {
               "CatalogConfiguration": {
                   "GlueDataCatalogConfiguration": {
                       "DatabaseARN": "arn:aws:glue:us-east-1:AccountID:database/default"
                   }
               }
           }
       }
   }
   

4. Para crear su aplicación, ejecute el siguiente comando:

   aws kinesisanalyticsv2 create-application --cli-input-json file://create.json 
   

5. Una vez completado el comando, verá un resultado que muestra los detalles de su nuevo cuaderno de Studio. A continuación se muestra un ejemplo de la salida.

   {
       "ApplicationDetail": {
           "ApplicationARN": "arn:aws:kinesisanalyticsus-east-1:012345678901:application/MyNotebook",
           "ApplicationName": "MyNotebook",
           "RuntimeEnvironment": "ZEPPELIN-FLINK-3_0",
           "ApplicationMode": "INTERACTIVE",
           "ServiceExecutionRole": "arn:aws:iam::012345678901:role/ZeppelinRole",
   ...
   

6. Para iniciar su aplicación, ejecute el siguiente comando. Sustituya los valores de muestra por su ID de la cuenta.

   aws kinesisanalyticsv2 start-application --application-arn arn:aws:kinesisanalyticsus-east-1:012345678901:application/MyNotebook\
   

1. Abra el Kinesis Data Generator.

2. Elija Crear un usuario de Cognito con CloudFormation.

3. La consola CloudFormation se abre con la plantilla de Kinesis Data Generator. Elija Siguiente.

4. En la página Especificar detalles de pila, ingrese el nombre y la contraseña de su usuario de Cognito. Elija Siguiente.

5. En la página Configurar opciones de pila, elija Siguiente.

6. En la página Revisar Kinesis-Data-Generator-Cognito-User, elija la casilla de verificación Acepto que AWS CloudFormation podría crear recursos de IAM. Elija Crear pila.

7. Espere a que termine la creación de la pila de CloudFormation. Una vez completada la pila, abra la pila Kinesis-Data-Generator-Cognito-User en la consola CloudFormation y seleccione la pestaña Salidas. Abra la URL que aparece para el valor de salida de KinesisDataGeneratorUrl.

8. En la página de Amazon Kinesis Data Generator, inicie sesión con las credenciales que creó en el paso 4.

9. En la siguiente página , especifique los valores siguientes:

   Región	us-east-1
   Transmisión de Stream/Firehose	ExampleInputStream
   Registros por segundo	1

   En Plantilla de registro, pegue el siguiente código:

   {
       "ticker": "{{random.arrayElement(
           ["AMZN","MSFT","GOOG"]
       )}}",
       "price": {{random.number(
           {
               "min":10,
               "max":150
           }
       )}}
   }
   

10. Elija Enviar datos.

11. El generador enviará los datos a su flujo de datos de Kinesis.

    Deje el generador ejecutándose mientras completa la siguiente sección.

1. Abra la consola de Managed Service para Apache Flink en https://console.aws.amazon.com/managed-flink/home?region=us-east-1#/applications/dashboard.

2. En la página de Aplicaciones de Managed Service para Apache Flink, seleccione la pestaña Cuaderno de Studio. Elija MyNotebook.

3. En la página MyNotebook, seleccione Abrir en Apache Zeppelin.

   La interfaz de Apache Zeppelin se abre en una pestaña nueva.

4. En la página ¡Bienvenido a Zeppelin!, elija la Zeppelin Note.

5. En la página Zeppelin Note, introduzca la siguiente consulta en una nota nueva:

   %flink.ssql(type=update)
   select * from stock

   Seleccione el icono de reproducción.

   Al cabo de poco tiempo, el cuaderno muestra los datos de la flujo de datos de Kinesis.