Filtrado de datos para integraciones sin ETL de Amazon RDS con Amazon Redshift - Amazon Relational Database Service
Formato de un filtro de datosLógica de filtrosPrioridad del filtroEjemplosAdición de filtros de datosEliminación de filtros de datos

Filtrado de datos para integraciones sin ETL de Amazon RDS con Amazon Redshift

Las integraciones sin ETL de Amazon RDS admiten el filtrado de datos, lo que le permite controlar qué datos se replican desde la base de datos de Amazon RDS de origen al almacén de datos de Amazon Redshift de destino. En lugar de replicar toda la base de datos, puede aplicar uno o más filtros para incluir o excluir selectivamente tablas específicas. Esto lo ayuda a optimizar el almacenamiento y el rendimiento de las consultas al garantizar que solo se transfieran los datos relevantes. Actualmente, el filtrado está limitado a los niveles de base de datos y tabla. No se admite el filtrado a nivel de columna y fila.

El filtrado de datos puede resultar útil cuando desee:

  • Una determinadas tablas de dos o más bases de datos de origen diferentes y no necesita datos completos de la base de datos.

  • Ahorrar costos realizando análisis utilizando únicamente un subconjunto de tablas en lugar de una flota completa de bases de datos.

  • Filtrar la información confidencial (como números de teléfono, direcciones o datos de tarjetas de crédito) de determinadas tablas.

Puede agregar filtros de datos a una integración sin ETL mediante la AWS Management Console, la AWS Command Line Interface (AWS CLI) o la API de Amazon RDS.

Si la integración tiene un clúster de Amazon Redshift aprovisionado como destino, el clúster debe tener la revisión 180 o uno posterior para usar el filtrado de datos.

Formato de un filtro de datos

Puede definir varios filtros para una sola integración. Cada filtro incluye o excluye cualquier tabla de base de datos existente y futura que coincida con uno de los patrones de la expresión del filtro. Las integraciones sin ETL de Amazon RDS utilizan la sintaxis de filtro Maxwell para el filtrado de datos.

Cada filtro tiene los siguientes elementos:

Elemento Descripción
Tipo de filtro

Un tipo de filtro Include incluye todas las tablas que coinciden con uno de los patrones de la expresión de filtro. Un tipo de filtro Exclude excluye todas las tablas que coinciden con uno de los patrones.
Expresión de filtro

Una lista separada por comas de patrones. Las expresiones deben usar la sintaxis de filtro Maxwell.
Patrón

Un patrón de filtro en el formato database.table . Puede especificar nombres literales o definir expresiones regulares.

No pueden incluir filtros en columnas ni listas de denegación.

Una sola integración puede tener un máximo de 99 patrones en total. En la consola, puede introducir patrones dentro de una sola expresión de filtro o distribuirlos entre varias expresiones. Un único patrón no puede superar los 256 caracteres de longitud.

En la imagen siguiente, se muestra la estructura de los filtros de datos de en la consola:

Filtros de datos para integraciones sin ETL
importante

No incluya información de identificación personal, confidencial o sensible en sus patrones de filtros.

Filtros de datos en la AWS CLI

Cuando se utiliza la AWS CLI para agregar un filtro de datos, la sintaxis es ligeramente diferente a la de la consola. Debe asignar un tipo de filtro (Include o Exclude) a cada patrón individualmente, por lo que no puede agrupar varios patrones en un mismo tipo de filtro.

Por ejemplo, en la consola puede agrupar los siguientes patrones separados por comas en una sola instrucción Include:

mydb.mytable, mydb./table_\d+/

Sin embargo, al utilizar la AWS CLI, el mismo filtro de datos debe tener el siguiente formato:

'include: mydb.mytable, include: mydb./table_\d+/'

Lógica de filtros

Si no especifica ningún filtro de datos en la integración, Amazon RDS asume un filtro predeterminado de include:*.*, que replica todas las tablas en el almacén de datos de destino. No obstante, si agrega al menos un filtro, la lógica predeterminada cambia a exclude:*.*, que excluye todas las tablas de forma predeterminada. Esto le permite definir explícitamente qué bases de datos y tablas se incluirán en la replicación.

Por ejemplo, si hace lo siguiente:

'include: db.table1, include: db.table2'

Amazon RDS evalúa el filtro de la siguiente manera:

'exclude:*.*, include: db.table1, include: db.table2'

Por lo tanto, Amazon RDS solo replica table1 y table2 de la base de datos denominada db se replican en el almacén de datos de destino.

Prioridad del filtro

Amazon RDS evalúa los filtros de datos en el orden que especifique. En la AWS Management Console, procesa las expresiones de filtro de izquierda a derecha y de arriba abajo. Un segundo filtro o un patrón individual que siga al primero puede anularlo.

Por ejemplo, si el primer filtro es Include books.stephenking, solo incluye la tabla stephenking de la base de datos books. Sin embargo, si agrega un segundo filtro, Exclude books.*, este anulará el primer filtro. Esto evita que las tablas del índice de books se repliquen en Amazon Redshift.

Cuando especifica al menos un filtro, la lógica comienza con la suposición de exclude:*.* de forma predeterminada, lo que excluye automáticamente todas las tablas de la replicación. Como práctica recomendada, defina los filtros de más amplio a más específico. Comience con una o más instrucciones Include para especificar los datos que desea replicar; a continuación, agregue filtros Exclude para eliminar selectivamente ciertas tablas.

El mismo principio se aplica a los filtros que se definen mediante la AWS CLI. Amazon RDS evalúa estos patrones de filtro en el orden en que los especifique, por lo que un patrón podría anular a otro especificado antes que él.

Ejemplos

En los siguientes ejemplos, se muestra cómo funciona el filtrado de datos para las integraciones sin ETL de :

  • Incluir todas las bases de datos y todas las tablas:

    'include: *.*'

  • Incluir todas las tablas en la base de datos books:

    'include: books.*'

  • Excluya cualquier tabla con el nombre mystery:

    'include: *.*, exclude: *.mystery'

  • Incluir dos tablas específicas en la base de datos books:

    'include: books.stephen_king, include: books.carolyn_keene'

  • Incluya todas las tablas de la base de datos books, excepto las que contengan la subcadena mystery:

    'include: books.*, exclude: books./.*mystery.*/'

  • Incluya todas las tablas de la base de datos books, excepto las que comiencen por mystery:

    'include: books.*, exclude: books./mystery.*/'

  • Incluya todas las tablas de la base de datos books, excepto las que finalicen por mystery:

    'include: books.*, exclude: books./.*mystery/'

  • Incluya todas las tablas de la base de datos books que comiencen por table_, excepto la que se llama table_stephen_king. Por ejemplo, table_movies o table_books se replicaría, pero no table_stephen_king.

    'include: books./table_.*/, exclude: books.table_stephen_king'

Adición de filtros de datos a una integración

Puede configurar el filtrado de datos mediante la AWS Management Console, la AWS CLI o la API de Amazon RDS.

importante

Si agrega un filtro después de crear una integración, Amazon RDS lo trata como si hubiera existido siempre. Elimina todos los datos del almacén de datos de Amazon Redshift de destino que no coincidan con los nuevos criterios de filtrado y vuelve a sincronizar todas las tablas afectadas.

Adición de filtros de datos a una integración sin ETL

  1. Inicie sesión en la AWS Management Console y abra la consola de Amazon RDS en https://console.aws.amazon.com/rds/.

  2. En el panel de navegación, elija Integraciones sin ETL. Seleccione la integración a la que desea agregar filtros de datos y, a continuación, elija Modificar.

  3. En Origen, agregue una o más instrucciones Include y Exclude.

    En la imagen siguiente, se muestra un ejemplo de filtros de datos para una integración de MySQL:

    Filtros de datos para una integración sin ETL en la consola de RDS

  4. Cuando esté satisfecho con los cambios, elija Continuar y Guardar cambios.

Para agregar filtros de datos a una integración sin ETL mediante la AWS CLI, llame al comando modify-integration. Además del identificador de integración, especifique el parámetro --data-filter con una lista separada por comas de filtros Include y Exclude Maxwell.

En el siguiente ejemplo, se agregan patrones de filtro a my-integration.

Para Linux, macOS o Unix:

aws rds modify-integration \
    --integration-identifier my-integration \
    --data-filter 'include: foodb.*, exclude: foodb.tbl, exclude: foodb./table_\d+/'

Para Windows:

aws rds modify-integration ^
    --integration-identifier my-integration ^
    --data-filter 'include: foodb.*, exclude: foodb.tbl, exclude: foodb./table_\d+/'

Para modificar una integración sin ETL mediante la API de RDS, llame a la operación ModifyIntegration. Especifique el identificador de integración y proporcione una lista separada por comas de patrones de filtro.

Eliminación de filtros de datos de una integración

Al eliminar un filtro de datos de una integración, Amazon RDS vuelve a evaluar los filtros restantes como si el filtro eliminado nunca hubiera existido. A continuación, replica en el almacén de datos de Amazon Redshift de destino cualquier dato excluido anteriormente que ahora cumpla los criterios. Esto desencadena una nueva sincronización de todas las tablas afectadas.