Filtragem de dados para integrações ETL zero do Amazon RDS com o Amazon Redshift. - Amazon Relational Database Service
Formato de um filtro de dadosLógica de filtrosPrecedência do filtroExemplosAdicionar filtros de dadosRemover filtros de dados

Filtragem de dados para integrações ETL zero do Amazon RDS com o Amazon Redshift.

As Integrações ETL zero do Amazon RDS permitem filtragem de dados, o que possibilita controlar quais dados são replicados do banco de dados do Amazon RDS de origem para o data warehouse de destino do Amazon Redshift. Em vez de replicar todo o banco de dados, você pode aplicar um ou mais filtros para incluir ou excluir seletivamente tabelas específicas. Isso ajuda a otimizar o desempenho do armazenamento e das consultas, garantindo que somente os dados relevantes sejam transferidos. No momento, a filtragem é limitada aos níveis de banco de dados e tabela. Não é possível aplicar filtragem em nível de coluna e linha.

A filtragem de dados pode ser útil quando você deseja:

  • Una determinadas tabelas de dois ou mais bancos de dados de origem diferentes para não precisar de dados completos de nenhum banco de dados.

  • Economize custos realizando análises usando apenas um subconjunto de tabelas em vez de uma frota inteira de bancos de dados.

  • Filtre informações confidenciais, como números de telefone, endereços ou detalhes do cartão de crédito, de determinadas tabelas.

É possível adicionar filtros de dados a uma integração ETL zero usando o AWS Management Console, a AWS Command Line Interface (AWS CLI) ou a API do Amazon RDS.

Se a integração tiver um cluster provisionado do Amazon Redshift como destino, o cluster deverá estar no patch 180 ou posterior para usar a filtragem de dados.

Formato de um filtro de dados

É possível definir vários filtros para uma única integração. Cada filtro inclui ou exclui qualquer tabela de banco de dados existente e futura que corresponda a um dos padrões na expressão do filtro. As integrações ETL zero do Amazon RDS usam a sintaxe de filtro Maxwell para a filtragem de dados.

Cada filtro tem os seguintes elementos:

Elemento Descrição
Tipo de filtro

Um tipo de filtro Include inclui todas as tabelas que correspondem a um dos padrões na expressão do filtro. Um tipo de filtro Exclude exclui todas as tabelas que correspondem a um dos padrões.
Expressão de filtro

Uma lista separada por vírgulas de padrões. As expressões devem usar a sintaxe de filtro Maxwell.
Padrão

Um padrão de filtro no formato database.table. É possível especificar nomes literais ou definir expressões regulares.

Não é possível incluir filtros ao nível da coluna nem listas de bloqueio.

Uma única integração pode ter um máximo de 99 padrões no total. No console, é possível inserir padrões em uma única expressão de filtro ou distribuí-los entre várias expressões. Um único padrão não pode exceder 256 caracteres.

A imagem a seguir mostra a estrutura dos filtros de dados do no console:

Filtragem de dados para uma Integração ETL zero
Importante

Não inclua informações pessoais, confidenciais ou sigilosas em seus padrões de filtragem.

Filtros de dados na AWS CLI

Ao usar a AWS CLI para adicionar um filtro de dados, a sintaxe difere um pouco da sintaxe do console. Você deve atribuir um tipo de filtro (Include ou Exclude) a cada padrão individualmente; portanto, não é possível agrupar vários padrões sob um tipo de filtro.

Por exemplo, no console, é possível agrupar os seguintes padrões separados por vírgula em uma única instrução Include:

mydb.mytable, mydb./table_\d+/

No entanto, ao usar a AWS CLI, o mesmo filtro de dados deve estar no seguinte formato:

'include: mydb.mytable, include: mydb./table_\d+/'

Lógica de filtros

Se você não especificar nenhum filtro de dados na integração, o Amazon RDS assumirá o filtro padrão include:*.*, o que replica todas as tabelas no data warehouse de destino. Entretanto, se você adicionar pelo menos um filtro, a lógica padrão mudará para exclude:*.*, o que exclui todas as tabelas por padrão. Isso permite que você defina explicitamente quais bancos de dados e tabelas incluir na replicação.

Por exemplo, se você definir o seguinte filtro:

'include: db.table1, include: db.table2'

O Amazon RDS avaliará o filtro da seguinte forma:

'exclude:*.*, include: db.table1, include: db.table2'

Portanto, o Amazon RDS somente replica a table1 e a table2 do banco de dados denominado db para o data warehouse de destino.

Precedência do filtro

O Amazon RDS avalia os filtros de dados na ordem em que você especificar. No AWS Management Console, ele processa expressões de filtro da esquerda para a direita e de cima para baixo. Um segundo filtro ou um padrão individual subsequente pode substituir o primeiro.

Por exemplo, se o primeiro filtro for Include books.stephenking, ele incluirá somente a tabela stephenking do banco de dados books. No entanto, se você adicionar um segundo filtro, Exclude books.*, ele substituirá o primeiro filtro. Isso impede que qualquer tabela do índice books seja replicada para o Amazon Redshift.

Quando você especifica pelo menos um filtro, a lógica primeiro assume exclude:*.*, o que significa que todas as tabelas são automaticamente excluídas da replicação. Como prática recomendada, defina filtros do mais amplo ao mais específico. Comece com uma ou mais instruções Include para especificar os dados a serem replicados e, em seguida, adicione filtros Exclude para remover seletivamente determinadas tabelas.

O mesmo princípio se aplica aos filtros que você define usando a AWS CLI. O Amazon RDS avalia esses padrões de filtro na ordem em que você os especifica; portanto, um padrão pode substituir um especificado antes dele.

Exemplos

Os exemplos a seguir demonstram como a filtragem de dados funciona para integrações ETL zero do :

  • Inclua todos os bancos de dados e todas as tabelas:

    'include: *.*'

  • Inclua todas as tabelas no banco de dados books:

    'include: books.*'

  • Exclua todas as tabelas chamadas mystery:

    'include: *.*, exclude: *.mystery'

  • Inclua duas tabelas específicas no banco de dados books:

    'include: books.stephen_king, include: books.carolyn_keene'

  • Inclua todas as tabelas no banco de dados books, exceto aquelas que contêm a substring mystery:

    'include: books.*, exclude: books./.*mystery.*/'

  • Inclua todas as tabelas no banco de dados books, exceto aquelas que começam com mystery:

    'include: books.*, exclude: books./mystery.*/'

  • Inclua todas as tabelas no banco de dados books, exceto aquelas que terminam com mystery:

    'include: books.*, exclude: books./.*mystery/'

  • Inclua todas as tabelas no banco de dados books que começam com table_, exceto aquela chamada table_stephen_king. Por exemplo, table_movies ou table_books seria replicada, mas não table_stephen_king.

    'include: books./table_.*/, exclude: books.table_stephen_king'

Adicionar filtros de dados a uma integração

É possível configurar a filtragem de dados usando o AWS Management Console, a AWS CLI ou a API do Amazon RDS.

Importante

Se você adicionar um filtro depois de criar uma integração, o Amazon RDS o tratará como se ele sempre tivesse existido. Ele remove quaisquer dados no data warehouse de destino do Amazon Redshift que não correspondam aos novos critérios de filtragem e ressincroniza todas as tabelas afetadas.

Para adicionar filtros de dados para uma integração ETL zero

  1. Faça login no AWS Management Console e abra o console do Amazon RDS em https://console.aws.amazon.com/rds/.

  2. No painel de navegação, escolha Integrações ETL zero. Selecione a integração à qual você deseja adicionar filtros de dados e escolha Modificar.

  3. Em Fonte, adicione uma ou mais instruções Exclude e Include.

    A seguinte imagem mostra um exemplo de filtros de dados para uma integração do MySQL:

    Filtragens de dados para uma integração ETL zero no console do RDS

  4. Quando as alterações estiverem adequadas para você, escolha Continuar e Salvar alterações.

Para adicionar filtros de dados a uma integração ETL zero usando a AWS CLI, chame o comando modify-integration. Além do identificador de integração, especifique o parâmetro --data-filter com uma lista separada por vírgulas dos filtros Maxwell Include e Exclude.

O exemplo a seguir adiciona padrões de filtro a my-integration.

Para Linux, macOS ou Unix:

aws rds modify-integration \
    --integration-identifier my-integration \
    --data-filter 'include: foodb.*, exclude: foodb.tbl, exclude: foodb./table_\d+/'

Para Windows:

aws rds modify-integration ^
    --integration-identifier my-integration ^
    --data-filter 'include: foodb.*, exclude: foodb.tbl, exclude: foodb./table_\d+/'

Para modificar uma integração ETL zero usando a API do RDS, chame a operação ModifyIntegration. Especifica o identificador de integração e fornece uma lista separada por vírgulas de padrões de filtro.

Remover filtros de dados de uma integração

Quando você remove um filtro de dados de uma integração, o Amazon RDS reavalia os filtros restantes como se o filtro removido nunca tivesse existido. Em seguida, ele replica quaisquer dados anteriormente excluídos que agora atendem aos critérios no data warehouse de destino do Amazon Redshift. Isso aciona uma ressincronização de todas as tabelas afetadas.