Amazon RDS 제로 ETL 통합의 데이터 필터링

Amazon RDS 제로 ETL 통합은 데이터 필터링을 지원하므로 사용자는 소스 Amazon RDS 데이터베이스에서 대상 데이터 웨어하우스로 어떤 데이터가 복제될지 제어할 수 있습니다. 전체 데이터베이스를 복제하는 대신 하나 이상의 필터를 적용하여 특정 테이블을 선택적으로 포함하거나 제외할 수 있습니다. 이렇게 하면 관련 데이터만 전송되도록 하여 스토리지 및 쿼리 성능을 최적화할 수 있습니다. 현재 필터링 기능은 데이터베이스 및 테이블 수준으로 제한됩니다. 열 수준 및 행 수준 필터링은 지원되지 않습니다.

데이터 필터링은 다음과 같은 경우에 유용할 수 있습니다.

AWS Management 콘솔, AWS Command Line Interface(AWS CLI) 또는 Amazon RDS API를 사용하여 제로 ETL 통합에 데이터 필터를 추가할 수 있습니다.

통합에서 프로비저닝된 클러스터를 대상으로 하는 경우 클러스터가 패치 180 이상이어야 데이터 필터링을 사용할 수 있습니다.

데이터 필터의 형식

단일 통합에 대해 여러 필터를 정의할 수 있습니다. 각 필터는 필터 표현식의 패턴 중 하나와 일치하는 기존 및 미래 데이터베이스 테이블을 포함하거나 제외합니다. Amazon RDS 제로 ETL 통합은 데이터 필터링에 Maxwell 필터 구문을 사용합니다.

각 필터에는 다음 요소가 포함됩니다.

다음 이미지는 콘솔의 RDS for MySQL 데이터 필터 구조를 보여줍니다.

AWS CLI의 데이터 필터

AWS CLI를 사용하여 데이터 필터를 추가하는 경우 콘솔의 구문과는 약간 다릅니다. 필터 유형(Include 또는 Exclude)을 각 패턴에 개별적으로 할당해야 하나의 필터 유형으로 여러 패턴을 그룹화할 수 있습니다.

예를 들어 콘솔에서는 쉼표로 구분된 다음과 같은 패턴을 단일 Include 스테이트먼트 내에 그룹화할 수 있습니다.

RDS for MySQL

mydb.mytable, mydb./table_\d+/

RDS for PostgreSQL

mydb.myschema.mytable, mydb.myschema./table_\d+/

하지만 AWS CLI를 사용할 때는 동일한 데이터 필터가 다음 형식이어야 합니다.

RDS for MySQL

'include: mydb.mytable, include: mydb./table_\d+/'

RDS for PostgreSQL

'include: mydb.myschema.mytable, include: mydb.myschema./table_\d+/'

"필터 로직"

통합에서 데이터 필터를 지정하지 않는 경우 Amazon RDS는 기본 필터(include:*.*)를 가정하고 모든 테이블을 대상 데이터 웨어하우스에 복제합니다. 그러나 최소 하나 이상의 필터를 추가하면 기본 로직이 exclude:*.*로 전환되어 기본적으로 모든 테이블이 제외됩니다. 이를 통해 복제에 포함할 데이터베이스와 테이블을 명시적으로 정의할 수 있습니다.

예를 들어 다음을 필터를 정의하는 경우:

'include: db.table1, include: db.table2'

Amazon RDS는 다음과 같이 필터를 평가합니다.

'exclude:*.*, include: db.table1, include: db.table2'

따라서 Amazon RDS는 db라는 데이터베이스의 table1 및 table2만 대상 데이터 웨어하우스에 복제합니다.

필터 우선순위

Amazon RDS는 지정된 순서대로 데이터 필터를 평가합니다. AWS Management 콘솔에서는 필터 표현식을 왼쪽에서 오른쪽으로, 위에서 아래로 처리합니다. 두 번째 필터 또는 첫 번째 뒤에 오는 개별 패턴은 이를 재정의할 수 있습니다.

예를 들어 첫 번째 필터가 Include books.stephenking인 경우 books 데이터베이스의 stephenking 테이블만 포함됩니다. 하지만 두 번째 필터(Exclude books.*)를 추가하면 첫 번째 필터가 재정의됩니다. 이렇게 하면 books 인덱스의 테이블이 대상 데이터 웨어하우스로 복제되지 않습니다.

최소 1개의 필터를 지정하는 경우 로직은 가정된 exclude:*.*로 시작되며, 이는 모든 테이블이 복제에서 자동으로 제외된다는 의미입니다. 가장 광범위한 필터부터 가장 구체적인 필터 순으로 정의하는 것이 좋습니다. 하나 이상의 Include 스테이트먼트로 시작하여 복제할 데이터를 지정한 다음 Exclude 필터를 추가하여 특정 테이블을 선택적으로 제거합니다.

AWS CLI를 사용하여 정의하는 필터에도 동일한 원칙이 적용됩니다. Amazon RDS는 이러한 필터 패턴을 지정된 순서대로 평가하므로 앞서 지정된 패턴을 재정의할 수 있습니다.

RDS for MySQL 예제

다음 예제에서는 RDS for MySQL 예제 제로 ETL 통합에서 데이터 필터링이 작동하는 방식을 보여줍니다.

RDS for PostgreSQL 예제

다음 예제에서는 RDS for PostgreSQL 제로 ETL 통합에서 데이터 필터링이 작동하는 방식을 보여줍니다.

RDS for Oracle 예제

다음 예제에서는 RDS for Oracle 제로 ETL 통합에서 데이터 필터링이 작동하는 방식을 보여줍니다.

대/소문자 구분 고려 사항

Oracle Database와 Amazon Redshift는 객체 이름 대소문자를 다르게 처리하여 데이터 필터 구성과 대상 쿼리 모두에 영향을 줍니다. 다음 사항에 유의하세요.

Amazon Redshift 필터를 생성하고 데이터를 쿼리할 때의 사례 차이점에 유의하세요.

대문자 통합 생성

이름을 큰따옴표로 지정하지 않고 테이블을 생성하면 Oracle 데이터베이스는 이름을 데이터 사전의 대문자로 저장합니다. 예를 들어 다음 SQL 문을 사용하여 MYTABLE을 생성할 수 있습니다.

CREATE TABLE REINVENT.MYTABLE (id NUMBER PRIMARY KEY, description VARCHAR2(100));
CREATE TABLE reinvent.mytable (id NUMBER PRIMARY KEY, description VARCHAR2(100));
CREATE TABLE REinvent.MyTable (id NUMBER PRIMARY KEY, description VARCHAR2(100));
CREATE TABLE reINVENT.MYtabLE (id NUMBER PRIMARY KEY, description VARCHAR2(100));

앞의 문에서 테이블 이름을 인용하지 않았으므로 Oracle 데이터베이스는 객체 이름을 대문자로 MYTABLE로 저장합니다.

이 테이블을 Amazon Redshift에 복제하려면 create-integration 명령의 데이터 필터에 대문자 이름을 지정해야 합니다. 제로 ETL 필터 이름과 Oracle 데이터 사전 이름이 일치해야 합니다.

aws rds create-integration \
  --integration-name upperIntegration \
  --data-filter "include: ORCL.REINVENT.MYTABLE" \
...

기본적으로 Amazon Redshift는 데이터를 소문자로 저장합니다. Amazon Redshift의 복제된 데이터베이스에서 MYTABLE을 쿼리하려면 Oracle 데이터 사전의 사례와 일치하도록 대문자 이름 MYTABLE을 인용해야 합니다.

SELECT * FROM targetdb1."REINVENT"."MYTABLE";

다음 쿼리는 인용 메커니즘을 사용하지 않습니다. 기본 소문자 이름을 사용하는 mytable라는 Amazon Redshift 테이블을 검색하지만 테이블의 이름은 Oracle 데이터 사전에서 MYTABLE이므로 모두 오류를 반환합니다.

SELECT * FROM targetdb1."REINVENT".MYTABLE;
SELECT * FROM targetdb1."REINVENT".MyTable;
SELECT * FROM targetdb1."REINVENT".mytable;

다음 쿼리는 인용 메커니즘을 사용하여 혼합 사례 이름을 지정합니다. 쿼리는 이름이 MYTABLE이 아닌 Amazon Redshift 테이블을 검색하기 때문에 모두 오류를 반환합니다.

SELECT * FROM targetdb1."REINVENT"."MYtablE";
SELECT * FROM targetdb1."REINVENT"."MyTable";
SELECT * FROM targetdb1."REINVENT"."mytable";

소문자 통합 생성

다음 대체 예제에서는 큰따옴표를 사용하여 Oracle 데이터 사전에서 테이블 이름을 소문자로 저장합니다. 다음과 같이 mytable을 생성합니다.

CREATE TABLE REINVENT."mytable" (id NUMBER PRIMARY KEY, description VARCHAR2(100));

Oracle 데이터베이스는 테이블 이름을 mytable(소문자)로 저장합니다. 이 테이블을 Amazon Redshift에 복제하려면 제로 ETL 데이터 필터에 소문자 이름 mytable을 지정해야 합니다.

aws rds create-integration \
  --integration-name lowerIntegration \
  --data-filter "include: ORCL.REINVENT.mytable" \
...

Amazon Redshift의 복제된 데이터베이스에서이 테이블을 쿼리할 때 소문자 이름 mytable을 지정할 수 있습니다. 쿼리는 Oracle 데이터 사전의 테이블 이름이 mytable인 테이블을 검색하기 때문에 성공합니다.

SELECT * FROM targetdb1."REINVENT".mytable;

Amazon Redshift는 기본적으로 소문자 객체 이름으로 설정되므로 다음 쿼리도 mytable을 찾는 데 성공합니다.

SELECT * FROM targetdb1."REINVENT".MYtablE;
SELECT * FROM targetdb1."REINVENT".MYTABLE;
SELECT * FROM targetdb1."REINVENT".MyTable;

다음 쿼리는 객체 이름에 인용 메커니즘을 사용합니다. 이름이 mytable과 다른 Amazon Redshift 테이블을 검색하기 때문에 모두 오류를 반환합니다.

SELECT * FROM targetdb1."REINVENT"."MYTABLE";
SELECT * FROM targetdb1."REINVENT"."MyTable";
SELECT * FROM targetdb1."REINVENT"."MYtablE";

혼합 사례 통합을 사용하여 테이블 생성

다음 예제에서는 큰따옴표를 사용하여 Oracle 데이터 사전에서 테이블 이름을 소문자로 저장합니다. 다음과 같이 MyTable을 생성합니다.

CREATE TABLE REINVENT."MyTable" (id NUMBER PRIMARY KEY, description VARCHAR2(100));

Oracle 데이터베이스는 이 테이블 이름을 MyTable(혼합 대/소문자)로 저장합니다. 이 테이블을 Amazon Redshift에 복제하려면 데이터 필터에 혼합 대소문자 이름을 지정해야 합니다.

aws rds create-integration \
  --integration-name mixedIntegration \
  --data-filter "include: ORCL.REINVENT.MyTable" \
...

Amazon Redshift의 복제된 데이터베이스에서이 테이블을 쿼리할 때는 객체 이름을 인용하여 이름을 MyTable(혼합 대소문자)로 지정해야 합니다.

SELECT * FROM targetdb1."REINVENT"."MyTable";

Amazon Redshift는 기본적으로 소문자 객체 이름을 사용하므로 다음 쿼리는 소문자 이름 mytable을 검색하기 때문에 객체를 찾지 못합니다.

SELECT * FROM targetdb1."REINVENT".MYtablE;
SELECT * FROM targetdb1."REINVENT".MYTABLE;
SELECT * FROM targetdb1."REINVENT".mytable;

통합에 데이터 필터 추가

AWS Management 콘솔, AWS CLI 또는 Amazon RDS API를 사용하여 데이터 필터링을 구성할 수 있습니다.

aws rds modify-integration \
    --integration-identifier my-integration \
    --data-filter 'include: foodb.*, exclude: foodb.tbl, exclude: foodb./table_\d+/'

aws rds modify-integration ^
    --integration-identifier my-integration ^
    --data-filter 'include: foodb.*, exclude: foodb.tbl, exclude: foodb./table_\d+/'

통합에서 데이터 필터 제거

통합에서 데이터 필터를 제거하면 Amazon RDS는 제거된 필터가 존재하지 않았던 것처럼 나머지 필터를 재평가합니다. 그런 다음, 이전에 제외되었지만 이제 기준을 충족하는 데이터를 대상 데이터 웨어하우스에 복제합니다. 그러면 모든 영향받는 테이블의 재동기화가 트리거됩니다.