開始從 Apache Kafka 來源進行串流擷取

在 Amazon Redshift 中，建立外部結構描述以對應至 Apacke Kafka 叢集。語法如下：

CREATE EXTERNAL SCHEMA MySchema
FROM KAFKA
[ IAM_ROLE [ default | 'iam-role-arn' ] ]
AUTHENTICATION [ none | iam | mtls ]
{AUTHENTICATION_ARN 'acm-certificate-arn' |  SECRET_ARN 'asm-secret-arn'};

在 FROM 子句中，KAFKA 表示結構描述對應來自 Apache Kafka 來源的資料。

AUTHENTICATION 表示串流擷取的身分驗證類型。有三種可用類型：

請注意，串流擷取不支援使用使用者名稱和密碼的 Amazon MSK 身分驗證。

AUTHENTICATION_ARN 參數指定您用來建立加密連線的 ACM 雙向 Transport Layer Security (mTLS) 憑證的 ARN。

SECRET_ARN 參數指定包含 Amazon Redshift 用於 mTLS 之憑證的 AWS Secrets Manager 機密的 arn。

下列範例示範如何在建立外部結構描述時，設定 Amazon MSK 叢集的代理系統 URI：

使用 IAM 身分驗證：

CREATE EXTERNAL SCHEMA my_schema
FROM KAFKA
IAM_ROLE 'arn:aws:iam::012345678901:role/my_role'
AUTHENTICATION IAM
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9098,b-2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9098'

不使用身分驗證：

CREATE EXTERNAL SCHEMA my_schema
FROM KAFKA 
AUTHENTICATION none
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9092,b-2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9092'

使用 mTLS：

CREATE EXTERNAL SCHEMA my_schema
FROM KAFKA
IAM_ROLE 'arn:aws:iam::012345678901:role/my_role'
AUTHENTICATION MTLS
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9094,b- 2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9094'
{AUTHENTICATION_ARN 'acm-certificate-arn' |  SECRET_ARN 'asm-secret-arn'}

如需建立外部結構描述的詳細資訊，請參閱 CREATE EXTERNAL SCHEMA。

建立具體化視觀表以取用主題的資料。使用下列範例所示的 SQL 命令。

CREATE MATERIALIZED VIEW MyView AUTO REFRESH YES AS
SELECT *
FROM MySchema."mytopic";

Kafka 主題名稱會區分大小寫，且可同時包含大寫和小寫字母。若要從具有大寫名稱的主題中擷取，您可以在工作階段或資料庫層級將組態 enable_case_sensitive_identifier 設定為 true。如需詳細資訊，請參閱名稱和識別碼與 enable_case_sensitive_identifier。

若要開啟自動重新整理，請使用 AUTO REFRESH YES。預設行為是手動重新整理。

中繼資料資料欄包括下列項目：

請務必注意，如果您的具體化視觀表定義中有商務邏輯會商業邏輯錯誤，則這可能會導致串流擷取在某些情況下擷取失敗。這可能會導致您必須捨棄並重新建立具體化視觀表。為了避免這種情況，我們建議您盡可能讓商業邏輯保持簡單，並在擷取資料後，對資料執行額外的邏輯。

重新整理檢視，這會調用 Amazon Redshift 從主題讀取，並將資料載入具體化視觀表。

REFRESH MATERIALIZED VIEW MyView;

查詢具體化視觀表中的資料。

select * from MyView;

執行 REFRESH 時，具體化視觀表會直接從主題更新。您可以建立對應至 Kafka 主題資料來源的具體化視觀表。您可以對資料執行篩選和彙總，以做為具體化視觀表定義的一部分。您的串流擷取具體化視觀表 (基礎具體化視觀表) 只能參照一個 Kafka 主題，但是您可以建立與基礎具體化視觀表及其他具體化視觀表或資料表結合的額外具體化視觀表。