マテリアライズドビューへのストリーミング取り込み

Kafka トピックの名前は 128 文字 (引用符は含まない) を超えることはできません。詳細については、「名前と識別子」を参照してください。

マテリアライズドビューは、増分的な保守が可能である必要があります。Kinesis や Amazon MSK では、24 時間または 7 日前のストリームやトピックの履歴は保持されないため、完全な再計算は不可能です。Kinesis または Amazon MSK では、より長いデータ保持期間を設定することができます。ただし、これによりメンテナンスとコストが増える可能性があります。また、現在、Kinesis Streams や Amazon MSK トピックで作成されたマテリアライズドビューでは、JOIN の使用はサポートされていません。ストリームやトピックでマテリアライズドビューを作成した後、別のマテリアライズドビューを作成して、ストリーミングのマテリアライズドビューと他のマテリアライズドビュー、テーブル、またはビューとの結合のために使用できます。

詳細については、「REFRESH MATERIALIZED VIEW」を参照してください。

Amazon Redshift のストリーミング取り込みでは、Kinesis プロデューサーライブラリ (KPL の重要なコンセプト) によって集計されたレコードの解析をサポートしていません。集計されたレコードは取り込まれますが、バイナリプロトコルのバッファデータとして格納されます。(詳細については「Protocol buffers」(プロトコルバッファ) を参照してください。) Kinesis へのデータのプッシュ方法によっては、この機能の無効化が必要となる場合があります。

Amazon MSK、Confluent、または Apache Kafka から取得された Kafka トピックの Amazon Redshift ストリーミングコンシューマークライアントは、Kafka トピックヘッダーの重複した値をサポートしていません。

VARBYTE は解凍をサポートしていません。このため、圧縮データを含むレコードを Redshift でクエリすることはできません。データは、Kinesis ストリームや Amazon MSK トピックに追加する前に解凍してください。

Amazon Redshift がストリーミングサービスから取り込むことができるレコードの最大サイズは 16,777,216 バイト (16 MiB) で、これは Amazon Redshift の VARBYTE データ型でサポートされる最大サイズです。ただし、Kinesis は最大レコードサイズ 1,048,576 バイト (1 MiB) のみをサポートします。Amazon MSK は、最大レコードサイズ 16,777,216 バイト (16 MiB) をサポートします。したがって、デフォルトで、Kinesis データストリームで作成された Amazon Redshift ストリーミングマテリアライズドビューは VARBYTE データ型列のサイズを 1,048,576 バイト (1 MiB) に設定し、Amazon MSK トピックで作成された Amazon Redshift ストリーミングマテリアライズドビューは VARBYTE データ列のサイズを 16,777,216 バイト (16 MiB) に設定します。

データが最大サイズを超えているためにレコードを Redshift に取り込めない場合、そのレコードはスキップされます。この場合でも、マテリアライズドビューの更新は成功し、各エラーレコードのセグメントが SYS_STREAM_SCAN_ERRORS システムテーブルに書き込まれます。計算のエラーやタイプ変換によるエラーなど、ビジネスロジックに起因するエラーはスキップされません。ロジックは、マテリアライズドビュー定義に追加する前に、入念にテストしてください。

Amazon MSK マルチ VPC プライベート接続は、現在 Redshift ストリーミングの取り込みではサポートされていません。代わりに、VPC ピアリングを使用して VPC に接続するか、AWS Transit Gateway を使用しセントラルハブを介して VPC およびオンプレミスネットワークに接続することができます。これらのいずれかにより、Redshift は Amazon MSK クラスターまたは別の VPC にある Amazon MSK サーバーレスと通信できるようになります。

マテリアライズドビューに対する自動更新クエリは、他のユーザーワークロードと同様に扱われます。自動更新は、ストリームが到達するとデータをロードします。

ストリーミング取り込み用に作成されたマテリアライズドビューでは、自動更新を明示的にオンにできます。これを行うには、マテリアライズドビュー定義で AUTO REFRESH を指定します。手動更新がデフォルトです。ストリーミング取り込み用の既存のマテリアライズドビューに自動更新を指定するには、ALTER MATERIALIZED VIEW を実行してオンにします。詳細については、「CREATE MATERIALIZED VIEW」または「ALTER MATERIALIZED VIEW」を参照してください。

プロビジョニングされたクラスターで Amazon Redshift ストリーミング取り込みに適用されるセットアップと設定の手順は、Amazon Redshift Serverless でのストリーミング取り込みにも適用されます。自動更新やその他のワークロードでストリーミング取り込みをサポートするには、必要なレベルの RPU を指定することが重要です。詳細については、「Amazon Redshift Serverless の料金」を参照してください。

ストリーミングの取り込みを設定すると、Amazon MSK のラック認識が有効になっている場合、Amazon Redshift は同じアベイラビリティーゾーンの Amazon MSK クラスターへの接続を試みます。すべてのノードが Amazon Redshift クラスターとは異なるアベイラビリティーゾーンにある場合、アベイラビリティーゾーン間のデータ転送コストが発生する可能性があります。これを回避するには、Redshift のプロビジョニングされたクラスターまたはワークグループと同じ AZ に少なくとも 1 つの Amazon MSK ブローカークラスターノードを保持します。

マテリアライズドビューを作成すると、最初の更新は Kinesis ストリームの TRIM_HORIZON または Amazon MSK トピックのオフセット 0 から始まります。

サポートされるデータ形式は、VARBYTE からの変換が可能なデータ形式に限られます。詳細については、「VARBYTE 型」および「VARBYTE 演算子」を参照してください。

既存のソースマテリアライズドビューからターゲットテーブルに行を追加するには、ALTER TABLE APPEND を実行できます。これは、マテリアライズドビューがストリーミング取り込み用に設定されている場合にのみ機能します。詳細については、「ALTER TABLE APPEND」を参照してください。

ALTER TABLE APPEND オペレーションは、次のいずれかに接続された Amazon Redshift ストリーミングマテリアライズドビューで実行されると、排他的ロックを保持します。

ストリーミング取り込みに使用するマテリアライズドビューからレコードを削除するには、以下を使用します。

TRUNCATE および DELETE オペレーションは、次のいずれかに接続された Amazon Redshift ストリーミングマテリアライズドビューで実行されると、排他的ロックを保持します。

小文字以外の識別子を含む Amazon Managed Streaming for Apache Kafka トピックまたは Kinesis Data Streams でストリーミングマテリアライズドビューを作成すると、自動更新が失敗する可能性があります。これを解決するには、次のいずれかを実行します。

大文字と小文字を区別する識別子の詳細については、「enable_case_sensitive_identifier」を参照してください。

Amazon Redshift は、ストリーミングソースからデータを取り込むときに各レコードが 1 回だけ処理されることを保証します。この保証は、Amazon Kinesis (ストリーム、シャード、シーケンス番号識別子を使用) と Apache Kafka (トピック、パーティション、オフセット識別子を使用) の 2 種類のソースに適用されます。これには、Amazon Managed Streaming for Apache Kafka (Amazon MSK) と Confluent Cloud が含まれます。