データベースをソースとして使用する前提条件

適切なアクセス許可を持つスナップショットウォーターマークテーブルを作成する – テーブル内のデータの初期コピー (スナップショット) の場合、Firehose はウォーターマークを使用した増分コピーアプローチを使用して進行状況を追跡します。この増分コピーアプローチは、停止した場所からコピーを再開し、中断が発生した場合にテーブルを再キャプチャするのに役立ちます。Firehose は、データベース内のウォーターマークテーブルを使用して、必要なウォーターマークを保存します。Firehose には、Firehose ストリームごとに 1 つのウォーターマークテーブルが必要です。Firehose ストリームの作成前にテーブルがまだ作成されていない場合、Firehose はこのテーブルをストリーム作成の一部として作成します。このテーブルを作成するには、Firehose に適切なアクセス許可を付与する必要があります。

データベースユーザーの作成 – Firehose では、テーブルの初期コピーの作成、トランザクションログからの CDC イベントの読み取り、ウォーターマークテーブルへのアクセス、まだ作成されていない場合はウォーターマークテーブルの作成に適切なアクセス許可を持つデータベースユーザーアカウントが必要です。このデータベースのユーザー名とパスワードは、Firehose 認証情報の一部として使用して、ストリームのセットアップ中にデータベースに接続します。

トランザクションログを有効にする – トランザクションログは、INSERT、UPDATE、DELETE などのすべてのデータベース変更を、データベースにコミットされた順序で記録します。Firehose はトランザクションログを読み取り、変更を Apache Iceberg テーブルにレプリケートします。有効になっていない場合は、トランザクションログを有効にする必要があります。

インバウンドルールとアウトバウンドルールの追加 – データベースへのプライベート接続を許可するには、HTTPS トラフィックのインバウンドルールとアウトバウンドルール、およびデータベース VPC のセキュリティグループ内のデータベース (MySQL または PostgreSQL) トラフィックのインバウンドルールを追加する必要があります。ソース列には、VPC の IPv4 CIDR 範囲を使用します。

これらの手順は、EC2 で実行されているデータベースにも適用されます。

この例で使用されている Lambda 関数のタイムアウトをデフォルトの 3 秒から 5 分に増やす必要があります。

Lambda 関数を実行してプライマリインスタンスの IP アドレスを Network Load Balancer に更新する前に、 AWS Lambda が Elastic Load Balancing サービスと通信できるように、データベース VPC com.amazonaws.us-east-1.elasticloadbalancing内でサービス名を持つ VPC エンドポイントを作成する必要があります。

VPC に作成firehose.amazonaws.comするには、Firehose サービスプリンシパルを許可リスト AWS PrivateLink に登録する必要があります。詳細については、「アクセス許可の管理」を参照してください。このサービスロールの ARN を追加しないでください。許可プリンシパルfirehose.amazonaws.comにのみ を追加します。

Amazon VPC を介してAcceptance Required オプションを無効にして、エンドポイントサービスが接続リクエストを自動的に受け入れることを許可する必要があります。これにより、Firehose は手動による介入なしで必要なエンドポイント接続を作成できます。接続リクエストを無効にする方法の詳細については、「接続リクエストの承諾または拒否」を参照してください。