Hudi 設定のベストプラクティス - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink (Amazon MSF) は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Hudi 設定のベストプラクティス

Managed Service for Apache Flink で Hudi コネクタを実行するには、次の設定変更をお勧めします。

hoodie.embed.timeline.server の無効化

Flink の Hudi コネクタは、Flink ジョブマネージャー (JM) に埋め込みタイムライン (TM) サーバーをセットアップし、メタデータをキャッシュすることで、ジョブの並列度が高いときのパフォーマンスを向上させます。JM と TM 間の非 Flink 通信を無効にしているため、Managed Service for Apache Flink でこの埋め込みサーバーを無効にすることを推奨します。

このサーバーが有効になっている場合、Hudi 書き込みはまず JM の埋め込みサーバーへの接続を試み、Amazon S3 からのメタデータの読み取りにフォールバックします。Hudi が接続タイムアウトを発生させることで書き込み処理が遅れ、その結果 Managed Service for Apache Flink のパフォーマンスに影響を及ぼします。