Amazon EMR での Trino の設定 - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR での Trino の設定

Trino のコネクタの設定

Hive メタストアとして AWS Glue に接続する

Trino でクエリを実行するときは、 Glue Data Catalog AWS を Hive メタストアとして設定できることを理解することが重要です。Hive メタストアでクラスターを設定する手順などの詳細については、「Hive のメタストアとして AWS Glue データカタログを使用する」を参照してください。

EMR on EKS と Glue AWS の統合については、以下のベストプラクティス「EMR Containers integration with AWS Glue」を参照してください。

Amazon EMR で Trino を使用する場合の Iceberg テーブルへの接続

Iceberg は、分析テーブルのオープンテーブル形式です。これは、Spark や Trino などのエンジンが SQL クエリを使用して同じテーブルからビッグデータをクエリするために作成されました。データの読み取りと書き込みの分離などの機能が含まれているため、リーダーは部分的に更新されたデータのクエリを回避できます。また、スナップショットなどの状態機能もサポートしています。メタデータとマニフェストファイルを使用して抽象化レイヤーを提供します。これらはテーブルスキーマを記述し、データのフォーマットや整理方法の詳細を多く知ることなく、データのクエリを容易にします。接続すると、テーブルからデータを読み取ることも、基になるファイルに新しいデータを書き込むこともできます。

Amazon EMR と Glue で Iceberg AWS テーブルを設定する方法を示すワークショップがあります。詳細については、「 Analytics Workshop - Set Up and Use Apache Iceberg Tables on Your Data Lake」を参照してください。

クライアントとの接続

使用可能な JDBC ドライバーを使用して Trino に接続できます。詳細については、Trino ドキュメント「JDBC ドライバー」を参照してください。

モニタリング

を使用して Amazon EMR クラスターをモニタリングできます AWS Management Console。詳細については、「作業の実行時に Amazon EMR クラスターを表示およびモニタリングする」を参照してください。Amazon EMR はモニタリングメトリクスも に送信します Amazon CloudWatch。Amazon EMR クラスターのモニタリングの詳細については、Amazon CloudWatch 「Amazon EMR のイベントとメトリクス」を参照してください。