考慮事項と制限事項

Amazon EMR リリース 6.9.0 以降の場合、Delta Lake の使用がサポートされています。Amazon EMR クラスターでは、Apache Spark 3.x と Delta テーブルを使用できます。

パフォーマンス、セキュリティ、信頼性を最適化するには、S3 ロケーションパスに s3a ではなく s3 URI スキームを使用すると良いでしょう。詳細については、「ストレージシステムとファイルシステムで作業する」を参照してください。

Amazon EMR 7.0 では、Delta Universal Format (UniForm) および convert-to-Iceberg ステートメントはサポートされていません。

Amazon EMR 6.9 6.10 の場合、Amazon S3 に保存している Delta Lake のテーブルデータで列の名前を変更すると、列のデータが NULL になります。Amazon EMR 6.11 以降、この問題は解決されています。列名変更の実験的な操作の詳細については、「Delta Lake User Guide」にある「Rename columns」の操作を参照してください。

北京 (cn-north-1) リージョンで Glue で EMR Delta を使用する場合は、hive.s3.endpoint を https://s3---cn-north-1.amazonaws.com.rproxy.govskope.ca.cn に設定します。

Apache Spark の外部で AWS Glue データカタログにデータベースを作成すると、データベースに空のLOCATIONフィールドが含まれる可能性があります。Spark では空のロケーションプロパティを使用してデータベースを作成することはできません。そのため、Amazon EMR の Spark で Glue データベースに Delta テーブルが作成された後に、データベースに空の LOCATION プロパティが存在すると、次のエラーが発生します。

IllegalArgumentException: Can not create a Path from an empty string

この問題を解決するには、LOCATION フィールドに空ではない有効なパスを指定して、Data Catalog にデータベースを作成します。このソリューションを実装する手順については、「Amazon Athena ユーザーガイド」の「Illegal argument exception when creating a table」を参照してください。