Considérations et restrictions

Delta Lake est compatible avec les versions 6.9.0 et supérieures d'Amazon EMR. Vous pouvez utiliser Apache Spark 3.x sur des clusters Amazon EMR dotés de tables Delta.

Nous vous recommandons d'utiliser le schéma d'URI s3 pour les chemins de localisation S3 au lieu de s3a pour des performances, une sécurité et une fiabilité optimales. Pour plus d'informations, consultez Utilisation des systèmes de stockage et de fichiers.

Avec Amazon EMR 7.0, Delta Universal Format (UniForm) les convert-to-Iceberg instructions ne sont pas prises en charge.

Avec Amazon EMR 6.9 et 6.10, lorsque vous stockez des données de table Delta Lake dans Amazon S3, les données de colonne deviennent NULL après l'opération de renommage des colonnes. Ce problème est résolu avec Amazon EMR 6.11. Pour plus d'informations sur l'opération expérimentale de changement de nom de colonne, consultez Opération de renommage de colonne dans le Guide de l'utilisateur de Delta Lake.

Lorsque vous utilisez EMR Delta with Glue dans la région de Pékin (cn-north-1), réglez sur. hive.s3.endpoint https://s3---cn-north-1.amazonaws.com.rproxy.govskope.ca.cn

Si vous créez une base de données dans le catalogue de données AWS Glue en dehors d'Apache Spark, le LOCATION champ de la base de données peut être vide. Comme Spark n'autorise pas la création de bases de données avec une propriété d'emplacement vide, l'erreur suivante s'affichera si vous utilisez Spark dans Amazon EMR pour créer une table Delta dans une base de données Glue et que la base de données possède une propriété vide LOCATION :

IllegalArgumentException: Can not create a Path from an empty string

Pour résoudre ce problème, créez la base de données dans le catalogue de données avec un chemin valide et non vide pour le champ LOCATION. Pour connaître les étapes de mise en œuvre de cette solution, consultez la section Exception d'argument illégal lors de la création d'une table dans le Guide de l'utilisateur Amazon Athena.