Considerazioni e limitazioni

Delta Lake è supportato per l'uso con Amazon EMR rilasci 6.9.0 e successivi. Puoi usare Apache Spark 3.x su cluster Amazon EMR con tabelle Delta.

Ti consigliamo di utilizzare lo schema URI s3 per i percorsi di posizione S3 anziché s3a per garantire i massimi livelli di prestazioni, sicurezza e affidabilità. Per ulteriori informazioni, consulta la sezione Working with storage and file systems (Utilizzo dell'archiviazione e dei file system).

Con Amazon EMR 7.0, le convert-to-Iceberg istruzioni non sono Delta Universal Format (UniForm) supportate.

Con Amazon EMR 6.9 e 6.10, quando i dati delle tabelle Delta Lake vengono archiviati in Amazon S3, i dati delle colonne diventano NULL dopo l'operazione di ridenominazione delle colonne. Questo problema è stato risolto con Amazon EMR 6.11. Per ulteriori informazioni sull'operazione sperimentale di ridenominazione delle colonne, consulta Operazione di ridenominazione delle colonne nella Guida per l'utente di Delta Lake.

Quando si utilizza EMR Delta with Glue nella regione di Pechino (cn-north-1), impostare su. hive.s3.endpoint https://s3---cn-north-1.amazonaws.com.rproxy.govskope.ca.cn

Se crei un database nel AWS Glue Data Catalog al di fuori di Apache Spark, il database potrebbe avere un campo vuotoLOCATION. Poiché Spark non consente di creare database con una proprietà di posizione vuota, si otterrà il seguente errore se si utilizza Spark in Amazon EMR per creare una tabella Delta in un database Glue e il database ha una proprietà LOCATION vuota:

IllegalArgumentException: Can not create a Path from an empty string

Per risolvere questo problema, crea il database nel Catalogo dati con un percorso valido e non vuoto per il campo LOCATION. Per i passaggi da seguire per implementare questa soluzione, consulta Eccezione di argomento non valido durante la creazione di una tabella nella Guida per l'utente di Amazon Athena.