Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Fehlerbehebung

Protokollierung

EMR auf EKS verwendet Spark-Ressourcenprofile, um die Jobausführung aufzuteilen. Amazon EMR on EKS verwendet das Benutzerprofil, um den von Ihnen bereitgestellten Code auszuführen, während das Systemprofil die Lake Formation-Richtlinien durchsetzt. Sie können auf die Protokolle der Container zugreifen, die als Benutzerprofil ausgeführt wurden, indem Sie die StartJobRun Anfrage mit konfigurieren. MonitoringConfiguration

Spark History Server

Auf dem Spark History Server wurden alle Spark-Ereignisse aus dem Benutzerprofil generiert und alle redigierten Ereignisse wurden vom Systemtreiber generiert. Sie können alle Container sowohl der Benutzer- als auch der Systemtreiber auf der Registerkarte Executors sehen. Protokolllinks sind jedoch nur für das Benutzerprofil verfügbar.

Auftrag schlägt fehl, weil die Lake-Formation-Berechtigungen unzureichend sind

Stellen Sie sicher, dass Ihre Job-Ausführungsrolle über die erforderlichen Berechtigungen für die Ausführung SELECT und für die Tabelle verfügt, DESCRIBE auf die Sie zugreifen.

Auftrag mit RDD-Ausführung ist fehlgeschlagen

EMR auf EKS unterstützt derzeit keine Resilient Distributed Dataset (RDD) -Operationen für Lake Formation-fähige Jobs.

Auf Datendateien in Amazon S3 kann nicht zugegriffen werden

Stellen Sie sicher, dass Sie den Data-Lake-Standort in Lake Formation registriert haben.

Sicherheitsvalidierungsausnahme

EMR auf EKS hat einen Sicherheitsvalidierungsfehler festgestellt. Wenden Sie sich für AWS weitere Unterstützung an den Support.

Gemeinsame Nutzung des AWS Glue-Datenkatalogs und der Tabellen für mehrere Konten

Sie können Datenbanken und Tabellen für mehrere Konten freigeben und trotzdem Lake Formation verwenden. Weitere Informationen finden Sie unter Kontoübergreifender Datenaustausch in Lake Formation und Wie teile ich den AWS Glue-Datenkatalog und die Tabellen kontenübergreifend mit AWS Lake Formation? .

Iceberg Job löst einen Initialisierungsfehler aus und legt die Region nicht fest AWS

Die Nachricht lautet wie folgt:

25/02/25 13:33:19 ERROR SparkFGACExceptionSanitizer: Client received error with id = b921f9e6-f655-491f-b8bd-b2842cdc20c7, 
reason = IllegalArgumentException, message = Cannot initialize 
LakeFormationAwsClientFactory, please set client.region to a valid aws region

Stellen Sie sicher, dass die Spark-Konfiguration auf eine gültige Region eingestellt spark.sql.catalog.catalog_name.client.region ist.

Eisberg Job werfen SparkUnsupportedOperationException

Die Nachricht lautet wie folgt:

25/02/25 13:53:15 ERROR SparkFGACExceptionSanitizer: Client received error with id = 921fef42-0800-448b-bef5-d283d1278ce0, 
reason = SparkUnsupportedOperationException, message = Either glue.id or glue.account-id is set with non-default account. 
Cross account access with fine-grained access control is only supported with AWS Resource Access Manager.

Stellen Sie sicher, dass die Spark-Konfiguration auf eine gültige Konto-ID eingestellt spark.sql.catalog.catalog_name.glue.account-id ist.

Iceberg-Job schlägt während des MERGE-Vorgangs mit „403 Access Denied“ fehl

Die Nachricht lautet wie folgt:

software.amazon.awssdk.services.s3.model.S3Exception: Access Denied (Service: S3, Status Code: 403, 
...
	at software.amazon.awssdk.services.s3.DefaultS3Client.deleteObject(DefaultS3Client.java:3365)
	at org.apache.iceberg.aws.s3.S3FileIO.deleteFile(S3FileIO.java:162)
	at org.apache.iceberg.io.FileIO.deleteFile(FileIO.java:86)
	at org.apache.iceberg.io.RollingFileWriter.closeCurrentWriter(RollingFileWriter.java:129)

Deaktivieren Sie S3-Löschvorgänge in Spark, indem Sie die folgende Eigenschaft hinzufügen. --conf spark.sql.catalog.s3-table-name.s3.delete-enabled=false.