Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Verschlüsselungsoptionen für Amazon EMR
Mit Amazon EMR-Versionen 4.8.0 und höher können Sie eine Sicherheitskonfiguration verwenden, um Einstellungen für die Verschlüsselung von Daten im Ruhezustand, Daten während der Übertragung oder beidem festzulegen. Wenn Sie die Datenverschlüsselung im Ruhezustand aktivieren, können Sie wählen, ob Sie EMRFS-Daten in Amazon S3, Daten auf lokalen Festplatten oder beide verschlüsseln möchten. Jede von Ihnen erstellte Sicherheitskonfiguration wird in Amazon EMR und nicht in der Cluster-Konfiguration gespeichert. Daher können Sie die Konfiguration bei jeder Cluster-Erstellung problemlos wiederverwenden, um die Datenverschlüsselung zu konfigurieren. Weitere Informationen finden Sie unter Erstellen Sie eine Sicherheitskonfiguration mit der Amazon EMR-Konsole oder mit dem AWS CLI.
Das folgende Diagramm zeigt die verschiedenen Datenverschlüsselungsoptionen, die für die Sicherheitskonfigurationen zur Verfügung stehen.

Die folgenden Verschlüsselungsoptionen stehen ebenfalls zur Verfügung und werden nicht mit einer Sicherheitskonfiguration konfiguriert:
-
Optional können Sie mit Amazon-EMR-Versionen 4.1.0 und höher eine transparente Verschlüsselung in HDFS konfigurieren. Weitere Informationen finden Sie unter Transparente Verschlüsselung in HDFS in Amazon EMR in Amazon-EMR-Versionenhinweise.
-
Wenn Sie eine Version von Amazon EMR verwenden, die Sicherheitskonfigurationen nicht unterstützt, können Sie die Verschlüsselung für EMRFS-Daten in Amazon S3 manuell konfigurieren. Weitere Informationen finden Sie unter Amazon-S3-Verschlüsselung mithilfe von EMRFS-Eigenschaften angeben.
-
Wenn Sie eine Amazon-EMR-Version vor 5.24.0 verwenden, wird ein verschlüsseltes EBS-Root-Volume nur unterstützt, wenn Sie ein benutzerdefiniertes AMI verwenden. Weitere Informationen finden Sie unter Erstellen eines benutzerdefinierten AMI mit einem verschlüsselten Amazon EBS-Root-Volume im Verwaltungshandbuch für Amazon EMR.
Anmerkung
Ab Amazon EMR Version 5.24.0 können Sie eine Sicherheitskonfigurationsoption verwenden, um EBS-Root-Geräte und Speichervolumes zu verschlüsseln, wenn Sie dies als Ihren Schlüsselanbieter angeben AWS KMS . Weitere Informationen finden Sie unter Verschlüsselung lokaler Datenträger.
Die Datenverschlüsselung erfordert Aktivierungsschlüssel und Zertifikate. Eine Sicherheitskonfiguration bietet Ihnen die Flexibilität, aus mehreren Optionen zu wählen, darunter Schlüssel AWS Key Management Service, die von Amazon S3 verwaltet werden, sowie Schlüssel und Zertifikate von benutzerdefinierten Anbietern, die Sie bereitstellen. Bei der Nutzung AWS KMS als Schlüsselanbieter fallen Gebühren für die Speicherung und Verwendung von Verschlüsselungsschlüsseln an. Weitere Informationen finden Sie unter AWS KMS Preise
Bevor Sie die Verschlüsselungsoptionen angeben, legen Sie fest, welche Verwaltungssysteme Sie für die Schlüssel und Zertifikate verwenden möchten. Auf diese Weise können Sie zunächst die Schlüssel und Zertifikate bzw. die von Ihnen bestimmten Anbieter erstellen, die Sie als Teil der Verschlüsselungseinstellungen verwenden möchten.
Verschlüsselung im Ruhezustand von EMRFS-Daten in Amazon S3
Die Amazon S3-Verschlüsselung funktioniert mit Objekten des Amazon EMR File System (EMRFS), die aus Amazon S3 gelesen und in Amazon S3 geschrieben wurden. Sie geben serverseitige Verschlüsselung (SSE) von Amazon S3 oder clientseitige Verschlüsselung (CSE) als Standardverschlüsselungsmodus an, wenn Sie die Verschlüsselung im Ruhezustand aktivieren. Optional können Sie verschiedene Verschlüsselungsmethoden für einzelne Buckets mithilfe von Per bucket encryption overrides (Bucket-weises Überschreiben der Verschlüsselung) angeben. Unabhängig davon, ob Amazon-S3-Verschlüsselung aktiviert ist, verschlüsselt Transport Layer Security (TLS) EMRFS-Objekte bei der Übertragung zwischen EMR-Cluster-Knoten und Amazon S3. Weitere Informationen zur Amazon S3 S3-Verschlüsselung finden Sie unter Schützen von Daten durch Verschlüsselung im Amazon Simple Storage Service-Benutzerhandbuch.
Anmerkung
Bei der Nutzung AWS KMS fallen Gebühren für die Speicherung und Verwendung von Verschlüsselungsschlüsseln an. Weitere Informationen finden Sie unter AWS KMS – Preise
Serverseitige Verschlüsselung im Amazon S3
Wenn Sie die Amazon-S3-Verschlüsselung einrichten, verschlüsselt Amazon S3 die Daten auf der Objektebene, während die Daten auf den Datenträger geschrieben werden, und entschlüsselt sie, wenn auf sie zugegriffen wird. Weitere Informationen über SSE finden Sie unter Schutz von Daten durch serverseitige Verschlüsselung im Amazon Simple Storage Service User Guide.
Wenn Sie SSE in Amazon EMR einrichten, haben Sie die Wahl zwischen zwei verschiedenen Systemen für die Schlüsselverwaltung:
-
SSE-S3 – Hierbei verwaltet Amazon S3 die Aktivierungsschlüssel für Sie.
-
SSE-KMS — Sie verwenden eine AWS KMS key , um Richtlinien einzurichten, die für Amazon EMR geeignet sind. Weitere Informationen zu den wichtigsten Anforderungen für Amazon EMR finden Sie unter AWS KMS keys Zur Verschlüsselung verwenden.
SSE mit vom Kunden bereitgestellten Schlüsseln (SSE-C) ist für Amazon EMR nicht verfügbar.
Clientseitige Verschlüsselung für Amazon S3
Mit Amazon S3 bei der clientseitigen Verschlüsselung erfolgt der Amazon-S3-Ver- und Entschlüsselungsvorgang im EMRFS-Client auf Ihrem EMR-Cluster. Objekte werden vor dem Hochladen nach Amazon S3 verschlüsselt und nach dem Herunterladen entschlüsselt. Der von Ihnen festgelegte Anbieter stellt den vom Client verwendeten Verschlüsselungsschlüssel bereit. Der Client kann vom AWS KMS bereitgestellte Schlüssel (CSE-KMS) oder eine benutzerdefinierte Java-Klasse verwenden, die den clientseitigen Root-Schlüssel (CSE-C) bereitstellt. Die Verschlüsselungseigenschaften unterscheiden sich geringfügig zwischen CSE-KMS und CSE-C, abhängig vom festgelegten Anbieter und von den Metadaten des Objekts, das entschlüsselt oder verschlüsselt werden soll. Weitere Informationen zu diesen Unterschieden finden Sie unter Schützen von Daten durch clientseitige Verschlüsselung im Entwicklerhandbuch von Amazon Simple Storage Service.
Anmerkung
Amazon S3 CSE stellt nur sicher, dass EMRFS-Daten, die mit Amazon S3 ausgetauscht werden, verschlüsselt sind. Nicht alle Daten auf den Cluster-Instance-Volumes werden verschlüsselt. Da Hue EMRFS nicht verwendet, werden darüber hinaus Objekte, die vom Hue-S3-Dateibrowser in Amazon S3 geschrieben werden, nicht verschlüsselt.
Verschlüsselung im Ruhezustand für Daten in Amazon EMR WAL
Wenn Sie serverseitige Verschlüsselung (SSE) für Write-Ahead-Logging (WAL) einrichten, verschlüsselt Amazon EMR Daten im Ruhezustand. Sie können aus zwei verschiedenen Schlüsselverwaltungssystemen wählen, wenn Sie SSE in Amazon EMR angeben:
- SSE-EMR-WAL
-
Amazon EMR verwaltet Schlüssel für Sie. Standardmäßig verschlüsselt Amazon EMR die Daten, die Sie in Amazon EMR WAL gespeichert haben, mit. SSE-EMR-WAL
- SSE-KMS-WAL
-
Sie verwenden einen AWS KMS Schlüssel, um Richtlinien einzurichten, die für Amazon EMR WAL gelten. Weitere Informationen zu den wichtigsten Anforderungen für Amazon EMR finden Sie unterAWS KMS keys Für die Verschlüsselung verwenden.
Sie können Ihren eigenen Schlüssel nicht mit SSE verwenden, wenn Sie WAL mit Amazon EMR aktivieren. Weitere Informationen finden Sie unter Write-Ahead-Logs (WAL) für Amazon EMR.
Verschlüsselung lokaler Datenträger
Die folgenden Mechanismen arbeiten zusammen, um lokale Datenträger zu verschlüsseln, wenn Sie die lokale Laufwerksverschlüsselung mithilfe einer Amazon-EMR-Sicherheitskonfiguration aktivieren.
Open-Source-HDFS-Verschlüsselung
HDFS tauscht im Rahmen der verteilten Verarbeitung Daten zwischen Cluster-Instances aus. Außerdem werden Daten aus Instance-Speicher-Volumes und die an Instances angehängten EBS-Volumes gelesen und in sie geschrieben. Wenn Sie die lokale Laufwerksverschlüsselung aktivieren, werden die folgenden Open-Source-Hadoop-Verschlüsselungsoptionen aktiviert:
-
Secure Hadoop RPC
ist auf die Option Privacy
festgelegt, die Simple Authentication Security Layer (SASL) verwendet. -
Datenverschlüsselung für HDFS-Block-Datenübertragungen
ist auf true
festgelegt und für die Verwendung der AES 256-Verschlüsselung konfiguriert.
Anmerkung
Sie können zusätzlich die Apache Hadoop-Verschlüsselung verwenden, indem Sie die Verschlüsselung während der Übertragung aktivieren. Weitere Informationen finden Sie unter Verschlüsselung während der Übertragung. Diese Verschlüsselungseinstellungen aktivieren die transparente HDFS-Verschlüsselung nicht, Sie können sie jedoch manuell konfigurieren. Weitere Informationen finden Sie unter Transparente Verschlüsselung in HDFS in Amazon EMR in Amazon-EMR-Versionenhinweise.
Instance-Speicher-Verschlüsselung
Bei EC2 Instance-Typen, die NVMe based SSDs als Instance-Speicher-Volume verwenden, wird die NVMe Verschlüsselung unabhängig von den Amazon EMR-Verschlüsselungseinstellungen verwendet. Weitere Informationen finden Sie unter NVMe SSD-Volumes im EC2 Amazon-Benutzerhandbuch. Für andere Instance-Speicher-Volumes verwendet Amazon EMR unabhängig davon, ob EBS-Volumes mit der EBS-Verschlüsselung oder LUKS verschlüsselt werden, LUKS zum Verschlüsseln des Instance-Speicher-Volumes, wenn die lokale Laufwerksverschlüsselung aktiviert ist.
EBS-Volume-Verschlüsselung
Wenn Sie einen Cluster in einer Region erstellen, in der die EC2 Amazon-Verschlüsselung von EBS-Volumes standardmäßig für Ihr Konto aktiviert ist, werden EBS-Volumes verschlüsselt, auch wenn die lokale Festplattenverschlüsselung nicht aktiviert ist. Weitere Informationen finden Sie unter Standardverschlüsselung im EC2 Amazon-Benutzerhandbuch. Wenn die lokale Festplattenverschlüsselung in einer Sicherheitskonfiguration aktiviert ist, haben die Amazon EMR-Einstellungen Vorrang vor den EC2 encryption-by-default Amazon-Einstellungen für EC2 Cluster-Instances.
Die folgenden Optionen stehen zum Verschlüsseln von EBS-Volumes mithilfe einer Sicherheitskonfiguration zur Verfügung:
-
EBS-Verschlüsselung – Ab Amazon EMR Version 5.24.0 können Sie wählen, ob Sie die EBS-Verschlüsselung aktivieren möchten. Die EBS-Verschlüsselungsoption verschlüsselt das EBS-Root-Volume und die angefügten Speicher-Volumes. Die EBS-Verschlüsselungsoption ist nur verfügbar, wenn Sie dies AWS Key Management Service als Ihren Schlüsselanbieter angeben. Wir empfehlen die Verwendung der EBS-Verschlüsselung.
-
LUKS-Verschlüsselung – Wenn Sie die LUKS-Verschlüsselung für Amazon EBS-Volumes verwenden, gilt die LUKS-Verschlüsselung nur für angeschlossene Speichervolumes, nicht für das Root-Geräte-Volume. Weitere Informationen zur LUKS-Verschlüsselung finden Sie unter LUKS-Datenträger-Spezifikation
. Für Ihren Schlüsselanbieter können Sie eine AWS KMS key mit Richtlinien einrichten, die für Amazon EMR geeignet sind, oder eine benutzerdefinierte Java-Klasse, die die Verschlüsselungsartefakte bereitstellt. Bei der Nutzung AWS KMS fallen Gebühren für die Speicherung und Verwendung von Verschlüsselungsschlüsseln an. Weitere Informationen finden Sie unter AWS KMS Preise
.
Anmerkung
Um zu überprüfen, ob die EBS-Verschlüsselung auf Ihrem Cluster aktiviert ist, wird empfohlen, den DescribeVolumes
API-Aufruf zu verwenden. Weitere Informationen finden Sie unter DescribeVolumes. Bei Ausführung von lsblk
auf dem Cluster wird nur der Status der LUKS-Verschlüsselung anstelle der EBS-Verschlüsselung überprüft.
Verschlüsselung während der Übertragung
Bei der Verschlüsselung während der Übertragung sind mehrere Verschlüsselungsmechanismen aktiviert. Dies sind Open-Source-Funktionen, die anwendungsspezifisch sind und je nach Amazon EMR-Version variieren können. Verwenden Sie in Amazon EMR, um die Verschlüsselung während Erstellen Sie eine Sicherheitskonfiguration mit der Amazon EMR-Konsole oder mit dem AWS CLI der Übertragung zu aktivieren. Für EMR-Cluster mit aktivierter Verschlüsselung bei der Übertragung konfiguriert Amazon EMR automatisch die Open-Source-Anwendungskonfigurationen, um die Verschlüsselung bei der Übertragung zu aktivieren. Für fortgeschrittene Anwendungsfälle können Sie Open-Source-Anwendungskonfigurationen direkt konfigurieren, um das Standardverhalten in Amazon EMR zu überschreiben. Weitere Informationen finden Sie unter Unterstützungsmatrix für Verschlüsselung bei der Übertragung und unter Anwendungen konfigurieren.
Im Folgenden finden Sie genauere Informationen zu Open-Source-Anwendungen, die für die Verschlüsselung bei der Übertragung relevant sind:
-
Wenn Sie die Verschlüsselung während der Übertragung mit einer Sicherheitskonfiguration aktivieren, aktiviert Amazon EMR die Verschlüsselung während der Übertragung für alle Open-Source-Anwendungsendpunkte, die Verschlüsselung bei der Übertragung unterstützen. Die Support der Verschlüsselung während der Übertragung für verschiedene Anwendungsendpunkte variiert je nach Amazon EMR-Release-Version. Weitere Informationen finden Sie in der Unterstützungsmatrix für Verschlüsselung bei der Übertragung.
-
Sie können Open-Source-Konfigurationen überschreiben, sodass Sie Folgendes tun können:
-
Deaktivieren Sie die Überprüfung des TLS-Hostnamens, wenn Ihre vom Benutzer bereitgestellten TLS-Zertifikate die Anforderungen nicht erfüllen
-
Deaktivieren Sie die Verschlüsselung während der Übertragung für bestimmte Endgeräte je nach Ihren Leistungs- und Kompatibilitätsanforderungen
-
Steuern Sie, welche TLS-Versionen und Cipher Suites verwendet werden sollen.
-
-
Neben der Aktivierung der Verschlüsselung bei der Übertragung mit einer Sicherheitskonfiguration erfordern einige Kommunikationskanäle auch zusätzliche Sicherheitskonfigurationen, damit Sie die Verschlüsselung bei der Übertragung aktivieren können. Beispielsweise verwenden einige Open-Source-Anwendungsendpunkte Simple Authentication and Security Layer (SASL) für die Verschlüsselung während der Übertragung, was voraussetzt, dass die Kerberos-Authentifizierung in der Sicherheitskonfiguration des EMR-Clusters aktiviert ist. Weitere Informationen zu diesen Endpunkten finden Sie in der Unterstützungsmatrix für Verschlüsselung bei der Übertragung.
-
Wir empfehlen die Verwendung von Software, die TLS v1.2 oder höher unterstützt. Amazon EMR on EC2 liefert die Standard-Corretto JDK-Distribution aus, die festlegt, welche TLS-Versionen, Cipher Suites und Schlüsselgrößen von den Open-Source-Netzwerken, die auf Java laufen, zugelassen werden. Derzeit erzwingen die meisten Open-Source-Frameworks TLS v1.2 oder höher für Amazon EMR 7.0.0 und höhere Versionen. Das liegt daran, dass die meisten Open-Source-Frameworks auf Java 17 für Amazon EMR 7.0.0 und höher laufen. Ältere Amazon EMR-Release-Versionen unterstützen möglicherweise TLS v1.0 und v1.1, da sie ältere Java-Versionen verwenden. Corretto JDK kann jedoch ändern, welche TLS-Versionen von Java unterstützt werden, was sich auf bestehende Amazon EMR-Versionen auswirken kann.
Für die Verwendung der Verschlüsselungsartefakte bei der Verschlüsselung von Daten während der Übertragung stehen Ihnen zwei Optionen zur Verfügung: die Bereitstellung einer ZIP-Datei mit den Zertifikaten, die Sie auf Amazon S3 hochladen, oder der Verweis auf eine benutzerdefinierte Java-Klasse, die Verschlüsselungsartefakte bereitstellt. Weitere Informationen finden Sie unter Bereitstellen von Zertifikaten für die Verschlüsselung von Daten während der Übertragung mit der Amazon-EMR-Verschlüsselung.