Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Erste Schritte mit Amazon FSx for Lustre
Im Folgenden erfahren Sie, wie Sie mit Amazon FSx for Lustre beginnen können. Diese Schritte führen Sie durch die Erstellung eines Amazon FSx for Lustre-Dateisystems und den Zugriff darauf von Ihren Compute-Instances aus. Optional zeigen sie, wie Sie Ihr Amazon FSx for Lustre-Dateisystem verwenden können, um die Daten in Ihrem Amazon S3 S3-Bucket mit Ihren dateibasierten Anwendungen zu verarbeiten.
Diese Übung „Erste Schritte“ umfasst die folgenden Schritte.
Themen
Voraussetzungen
Um diese Übung „Erste Schritte“ durchführen zu können, benötigen Sie Folgendes:
-
Ein AWS Konto mit den erforderlichen Berechtigungen, um ein Amazon FSx for Lustre-Dateisystem und eine EC2 Amazon-Instance zu erstellen. Weitere Informationen finden Sie unter Einrichten von Amazon FSx for Lustre.
-
Erstellen Sie eine Amazon VPC-Sicherheitsgruppe, die mit Ihrem FSx for Lustre-Dateisystem verknüpft werden soll, und ändern Sie sie nach der Erstellung des Dateisystems nicht. Weitere Informationen finden Sie unter So erstellen Sie eine Sicherheitsgruppe für Ihr FSx Amazon-Dateisystem.
-
Eine EC2 Amazon-Instance, auf der eine unterstützte Linux-Version in Ihrer Virtual Private Cloud (VPC) ausgeführt wird, die auf dem Amazon VPC-Service basiert. Für diese Übung „Erste Schritte“ empfehlen wir die Verwendung von Amazon Linux 2023. Sie installieren den Lustre Client auf dieser EC2 Instance und mounten dann Ihr FSx for Lustre-Dateisystem auf der EC2 Instance. Weitere Informationen zum Erstellen einer EC2 Instance finden Sie unter Erste Schritte: Starten einer Instance oder Starten Sie Ihre Instance im EC2 Amazon-Benutzerhandbuch.
Neben Amazon Linux 2023 unterstützt der Lustre Client die Betriebssysteme Amazon Linux 2, Red Hat Enterprise Linux (RHEL), CentOS, Rocky Linux, SUSE Linux Enterprise Server und Ubuntu. Weitere Informationen finden Sie unter LustreDateisystem- und Client-Kernel-Kompatibilität.
-
Beachten Sie beim Erstellen Ihrer EC2 Amazon-Instance für diese Übung „Erste Schritte“ Folgendes:
-
Wir empfehlen, dass Sie Ihre Instance in Ihrer Standard-VPC erstellen.
-
Wir empfehlen, dass Sie bei der Erstellung Ihrer EC2 Instance die Standardsicherheitsgruppe verwenden.
-
Ermitteln Sie, welche Art von Amazon FSx for Lustre-Dateisystem Sie erstellen möchten, ob es sich um ein Scratch-Dateisystem oder ein persistentes Dateisystem handelt. Weitere Informationen finden Sie unter Bereitstellungs- und Speicherklassenoptionen FSx für Lustre-Dateisysteme.
Jedes FSx for Lustre-Dateisystem benötigt eine IP-Adresse für jeden Metadatenserver (MDS) und eine IP-Adresse für jeden Speicherserver (OSS). Weitere Informationen finden Sie unter IP-Adressen für Dateisysteme.
Ein Amazon S3 S3-Bucket, in dem die Daten gespeichert werden, die Ihr Workload verarbeiten soll. Der S3-Bucket wird das verknüpfte dauerhafte Daten-Repository für Ihr FSx for Lustre-Dateisystem sein.
Schritt 1: Erstellen Sie Ihr FSx for Lustre-Dateisystem
Sie erstellen Ihr Dateisystem in der FSx Amazon-Konsole. Beachten Sie, dass alle FSx for Lustre-Dateisysteme auf Lustre Version 2.15 basieren, wenn sie mit der FSx Amazon-Konsole erstellt wurden.
So erstellen Sie Ihr -Dateisystem:
-
Öffnen Sie die FSx Amazon-Konsole unter https://console.aws.amazon.com/fsx/
. -
Wählen Sie im Dashboard die Option Dateisystem erstellen, um den Assistenten zur Dateisystemerstellung zu starten.
-
Wählen Sie FSx for Lustreund anschließend Weiter, um die Seite „Dateisystem erstellen“ aufzurufen.
Beginnen Sie Ihre Konfiguration mit dem Abschnitt Dateisystemdetails.
-
Geben Sie im Feld Dateisystemname-optional einen Namen für Ihr Dateisystem ein. Sie können bis zu 256 Unicode-Buchstaben, Leerzeichen und Zahlen sowie die Sonderzeichen + - =. _:/verwenden.
-
Wählen Sie für Bereitstellung und Speicherklasse eine der folgenden Optionen aus:
Wählen Sie Persistent, SSD für längerfristige Speicherung und für latenzempfindliche Workloads. Bei SSD-Speicher wird Ihnen die Menge an Speicher in Rechnung gestellt, die Sie bereitstellen.
Wählen Sie optional mit aktiviertem EFA, um die Elastic Fabric Adapter (EFA) -Unterstützung für das Dateisystem zu aktivieren. Weitere Informationen zu EFA finden Sie unter. Arbeiten mit EFA-fähigen Dateisystemen
Wählen Sie Persistent, Intelligent-Tiering für eine längerfristige Speicherung. Die Intelligent-Tiering-Speicherklasse bietet vollständig elastischen, kostengünstigen Speicher, der für die meisten Workloads geeignet ist, sowie einen optionalen SSD-Lesecache, der SSD-Latenzen für Lesevorgänge von Daten bietet, auf die häufig zugegriffen wird. Bei Intelligent-Tiering werden Ihnen die von Ihnen gespeicherten Daten je nach Größe Ihres Datensatzes in Rechnung gestellt, und Sie müssen keine Dateisystemgröße angeben.
Wählen Sie optional mit aktiviertem EFA, um die Elastic Fabric Adapter (EFA) -Unterstützung für das Dateisystem zu aktivieren.
Wählen Sie Scratch, SSD-Bereitstellung für die temporäre Speicherung und kurzfristigere Verarbeitung von Daten. Bei SSD-Speicher wird Ihnen die Menge an Speicher in Rechnung gestellt, die Sie bereitstellen.
-
Wählen Sie die Durchsatzmenge für Ihr Dateisystem aus. Sie zahlen den Durchsatz, den Sie bereitstellen.
Wählen Sie für persistenten SSD-Speicher einen Wert für Durchsatz pro Speichereinheit. Der Durchsatz pro Speichereinheit ist die Menge des Lese- und Schreibdurchsatzes für jedes bereitgestellte 1 Tebibyte (TiB) an Speicher.
Wählen Sie für Scratch-SSD-Speicher einen Wert für Durchsatz pro Speichereinheit.
Wählen Sie für Intelligent-Tiering-Speicher einen Wert für die Durchsatzkapazität.
-
Geben Sie unter Speicherkapazität (nur SSD-Speicherklasse) die Speicherkapazität für Ihr Dateisystem in TB an:
Für einen dauerhaften SSD-Bereitstellungstyp legen Sie diesen Wert auf einen Wert von 1,2 TiB, 2,4 TiB oder in Schritten von 2,4 TiB fest.
Für einen EFA-fähigen, persistenten SSD-Bereitstellungstyp legen Sie diesen Wert in Schritten von 4,8 TiB, 9,6 TiB, 19,2 TiB und 38,4 TiB für die Durchsatzstufen 1000, 500, 250 bzw. 125 TiB fest. MBps
Sie können die Speicherkapazität nach Bedarf erhöhen, nachdem Sie das Dateisystem erstellt haben. Weitere Informationen finden Sie unter Verwaltung der Speicherkapazität.
-
Wählen Sie für die Metadatenkonfiguration eine der folgenden Optionen, um die Anzahl der Metadaten-IOPS für Ihr Dateisystem bereitzustellen:
-
Wählen Sie Automatisch (nur SSD-Speicherklasse), wenn Amazon FSx for Lustre die Metadaten-IOPS auf Ihrem Dateisystem basierend auf der Speicherkapazität Ihres Dateisystems automatisch bereitstellen und skalieren soll.
-
Wählen Sie Benutzerbereitgestellt, wenn Sie die Anzahl der Metadaten-IOPS angeben möchten, die für Ihr Dateisystem mit SSD- oder Intelligent-Tiering-Speicherklasse bereitgestellt werden sollen. Gültige Werte sind:
Für SSD-Dateisysteme sind die Werte,,
1500
3000
6000
,12000
und ein Vielfaches von bis zu einem Maximum von gültig.12000
192000
Für Intelligent-Tiering-Dateisysteme sind die gültigen Werte und.
6000
12000
Weitere Informationen zu Metadaten-IOPS finden Sie unter. LustreKonfiguration der Metadaten-Leistung
-
-
Wählen Sie für den SSD-Lesecache (nur Intelligent-Tiering) entweder Automatisch (proportional zur Durchsatzkapazität) oder Benutzerdefiniert (vom Benutzer bereitgestellt). Mit der Option Automatisch wählt Amazon FSx for Lustre automatisch eine Lese-Cache-Größe, die auf Ihrem bereitgestellten Durchsatz basiert. Wenn Sie die ungefähre Größe Ihres aktiven Arbeitsdatensatzes kennen, können Sie Benutzerdefiniert auswählen, um die Größe des SSD-Lesecaches anzupassen. Weitere Informationen finden Sie unter Verwaltung des bereitgestellten SSD-Lesecache.
-
Wählen Sie als Datenkomprimierungstyp die Option KEINE aus, um die Datenkomprimierung zu deaktivieren, oder wählen Sie LZ4, ob die Datenkomprimierung mit dem LZ4 Algorithmus aktiviert werden soll. Weitere Informationen finden Sie unter LustreDatenkomprimierung.
-
Geben Sie im Abschnitt Netzwerk und Sicherheit die folgenden Informationen zu Netzwerken und Sicherheitsgruppen ein:
Wählen Sie für Virtual Private Cloud (VPC) die VPC aus, die Sie Ihrem Dateisystem zuordnen möchten. Wählen Sie für diese Übung „Erste Schritte“ dieselbe VPC aus, die Sie für Ihre EC2 Amazon-Instance ausgewählt haben.
Für VPC-Sicherheitsgruppen sollte die ID für die Standardsicherheitsgruppe für Ihre VPC bereits hinzugefügt sein.
Wenn Sie nicht die Standardsicherheitsgruppe verwenden, stellen Sie sicher, dass der Sicherheitsgruppe, die Sie für diese Übung mit den ersten Schritten verwenden, die folgende Regel für eingehende Nachrichten hinzugefügt wird.
Typ Protocol (Protokoll) Port-Bereich Quelle Beschreibung Alle TCP TCP 0-65535 Benutzerdefiniert the_ID_of_this_security_group
Regel für eingehenden Lustre Verkehr Wichtig
Stellen Sie sicher, dass die von Ihnen verwendete Sicherheitsgruppe den Konfigurationsanweisungen unter folgt. Zugriffskontrolle für Dateisysteme mit Amazon VPC Sie müssen die Sicherheitsgruppe so einrichten, dass eingehender Datenverkehr über die Ports 988 und 1018-1023 von der Sicherheitsgruppe selbst oder vom vollständigen Subnetz-CIDR zugelassen wird, was erforderlich ist, damit die Dateisystem-Hosts miteinander kommunizieren können.
Wählen Sie für Subnetz einen beliebigen Wert aus der Liste der verfügbaren Subnetze aus.
-
Für den Bereich Verschlüsselung hängen die verfügbaren Optionen davon ab, welchen Dateisystemtyp Sie erstellen:
-
Für ein persistentes Dateisystem können Sie einen AWS Key Management Service (AWS KMS) Verschlüsselungsschlüssel wählen, um die Daten in Ihrem Dateisystem im Ruhezustand zu verschlüsseln.
-
Bei einem Scratch-Dateisystem werden Daten im Ruhezustand mit Schlüsseln verschlüsselt, die von verwaltet werden AWS.
-
Bei Scratch-2-Dateisystemen und persistenten Dateisystemen werden übertragene Daten automatisch verschlüsselt, wenn von einem unterstützten EC2 Amazon-Instance-Typ auf das Dateisystem zugegriffen wird. Weitere Informationen finden Sie unter Verschlüsseln von Daten während der Übertragung.
-
-
Im optionalen Abschnitt Datenrepository-Import/Export ist die Verknüpfung Ihres Dateisystems mit Amazon S3 S3-Datenrepositorys standardmäßig deaktiviert. Informationen zur Aktivierung dieser Option und zum Erstellen einer Datenrepository-Zuordnung zu einem vorhandenen S3-Bucket finden Sie unter. Um einen S3-Bucket beim Erstellen eines Dateisystems (Konsole) zu verknüpfen
Wichtig
Wenn Sie diese Option auswählen, werden auch Backups deaktiviert, sodass Sie während der Erstellung des Dateisystems keine Backups aktivieren können.
Wenn Sie ein oder mehrere Amazon FSx for Lustre-Dateisysteme mit einem Amazon S3 S3-Bucket verknüpfen, löschen Sie den Amazon S3 S3-Bucket erst, wenn alle verknüpften Dateisysteme gelöscht wurden.
Intelligent-Tiering-Dateisysteme unterstützen keine Verknüpfung mit Amazon S3 S3-Datenrepositorys.
-
Bei der optionalen Protokollierung ist die Protokollierung standardmäßig aktiviert. Wenn diese Option aktiviert ist, werden Fehler und Warnungen für Datenrepository-Aktivitäten in Ihrem Dateisystem in Amazon CloudWatch Logs protokolliert. Informationen zur Konfiguration der Protokollierung finden Sie unterVerwaltung der Protokollierung.
-
Unter Backup und Wartung optional können Sie Folgendes tun.
-
Deaktivieren Sie das tägliche automatische Backup. Diese Option ist standardmäßig aktiviert, sofern Sie den Import/Export von Data Repository nicht aktiviert haben.
-
Legen Sie die Startzeit für das tägliche automatische Backup-Fenster fest.
-
Legen Sie den Aufbewahrungszeitraum für automatische Backups auf 1 bis 35 Tage fest.
-
Legen Sie die Startzeit für das wöchentliche Wartungsfenster fest, oder behalten Sie die Standardeinstellung Keine Präferenz bei.
Weitere Informationen erhalten Sie unter Schützen Sie Ihre Daten mit Backups und Wartungsfenster FSx von Amazon for Lustre.
-
-
Bei der optionalen Option Root Squash ist Root Squash standardmäßig deaktiviert. Informationen zur Aktivierung und Konfiguration von Root Squash finden Sie unter. Um Root Squash beim Erstellen eines Dateisystems (Konsole) zu aktivieren
-
Erstellen Sie alle Tags, die Sie auf Ihr Dateisystem anwenden möchten.
-
Wählen Sie Weiter, um die Übersichtsseite „Dateisystem erstellen“ aufzurufen.
-
Überprüfen Sie die Einstellungen für Ihr Amazon FSx for Lustre-Dateisystem und wählen Sie Dateisystem erstellen.
Nachdem Sie Ihr Dateisystem erstellt haben, notieren Sie sich den vollständig qualifizierten Domainnamen und den Mount-Namen für einen späteren Schritt. Sie können den vollqualifizierten Domänennamen und den Mount-Namen für ein Dateisystem finden, indem Sie den Namen des Dateisystems im Dateisystem-Dashboard auswählen und dann Anhängen wählen.
Schritt 2: Installieren und konfigurieren Sie den Lustre Client
Bevor Sie von Ihrer EC2 Amazon-Instance aus auf Ihr Amazon FSx for Lustre-Dateisystem zugreifen können, müssen Sie wie folgt vorgehen:
Stellen Sie sicher, dass Ihre EC2 Instance die Mindestanforderungen an den Kernel erfüllt.
Aktualisieren Sie den Kernel bei Bedarf.
Laden Sie den Lustre Client herunter und installieren Sie ihn.
Um die Kernel-Version zu überprüfen und den Lustre Client herunterzuladen
-
Öffnen Sie ein Terminalfenster auf Ihrer EC2 Instance.
-
Ermitteln Sie, welcher Kernel derzeit auf Ihrer Compute-Instance läuft, indem Sie den folgenden Befehl ausführen.
uname -r
-
Führen Sie eine der folgenden Aktionen aus:
-
Wenn der Befehl
6.1.79-99.167.amzn2023.x86_64
für x86-basierte EC2 Instances6.1.79-99.167.amzn2023.aarch64
oder höher für Graviton2-basierte EC2 Instances zurückgegeben wird, laden Sie den Client mit dem Lustre folgenden Befehl herunter und installieren Sie ihn.sudo dnf install -y lustre-client
-
Wenn der Befehl weniger als
6.1.79-99.167.amzn2023.x86_64
für x86-basierte EC2 Instances oder weniger als6.1.79-99.167.amzn2023.aarch64
für Graviton2-basierte Instances zurückgibt, aktualisieren Sie den Kernel und starten Sie Ihre EC2 EC2 Amazon-Instance neu, indem Sie den folgenden Befehl ausführen.sudo dnf -y update kernel && sudo reboot
Bestätigen Sie mit dem Befehl, dass der Kernel aktualisiert wurde. uname -r Laden Sie dann den Lustre Client herunter und installieren Sie ihn wie oben beschrieben.
Hinweise zur Installation des Lustre Clients auf anderen Linux-Distributionen finden Sie unterDen Client installieren Lustre.
-
Schritt 3: Mounten Sie das Dateisystem
Um Ihr Dateisystem zu mounten, erstellen Sie ein Bereitstellungsverzeichnis oder einen Einhängepunkt, hängen das Dateisystem dann auf Ihrem Client ein und stellen sicher, dass Ihr Client auf das Dateisystem zugreifen kann.
Um Ihr Dateisystem zu mounten
-
Erstellen Sie ein Verzeichnis für den Mountingpunkt mit dem folgenden Befehl.
sudo mkdir -p /mnt/fsx
-
Hängen Sie das Amazon FSx for Lustre-Dateisystem in das Verzeichnis ein, das Sie erstellt haben. Verwenden Sie den folgenden Befehl und ersetzen Sie die folgenden Elemente:
Ersetzen Sie es durch den tatsächlichen DNS-Namen (Domain Name System) des Dateisystems.file_system_dns_name
Ersetzen Sie ihn durch den Mount-Namen des Dateisystems, den Sie erhalten können, indem Sie den describe-file-systems AWS CLI Befehl oder die DescribeFileSystemsAPI-Operation ausführen.mountname
sudo mount -t lustre -o relatime,flock
file_system_dns_name
@tcp:/mountname
/mnt/fsxDieser Befehl mountet Ihr Dateisystem mit zwei Optionen
-o relatime
undflock
:-
relatime
— Dieatime
Option verwaltet zwar Datenatime
(Inode-Zugriffszeiten) für jeden Dateizugriff, aber dierelatime
Option verwaltet auchatime
Daten, jedoch nicht für jeden Dateizugriff. Wenn dierelatime
Option aktiviert ist,atime
werden Daten nur dann auf die Festplatte geschrieben, wenn die Datei seit deratime
letzten Aktualisierung (mtime
) geändert wurde oder wenn der letzte Zugriff auf die Datei vor mehr als einer bestimmten Zeit (standardmäßig 6 Stunden) stattgefunden hat. Wenn Sie entweder dieatime
Optionrelatime
oder verwenden, werden die Dateifreigabeprozesse optimiert.Anmerkung
Wenn Ihr Workload eine genaue Genauigkeit der Zugriffszeit erfordert, können Sie das Mounten mit der Option
atime
mount durchführen. Dies kann sich jedoch negativ auf die Leistung der Arbeitslast auswirken, da der Netzwerkverkehr erhöht wird, der zur Einhaltung genauer Werte für die Zugriffszeit erforderlich ist.Wenn Ihr Workload keine Zugriffszeit für Metadaten erfordert, kann die Verwendung der
noatime
Mount-Option zur Deaktivierung von Aktualisierungen der Zugriffszeit zu einer Leistungssteigerung führen. Beachten Sie, dassatime
zielgerichtete Prozesse wie die Freigabe von Dateien oder die Freigabe von Datenvalidität bei ihrer Veröffentlichung ungenau sein können. -
flock
— Aktiviert das Sperren von Dateien für Ihr Dateisystem. Wenn Sie nicht möchten, dass das Sperren von Dateien aktiviert wird, verwenden Sie denmount
Befehl ohneflock
.
-
Stellen Sie sicher, dass der Befehl mount erfolgreich war, indem Sie den Inhalt des Verzeichnisses auflisten, in das Sie das Dateisystem
/mnt/fsx
gemountet haben. Verwenden Sie dazu den folgenden Befehl.ls /mnt/fsx
import-path lustre $Sie können auch den folgenden
df
Befehl verwenden.df Filesystem 1K-blocks Used Available Use% Mounted on devtmpf 1001808 0 1001808 0% /dev tmpfs 1019760 0 1019760 0% /dev/shm tmpfs 1019760 392 1019368 1% /run tmpfs 1019760 0 1019760 0% /sys/fs/cgroup /dev/xvda1 8376300 1263180 7113120 16% / 123.456.789.0@tcp:/
mountname
3547698816 13824 3547678848 1% /mnt/fsx tmpfs 203956 0 203956 0% /run/user/1000Die Ergebnisse zeigen, dass das FSx Amazon-Dateisystem gemountet iston /mnt/fsx.
Schritt 4: Führen Sie Ihren Workflow aus
Nachdem Ihr Dateisystem nun erstellt und auf einer Recheninstanz bereitgestellt wurde, können Sie es verwenden, um Ihren Hochleistungs-Rechen-Workload auszuführen.
Sie können eine Datenrepository-Zuordnung erstellen, um Ihr Dateisystem mit einem Amazon S3 S3-Daten-Repository zu verknüpfen. Weitere Informationen finden Sie unterIhr Dateisystem mit einem Amazon S3 S3-Bucket verknüpfen.
Nachdem Sie Ihr Dateisystem mit einem Amazon S3 S3-Daten-Repository verknüpft haben, können Sie Daten, die Sie in Ihr Dateisystem geschrieben haben, jederzeit wieder in Ihren Amazon S3 S3-Bucket exportieren. Führen Sie von einem Terminal auf einer Ihrer Compute-Instances den folgenden Befehl aus, um eine Datei in Ihren Amazon S3 S3-Bucket zu exportieren.
sudo lfs hsm_archive
file_name
Weitere Informationen darüber, wie Sie diesen Befehl schnell für einen Ordner oder eine große Sammlung von Dateien ausführen können, finden Sie unterExportieren von Dateien mithilfe von HSM-Befehlen.
Schritt 5: Bereinigen von -Ressourcen
Nachdem Sie diese Übung abgeschlossen haben, sollten Sie die folgenden Schritte ausführen, um Ihre Ressourcen zu bereinigen und Ihr AWS Konto zu schützen.
So bereinigen Sie Ressourcen
-
Wenn Sie einen endgültigen Export durchführen möchten, führen Sie den folgenden Befehl aus.
nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &
-
Beenden Sie Ihre Instance auf der EC2 Amazon-Konsole. Weitere Informationen finden Sie unter Terminate Your Instance im EC2 Amazon-Benutzerhandbuch.
-
Löschen Sie Ihr Dateisystem auf der Amazon FSx for Lustre-Konsole wie folgt:
-
Wählen Sie im Navigationsbereich Dateisysteme aus.
-
Wählen Sie das Dateisystem, das Sie löschen möchten, aus der Liste der Dateisysteme im Dashboard aus.
-
Klicken Sie bei Aktionen auf Dateisystem löschen.
-
Wählen Sie im daraufhin angezeigten Dialogfeld aus, ob Sie eine endgültige Sicherungskopie des Dateisystems erstellen möchten. Geben Sie dann die Dateisystem-ID ein, um den Löschvorgang zu bestätigen. Wählen Sie Dateisystem löschen.
-
-
Wenn Sie für diese Übung einen Amazon S3 S3-Bucket erstellt haben und die exportierten Daten nicht beibehalten möchten, können Sie ihn jetzt löschen. Weitere Informationen finden Sie unter Löschen eines Buckets im Amazon Simple Storage Service-Benutzerhandbuch.