Konfiguration und Verwendung von Mountpoint - Amazon Simple Storage Service
Verwenden von Mountpoint für Amazon S3Konfigurieren von Caching in Mountpoint

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfiguration und Verwendung von Mountpoint

Um Mountpoint für Amazon S3 verwenden zu können, benötigt Ihr Host gültige AWS Anmeldeinformationen mit Zugriff auf den oder die Amazon S3 S3-Buckets, die Sie mounten möchten. Informationen zu verschiedenen Authentifizierungsmethoden finden Sie unter AWS -Anmeldedaten von Mountpoint auf GitHub.

Zu diesem Zweck können Sie beispielsweise einen neuen AWS Identity and Access Management (IAM-) Benutzer und eine neue Rolle erstellen. Stellen Sie sicher, dass diese Rolle Zugriff auf den Bucket oder die Buckets hat, die Sie mounten möchten. Sie können die IAM-Rolle mit einem EC2 Instance-Profil an Ihre Amazon-Instance übergeben.

Verwenden von Mountpoint für Amazon S3

Verwenden Sie Mountpoint für Amazon S3, um Folgendes zu tun:

  1. Montieren Sie Ihre Amazon S3 S3-Buckets.

    1. Sie können Amazon S3 S3-Buckets mithilfe des mount-s3 Befehls manuell mounten.

      Ersetzen Sie im folgenden Beispiel amzn-s3-demo-bucket durch den Namen Ihres S3-Buckets und ersetzen Sie ~/mnt durch das Verzeichnis auf Ihrem Host, in dem Ihr S3-Bucket gemountet werden soll.

      mkdir ~/mnt
mount-s3 amzn-s3-demo-bucket ~/mnt

      Da der Mountpoint-Client standardmäßig im Hintergrund läuft, bietet Ihnen das ~/mnt Verzeichnis jetzt Zugriff auf die Objekte in Ihrem Amazon S3 S3-Bucket.

    2. Alternativ können Sie das automatische Mounten von Amazon S3 S3-Buckets konfigurieren, wenn eine Instance gestartet oder neu gestartet wird.

      Suchen Sie für bestehende oder laufende EC2 Amazon-Instances die fstab Datei im /etc/fstab Verzeichnis Ihres Linux-Systems. Fügen Sie dann eine Zeile zu Ihrer fstab Datei hinzu. Informationen zum Mounten amzn-s3-demo-bucket mit dem Präfix example-prefix/ zu Ihrem Systempfad /mnt/mountpoint finden Sie im Folgenden. Wenn Sie das folgende Beispiel verwenden möchten, ersetzen Sie die user input placeholders (Platzhalter für Benutzereingaben) durch Ihre eigenen Informationen. 

      s3://amzn-s3-demo-bucket/example-prefix/ /mnt/mountpoint mount-s3 _netdev,nosuid,nodev,nofail,rw 0 0

      In der folgenden Tabelle finden Sie eine Erläuterung der im Beispiel verwendeten Optionen.

      Option Beschreibung
      _netdev

      Gibt an, dass das Dateisystem zum Mounten ein Netzwerk benötigt.
      nosuid

      Gibt an, dass das Dateisystem keine festgelegten Benutzer-ID-Dateien enthalten darf.
      nodev

      Gibt an, dass das Dateisystem keine speziellen Geräte enthalten darf.
      nofail

      Gibt an, dass das Dateisystem trotzdem booten kann, wenn das Dateisystem nicht gemountet werden kann.
      rw

      Gibt an, dass der Einhängepunkt mit Lese- und Schreibberechtigungen erstellt wird. Alternativ können Sie ihn nur ro zum Lesen verwenden.

      Für neue EC2 Amazon-Instances können Sie Benutzerdaten in einer EC2 Amazon-Vorlage ändern und die fstab Datei wie folgt einrichten. Wenn Sie das folgende Beispiel verwenden möchten, ersetzen Sie die user input placeholders (Platzhalter für Benutzereingaben) durch Ihre eigenen Informationen.

      #!/bin/bash -e
MP_RPM=$(mktemp --suffix=.rpm)
curl https://s3.amazonaws.com/mountpoint-s3-release/latest/x86_64/mount-s3.rpm > $MP_RPM
yum install -y $MP_RPM
rm $MP_RPM

MNT_PATH=/mnt/mountpoint
echo "s3://amzn-s3-demo-bucket/ ${MNT_PATH} mount-s3 _netdev,nosuid,nodev,rw,allow-other,nofail" >> /etc/fstab
mkdir $MNT_PATH

systemctl daemon-reload
mount -a

  2. Greifen Sie über Mountpoint auf die Objekte in Ihrem Amazon S3 S3-Bucket zu.

    Nachdem Sie Ihren Bucket lokal bereitgestellt haben, können Sie übliche Linux-Befehle, wie cat oderls, verwenden, um mit Ihren S3-Objekten zu arbeiten. Mountpoint for Amazon S3 interpretiert Schlüssel in Ihrem Amazon S3 S3-Bucket als Dateisystempfade, indem es sie nach dem Schrägstrich () aufteilt. / Wenn Sie zum Beispiel den Objektschlüssel Data/2023-01-01.csv in Ihrem Bucket haben, finden Sie ein Verzeichnis mit dem Namen Data in Ihrem Mountpoint-Dateisystem mit einer Datei namens 2023-01-01.csv darin.

    Mountpoint für Amazon S3 implementiert die vollständige POSIX-Standardspezifikation für Dateisysteme absichtlich nicht. Mountpoint ist für Workloads optimiert, die über eine Dateisystemschnittstelle Lese- und Schreibzugriff mit hohem Durchsatz auf Daten benötigen, die in Amazon S3 gespeichert aber ansonsten nicht auf Dateisystemfunktionen angewiesen sind. Weitere Informationen finden Sie unter Verhalten des Dateisystems von Mountpoint für Amazon S3 auf GitHub. Kunden, die eine umfassendere Dateisystemsemantik benötigen, sollten andere AWS Dateidienste wie Amazon Elastic File System (Amazon EFS) oder Amazon in Betracht ziehen. FSx

  3. Hängen Sie Ihren Amazon S3 S3-Bucket mithilfe des umount Befehls aus. Mit diesem Befehl wird Mounting Ihres S3-Bucket aufgehoben und Mountpoint wird beendet.

    Um den folgenden Beispielbefehl zu verwenden, ersetzen Sie ~/mnt durch das Verzeichnis auf Ihrem Host, in dem Ihr S3-Bucket gemountet ist.

    umount ~/mnt
    Anmerkung

    Wenn Sie eine Liste der Optionen für diesen Befehl erhalten möchten, führen Sie umount --help aus.

Weitere Informationen zur Mountpoint-Konfiguration finden Sie unter Amazon S3 S3-Bucket-Konfiguration und Dateisystemkonfiguration unter. GitHub

Konfigurieren von Caching in Mountpoint

Mountpoint für Amazon S3 unterstützt verschiedene Arten von Daten-Caching. Um wiederholte Leseanfragen zu beschleunigen, können Sie sich für Folgendes entscheiden:

  • Lokaler Cache — Sie können einen lokalen Cache in Ihrem EC2 Amazon-Instance-Speicher oder einem Amazon Elastic Block Store-Volume verwenden. Wenn Sie wiederholt dieselben Daten aus derselben Compute-Instance lesen und Sie in Ihrem lokalen Instance-Speicher ungenutzten Speicherplatz für den wiederholt gelesenen Datensatz haben, sollten Sie sich für einen lokalen Cache entscheiden.

  • Gemeinsamer Cache – Sie können einen gemeinsam genutzten Cache in S3 Express One Zone verwenden. Wenn Sie wiederholt kleine Objekte aus mehreren Recheninstanzen lesen oder wenn Sie die Größe Ihres wiederholt gelesenen Datensatzes nicht kennen und von der Elastizität der Cachegröße profitieren möchten, sollten Sie sich für den Shared Cache entscheiden. Sobald Sie sich dafür entschieden haben, speichert Mountpoint Objekte mit einer Größe von bis zu einem Megabyte in einem Verzeichnis-Bucket, der S3 Express One Zone verwendet.

  • Kombinierter lokaler und gemeinsam genutzter Cache – Wenn Sie ungenutzten Speicherplatz in Ihrem lokalen Cache haben, aber auch einen gemeinsamen Cache für mehrere Instanzen haben möchten, können Sie sich sowohl für einen lokalen Cache als auch für einen gemeinsamen Cache entscheiden.

Das Caching in Mountpoint ist ideal für Anwendungsfälle, in denen Sie wiederholt dieselben Daten lesen, die sich während der mehrfachen Lesevorgänge nicht ändern. Sie können das Caching beispielsweise bei Machine-Learning-Trainingsaufgaben verwenden, bei denen ein Trainingsdatensatz mehrmals gelesen werden muss, um die Modellgenauigkeit zu verbessern.

Weitere Informationen zur Konfiguration von Caching in Mountpoint finden Sie in den folgenden Beispielen.

Lokaler Cache

Sie können sich für einen lokalen Cache mit dem --cache CACHE_PATH-Flag anmelden. Ersetzen Sie im folgenden Beispiel CACHE_PATH durch den Dateipfad zu dem Verzeichnis, in dem Sie Ihre Daten zwischenspeichern möchten. amzn-s3-demo-bucketErsetzen Sie es durch den Namen Ihres Amazon S3 S3-Buckets und ~/mnt ersetzen Sie es durch das Verzeichnis auf Ihrem Host, in dem Ihr S3-Bucket bereitgestellt werden soll.

mkdir ~/mnt
mount-s3 --cache CACHE_PATH amzn-s3-demo-bucket ~/mnt

Wenn Sie sich beim Mounten eines Amazon S3 S3-Buckets für lokales Caching entscheiden, erstellt Mountpoint ein leeres Unterverzeichnis am konfigurierten Cache-Speicherort, falls dieses Unterverzeichnis noch nicht existiert. Wenn Sie einen Bucket bereitstellen und diese Bereitstellung dann aufheben, löscht Mountpoint den Inhalt des lokalen Cache.

Wichtig

Wenn Sie lokales Caching aktivieren, speichert Mountpoint unverschlüsselten Objektinhalt aus Ihrem gemounteten Amazon S3 S3-Bucket an dem bei mount angegebenen lokalen Cache-Speicherort. Um Ihre Daten zu schützen, sollten Sie den Zugriff auf den Datencache-Speicherort mithilfe von Mechanismen zur Zugriffskontrolle für das Dateisystem einschränken.

Gemeinsam genutzter Cache

Wenn Sie wiederholt kleine Objekte (bis zu 1 MB) aus mehreren Compute-Instances lesen oder die Größe des Datensatzes, den Sie wiederholt lesen, häufig die Größe Ihres lokalen Caches überschreitet, sollten Sie einen gemeinsam genutzten Cache in S3 Express One Zone verwenden. Wenn Sie dieselben Daten wiederholt von mehreren Instances lesen, verbessert dies die Latenz, da redundante Anfragen an Ihren bereitgestellten Amazon S3 S3-Bucket vermieden werden.

Sobald Sie sich für den gemeinsam genutzten Cache entschieden haben, zahlen Sie für die Daten, die in Ihrem Directory-Bucket in S3 Express One Zone zwischengespeichert sind. Sie zahlen auch für Anfragen an Ihre Daten im Verzeichnis-Bucket in S3 Express One Zone. Weitere Informationen finden Sie unter Amazon S3 – Preise. Mountpoint löscht niemals zwischengespeicherte Objekte aus Verzeichnis-Buckets. Um Ihre Speicherkosten zu verwalten, sollten Sie eine Lifecycle-Richtlinie für Ihren Verzeichnis-Bucket einrichten, sodass Amazon S3 die zwischengespeicherten Daten in S3 Express One Zone nach einem von Ihnen angegebenen Zeitraum ablaufen lässt. Weitere Informationen finden Sie unter Caching-Konfiguration in Mountpoint für Amazon S3 auf GitHub.

Um sich für das Caching in S3 Express One Zone zu entscheiden, wenn Sie einen Amazon S3 S3-Bucket in Ihre Compute-Instance einbinden, verwenden Sie das --cache-xz Flag und geben Sie einen Verzeichnis-Bucket als Cache-Speicherort an. Ersetzen Sie im folgenden Beispiel denuser input placeholders.

mount-s3 amzn-s3-demo-bucket ~/mnt --cache-xz amzn-s3-demo-bucket--usw2-az1--x-s3

Kombinierter lokaler und gemeinsam genutzter Cache

Wenn Sie über ungenutzten Speicherplatz auf Ihrer Instance verfügen, aber auch einen gemeinsamen Cache für mehrere Instances verwenden möchten, können Sie sich sowohl für einen lokalen Cache als auch für einen gemeinsam genutzten Cache entscheiden. Mit dieser Caching-Konfiguration können Sie redundante Leseanforderungen von derselben Instance an den gemeinsam genutzten Cache im Verzeichnis-Bucket vermeiden, wenn die erforderlichen Daten im lokalen Speicher zwischengespeichert werden. Dies kann die Anforderungskosten senken und die Leistung verbessern.

Um sich beim Mounten eines Amazon S3 S3-Buckets sowohl für einen lokalen Cache als auch für einen gemeinsam genutzten Cache zu entscheiden, geben Sie beide Cache-Speicherorte mit den --cache-xz Flags --cache und an. Um das folgende Beispiel zu verwenden, um sich sowohl für einen lokalen als auch für einen gemeinsamen Cache zu entscheiden, ersetzen Sie dasuser input placeholders.

mount -s3 amzn-s3-demo-bucket ~/mnt --cache /path/to/mountpoint/cache --cache -xz amzn-s3-demo-bucket--usw2-az1--x-s3

Weitere Informationen finden Sie unter Caching-Konfiguration in Mountpoint für Amazon S3 auf GitHub.

Wichtig

Wenn Sie Shared Caching aktivieren, kopiert Mountpoint den Objektinhalt aus Ihrem bereitgestellten Amazon S3 S3-Bucket in den S3-Verzeichnis-Bucket, den Sie als Ihren gemeinsamen Cache-Speicherort angeben, sodass er für jeden Aufrufer mit Zugriff auf den S3-Verzeichnis-Bucket zugänglich ist. Um Ihre zwischengespeicherten Daten zu schützen, sollten Sie die Bewährte Methoden für die Sicherheit in Amazon S3 befolgen, um sicherzustellen, dass für Ihre -Buckets die korrekten Richtlinien gelten und dass sie nicht öffentlich zugänglich sind. Sie sollten einen Verzeichnis-Bucket verwenden, der dem gemeinsam genutzten Caching von Mountpoint gewidmet ist, und nur Mountpoint-Clients Zugriff gewähren.