View a markdown version of this page

Mengkonfigurasi dan menggunakan Mountpoint - Amazon Simple Storage Service
Menggunakan Mountpoint untuk Amazon S3Mengonfigurasi caching di Mountpoint

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengkonfigurasi dan menggunakan Mountpoint

Untuk menggunakan Mountpoint untuk Amazon S3, host Anda memerlukan AWS kredentif yang valid dengan akses ke bucket atau bucket Amazon S3 yang ingin Anda pasang. Untuk berbagai macam cara mengautentikasi, lihat Kredensial AWS Mountpoint pada GitHub.

Misalnya, Anda dapat membuat pengguna dan peran AWS Identity and Access Management (IAM) baru untuk tujuan ini. Pastikan bahwa peran ini memiliki akses ke bucket, atau bucket-bucket yang ingin Anda pasang. Anda dapat meneruskan peran IAM ke instans Amazon EC2 Anda dengan profil instans.

Menggunakan Mountpoint untuk Amazon S3

Gunakan Mountpoint untuk Amazon S3 untuk melakukan hal berikut ini:

  1. Pasang bucket Amazon S3 Anda.

    1. Anda dapat memasang bucket Amazon S3 secara manual dengan menggunakan mount-s3 perintah.

      Dalam contoh berikut, ganti amzn-s3-demo-bucket dengan nama bucket S3 Anda, dan ganti ~/mnt dengan direktori di host tempat Anda ingin bucket S3 Anda dipasang.

      mkdir ~/mnt
mount-s3 amzn-s3-demo-bucket ~/mnt

      Karena klien Mountpoint berjalan di latar belakang secara default, ~/mnt direktori sekarang memberi Anda akses ke objek di bucket Amazon S3 Anda.

    2. Atau, sejak Mountpoint v1.18, Anda dapat mengonfigurasi pemasangan bucket Amazon S3 secara otomatis saat instance dijalankan atau di-boot ulang.

      Untuk instans Amazon EC2 yang sudah ada atau sedang berjalan, temukan fstab file di /etc/fstab direktori sistem Linux Anda. Kemudian, tambahkan baris ke fstab file Anda. Misalnya, untuk memasang amzn-s3-demo-bucket menggunakan awalan example-prefix/ ke jalur sytem Anda/mnt/mountpoint, lihat yang berikut ini. Untuk menggunakan contoh berikut, ganti user input placeholders dengan informasi Anda sendiri. 

      s3://amzn-s3-demo-bucket/example-prefix/ /mnt/mountpoint mount-s3 _netdev,nosuid,nodev,nofail,rw 0 0

      Lihat tabel berikut untuk penjelasan opsi yang digunakan dalam contoh.

      Opsi Deskripsi
      _netdev

      Menentukan bahwa sistem file memerlukan jaringan untuk dipasang.
      nosuid

      Menentukan bahwa sistem file tidak dapat berisi file ID pengguna yang ditetapkan.
      nodev

      Menentukan bahwa sistem file tidak dapat berisi perangkat khusus.
      nofail

      Menentukan bahwa kegagalan untuk memasang sistem file harus tetap memungkinkan sistem untuk melakukan booting.
      rw

      Menentukan bahwa titik pemasangan dibuat dengan izin baca dan tulis. Atau, gunakan hanya ro untuk baca.

      Untuk instans Amazon EC2 baru, Anda dapat memodifikasi data pengguna pada template Amazon EC2 dan mengatur fstab file sebagai berikut. Untuk menggunakan contoh berikut, ganti user input placeholders dengan informasi Anda sendiri.

      #!/bin/bash -e
MP_RPM=$(mktemp --suffix=.rpm)
curl https://s3.amazonaws.com/mountpoint-s3-release/latest/x86_64/mount-s3.rpm > $MP_RPM
yum install -y $MP_RPM
rm $MP_RPM

MNT_PATH=/mnt/mountpoint
echo "s3://amzn-s3-demo-bucket/ ${MNT_PATH} mount-s3 _netdev,nosuid,nodev,rw,allow-other,nofail" >> /etc/fstab
mkdir $MNT_PATH

systemctl daemon-reload
mount -a

  2. Akses objek di bucket Amazon S3 Anda melalui Mountpoint.

    Setelah memasang bucket secara lokal, Anda dapat menggunakan perintah umum Linux, seperti cat atau ls, untuk bekerja dengan Objek S3. Mountpoint untuk Amazon S3 menafsirkan kunci di bucket Amazon S3 Anda sebagai jalur sistem file dengan memisahkannya pada karakter garis miring () maju. / Misalnya, jika Anda memiliki kunci objek Data/2023-01-01.csv di dalam bucket Anda, Anda akan memiliki direktori bernama Data dalam sistem file Mountpoint Anda, dengan file bernama 2023-01-01.csv di dalamnya.

    Mountpoint untuk Amazon S3 secara sengaja tidak menerapkan spesifikasi standar POSIX lengkap untuk sistem file. Mountpoint dioptimalkan untuk beban kerja yang memerlukan akses baca dan tulis throughput tinggi ke data yang disimpan di Amazon S3 melalui antarmuka sistem file, namun tidak bergantung pada fitur sistem file. Untuk informasi selengkapnya, lihat perilaku sistem file Mountpoint untuk Amazon S3 pada GitHub. Pelanggan yang membutuhkan semantik sistem file yang lebih kaya harus mempertimbangkan layanan AWS file lainnya, seperti Amazon Elastic File System (Amazon EFS) atau Amazon FSx.

  3. Lepaskan bucket Amazon S3 Anda dengan menggunakan umount perintah. Perintah ini melepaskan bucket S3 Anda, dan keluar dari Mountpoint.

    Untuk menggunakan perintah contoh berikut ini, ganti ~/mnt dengan direktori di host tempat bucket S3 Anda dipasang.

    umount ~/mnt
    catatan

    Untuk mendapatkan daftar opsi untuk perintah ini, jalankan umount --help.

Untuk detail konfigurasi Mountpoint tambahan, lihat Konfigurasi bucket Amazon S3, dan konfigurasi sistem file aktif. GitHub

Mengonfigurasi caching di Mountpoint

Mountpoint untuk Amazon S3 mendukung berbagai jenis caching data. Untuk mempercepat permintaan baca berulang, Anda dapat memilih untuk melakukan hal berikut:

  • Cache lokal — Anda dapat menggunakan cache lokal di penyimpanan instans Amazon EC2 atau volume Amazon Elastic Block Store. Jika Anda berulang kali membaca data yang sama dari instance komputasi yang sama dan jika Anda memiliki ruang yang tidak terpakai di penyimpanan instans lokal untuk kumpulan data yang dibaca berulang kali, Anda harus memilih masuk ke cache lokal.

  • Cache bersama — Anda dapat menggunakan cache bersama di S3 Express One Zone. Jika Anda berulang kali membaca objek kecil dari beberapa instance komputasi atau jika Anda tidak mengetahui ukuran dataset yang dibaca berulang kali dan ingin memanfaatkan elastisitas ukuran cache, Anda harus memilih untuk masuk ke cache bersama. Setelah Anda ikut serta, Mountpoint mempertahankan objek dengan ukuran hingga satu megabyte dalam bucket direktori yang menggunakan S3 Express One Zone.

  • Gabungan cache lokal dan bersama - Jika Anda memiliki ruang yang tidak digunakan di cache lokal Anda tetapi juga menginginkan cache bersama di beberapa instance, Anda dapat memilih untuk masuk ke cache lokal dan cache bersama.

Caching di Mountpoint sangat ideal untuk kasus penggunaan di mana Anda berulang kali membaca data yang sama yang tidak berubah selama beberapa kali pembacaan. Misalnya, Anda dapat menggunakan caching dengan tugas pelatihan machine learning yang perlu membaca set data pelatihan beberapa kali untuk meningkatkan akurasi model.

Untuk informasi selengkapnya tentang cara mengkonfigurasi caching di Mountpoint, lihat contoh berikut.

Cache lokal

Anda dapat memilih masuk ke cache lokal dengan ben --cache CACHE_PATH dera. Dalam contoh berikut, ganti CACHE_PATH dengan filepath ke direktori tempat Anda ingin menyimpan data Anda. Ganti amzn-s3-demo-bucket dengan nama bucket Amazon S3 Anda, dan ganti ~/mnt dengan direktori di host tempat Anda ingin bucket S3 Anda dipasang.

mkdir ~/mnt
mount-s3 --cache CACHE_PATH amzn-s3-demo-bucket ~/mnt

Saat Anda memilih untuk melakukan caching lokal saat memasang bucket Amazon S3, Mountpoint membuat sub-direktori kosong di lokasi cache yang dikonfigurasi, jika sub-direktori tersebut belum ada. Saat pertama kali memasang bucket dan saat Anda melepas, Mountpoint menghapus isi cache lokal.

penting

Jika Anda mengaktifkan cache lokal, Mountpoint akan mempertahankan konten objek yang tidak terenkripsi dari bucket Amazon S3 yang terpasang di lokasi cache lokal yang disediakan saat pemasangan. Untuk melindungi data Anda, Anda harus membatasi akses ke lokasi cache data dengan menggunakan mekanisme kontrol akses sistem file.

Cache bersama

Jika Anda berulang kali membaca objek kecil (hingga 1 MB) dari beberapa instans komputasi atau ukuran dataset yang berulang kali Anda baca sering melebihi ukuran cache lokal Anda, Anda harus menggunakan cache bersama di S3 Express One Zone. Bila Anda membaca data yang sama berulang kali dari beberapa instans, ini meningkatkan latensi dengan menghindari permintaan berlebihan ke bucket Amazon S3 yang terpasang.

Setelah Anda memilih untuk menggunakan cache bersama, Anda membayar data yang di-cache di bucket direktori Anda di S3 Express One Zone. Anda juga membayar permintaan yang dibuat terhadap data Anda di bucket direktori di S3 Express One Zone. Untuk informasi selengkapnya, lihat Harga Amazon S3. Mountpoint tidak pernah menghapus objek yang di-cache dari bucket direktori. Untuk mengelola biaya penyimpanan, Anda harus menyiapkan kebijakan Sik lus Hidup pada bucket direktori sehingga Amazon S3 mengakhiri data cache di S3 Express One Zone setelah jangka waktu yang Anda tentukan. Untuk informasi selengkapnya, lihat Konfigur asi caching Mountpoint untuk Amazon S3 pada. GitHub

Untuk ikut serta dalam caching di S3 Express One Zone saat Anda memasang bucket Amazon S3 ke instans komputasi, gunakan tanda dan --cache-xz tentukan bucket direktori sebagai lokasi cache Anda. Dalam contoh berikut, gantiuser input placeholders.

mount-s3 amzn-s3-demo-bucket ~/mnt --cache-xz amzn-s3-demo-bucket--usw2-az1--x-s3

Gabungan cache lokal dan bersama

Jika Anda memiliki ruang yang tidak digunakan pada instans tetapi Anda juga ingin menggunakan cache bersama di beberapa instans, Anda dapat memilih untuk menggunakan cache lokal dan cache bersama. Dengan konfigurasi caching ini, Anda dapat menghindari permintaan baca berlebihan dari instance yang sama ke cache bersama di bucket direktori ketika data yang diperlukan di-cache di penyimpanan lokal. Ini dapat mengurangi biaya permintaan dan meningkatkan kinerja.

Untuk memilih cache lokal dan cache bersama saat memasang bucket Amazon S3, Anda menentukan kedua lokasi cache dengan menggunakan tanda --cache --cache-xz dan. Untuk menggunakan contoh berikut untuk memilih cache lokal dan bersama, gantiuser input placeholders.

mount -s3 amzn-s3-demo-bucket ~/mnt --cache /path/to/mountpoint/cache --cache -xz amzn-s3-demo-bucket--usw2-az1--x-s3

Untuk informasi selengkapnya, konfigurasi caching Mountpoint untuk Amazon S3 aktif. GitHub

penting

Jika Anda mengaktifkan caching bersama, Mountpoint akan menyalin konten objek dari bucket Amazon S3 yang terpasang ke bucket direktori S3 yang Anda berikan sebagai lokasi cache bersama, sehingga dapat diakses oleh pemanggil mana pun yang memiliki akses ke bucket direktori S3. Untuk melindungi data cache Anda, Anda harus mengikuti Praktik Terbaik Keamanan untuk Amazon S3 untuk memastikan bahwa bucket Anda menggunakan kebijakan yang benar dan tidak dapat diakses publik. Anda harus menggunakan bucket direktori yang didedikasikan untuk caching bersama Mountpoint dan memberikan akses hanya ke klien Mountpoint.