Mengkonfigurasi dan menggunakan Mountpoint - Amazon Simple Storage Service
Menggunakan Mountpoint untuk Amazon S3Mengonfigurasi caching di Mountpoint

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengkonfigurasi dan menggunakan Mountpoint

Untuk menggunakan Mountpoint untuk Amazon S3, host Anda memerlukan kredensyal yang AWS valid dengan akses ke bucket atau bucket Amazon S3 yang ingin Anda pasang. Untuk berbagai macam cara mengautentikasi, lihat Kredensial AWS Mountpoint pada GitHub.

Misalnya, Anda dapat membuat pengguna dan peran baru AWS Identity and Access Management (IAM) untuk tujuan ini. Pastikan bahwa peran ini memiliki akses ke bucket, atau bucket-bucket yang ingin Anda pasang. Anda dapat meneruskan peran IAM ke EC2 instans Amazon Anda dengan profil instans.

Menggunakan Mountpoint untuk Amazon S3

Gunakan Mountpoint untuk Amazon S3 untuk melakukan hal berikut ini:

  1. Pasang ember Amazon S3 Anda.

    1. Anda dapat memasang bucket Amazon S3 secara manual dengan menggunakan perintah. mount-s3

      Dalam contoh berikut, ganti amzn-s3-demo-bucket dengan nama bucket S3 Anda, dan ganti ~/mnt dengan direktori di host tempat Anda ingin bucket S3 Anda dipasang.

      mkdir ~/mnt
mount-s3 amzn-s3-demo-bucket ~/mnt

      Karena klien Mountpoint berjalan di latar belakang secara default, ~/mnt direktori sekarang memberi Anda akses ke objek di bucket Amazon S3 Anda.

    2. Atau, Anda dapat mengonfigurasi pemasangan otomatis bucket Amazon S3 saat instance dinyalakan atau di-boot ulang.

      Untuk EC2 instans Amazon yang ada atau yang sedang berjalan, cari fstab file di /etc/fstab direktori sistem Linux Anda. Kemudian, tambahkan baris ke fstab file Anda. Misalnya, untuk me-mount amzn-s3-demo-bucket menggunakan awalan example-prefix/ ke jalur sytem Anda/mnt/mountpoint, lihat yang berikut ini. Untuk menggunakan contoh berikut, ganti user input placeholders dengan informasi Anda sendiri. 

      s3://amzn-s3-demo-bucket/example-prefix/ /mnt/mountpoint mount-s3 _netdev,nosuid,nodev,nofail,rw 0 0

      Lihat tabel berikut untuk penjelasan tentang opsi yang digunakan dalam contoh.

      Opsi Deskripsi
      _netdev

      Menentukan bahwa filesystem membutuhkan jaringan untuk mount.
      nosuid

      Menentukan bahwa filesystem tidak dapat berisi file ID pengguna set.
      nodev

      Menentukan bahwa filesystem tidak dapat berisi perangkat khusus.
      nofail

      Menentukan bahwa kegagalan untuk me-mount sistem file harus tetap memungkinkan sistem untuk boot.
      rw

      Menentukan bahwa titik mount dibuat dengan izin baca dan tulis. Atau, gunakan hanya ro untuk membaca.

      Untuk EC2 instans Amazon baru, Anda dapat memodifikasi data pengguna pada EC2 template Amazon dan mengatur fstab file sebagai berikut. Untuk menggunakan contoh berikut, ganti user input placeholders dengan informasi Anda sendiri.

      #!/bin/bash -e
MP_RPM=$(mktemp --suffix=.rpm)
curl https://s3.amazonaws.com/mountpoint-s3-release/latest/x86_64/mount-s3.rpm > $MP_RPM
yum install -y $MP_RPM
rm $MP_RPM

MNT_PATH=/mnt/mountpoint
echo "s3://amzn-s3-demo-bucket/ ${MNT_PATH} mount-s3 _netdev,nosuid,nodev,rw,allow-other,nofail" >> /etc/fstab
mkdir $MNT_PATH

systemctl daemon-reload
mount -a

  2. Akses objek di bucket Amazon S3 Anda melalui Mountpoint.

    Setelah memasang bucket secara lokal, Anda dapat menggunakan perintah umum Linux, seperti cat atau ls, untuk bekerja dengan Objek S3. Mountpoint untuk Amazon S3 menafsirkan kunci di bucket Amazon S3 Anda sebagai jalur sistem file dengan memisahkannya pada karakter garis miring () maju. / Misalnya, jika Anda memiliki kunci objek Data/2023-01-01.csv di dalam bucket Anda, Anda akan memiliki direktori bernama Data dalam sistem file Mountpoint Anda, dengan file bernama 2023-01-01.csv di dalamnya.

    Mountpoint untuk Amazon S3 secara sengaja tidak menerapkan spesifikasi standar POSIX lengkap untuk sistem file. Mountpoint dioptimalkan untuk beban kerja yang memerlukan akses baca dan tulis throughput tinggi ke data yang disimpan di Amazon S3 melalui antarmuka sistem file, namun tidak bergantung pada fitur sistem file. Untuk informasi selengkapnya, lihat perilaku sistem file Mountpoint untuk Amazon S3 pada GitHub. Pelanggan yang membutuhkan semantik sistem file yang lebih kaya harus mempertimbangkan layanan AWS file lainnya, seperti Amazon Elastic File System (Amazon EFS) atau Amazon. FSx

  3. Lepaskan bucket Amazon S3 Anda dengan menggunakan umount perintah. Perintah ini melepaskan bucket S3 Anda, dan keluar dari Mountpoint.

    Untuk menggunakan perintah contoh berikut ini, ganti ~/mnt dengan direktori di host tempat bucket S3 Anda dipasang.

    umount ~/mnt
    catatan

    Untuk mendapatkan daftar opsi untuk perintah ini, jalankan umount --help.

Untuk detail konfigurasi Mountpoint tambahan, lihat konfigurasi bucket Amazon S3, dan konfigurasi sistem file aktif. GitHub

Mengonfigurasi caching di Mountpoint

Mountpoint untuk Amazon S3 mendukung berbagai jenis caching data. Untuk mempercepat permintaan baca berulang, Anda dapat memilih untuk mengikuti yang berikut:

  • Cache lokal — Anda dapat menggunakan cache lokal di penyimpanan EC2 instans Amazon atau volume Amazon Elastic Block Store. Jika Anda berulang kali membaca data yang sama dari instance komputasi yang sama dan jika Anda memiliki ruang yang tidak digunakan di penyimpanan instans lokal untuk kumpulan data yang berulang kali dibaca, Anda harus memilih untuk masuk ke cache lokal.

  • Cache bersama - Anda dapat menggunakan cache bersama di S3 Express One Zone. Jika Anda berulang kali membaca objek kecil dari beberapa instance komputasi atau jika Anda tidak tahu ukuran kumpulan data yang Anda baca berulang kali dan ingin mendapatkan keuntungan dari elastisitas ukuran cache, Anda harus ikut serta dalam cache bersama. Setelah Anda ikut serta, Mountpoint mempertahankan objek dengan ukuran hingga satu megabyte dalam bucket direktori yang menggunakan S3 Express One Zone.

  • Gabungan cache lokal dan bersama - Jika Anda memiliki ruang yang tidak digunakan di cache lokal Anda tetapi juga menginginkan cache bersama di beberapa instance, Anda dapat memilih untuk menggunakan cache lokal dan cache bersama.

Caching di Mountpoint sangat ideal untuk kasus penggunaan di mana Anda berulang kali membaca data yang sama yang tidak berubah selama beberapa kali pembacaan. Misalnya, Anda dapat menggunakan caching dengan tugas pelatihan machine learning yang perlu membaca set data pelatihan beberapa kali untuk meningkatkan akurasi model.

Untuk informasi selengkapnya tentang cara mengkonfigurasi caching di Mountpoint, lihat contoh berikut.

Cache lokal

Anda dapat memilih untuk masuk ke cache lokal dengan --cache CACHE_PATH bendera. Dalam contoh berikut, ganti CACHE_PATH dengan filepath ke direktori tempat Anda ingin menyimpan data Anda. Ganti amzn-s3-demo-bucket dengan nama bucket Amazon S3 Anda, dan ganti ~/mnt dengan direktori di host tempat Anda ingin bucket S3 Anda dipasang.

mkdir ~/mnt
mount-s3 --cache CACHE_PATH amzn-s3-demo-bucket ~/mnt

Saat Anda memilih caching lokal saat memasang bucket Amazon S3, Mountpoint akan membuat sub-direktori kosong di lokasi cache yang dikonfigurasi, jika sub-direktori tersebut belum ada. Saat pertama kali memasang bucket dan saat Anda melepas pemasangan, Mountpoint menghapus konten cache lokal.

penting

Jika Anda mengaktifkan caching lokal, Mountpoint akan mempertahankan konten objek yang tidak terenkripsi dari bucket Amazon S3 yang dipasang di lokasi cache lokal yang disediakan saat pemasangan. Untuk melindungi data Anda, Anda harus membatasi akses ke lokasi cache data dengan menggunakan mekanisme kontrol akses sistem file.

Cache bersama

Jika Anda berulang kali membaca objek kecil (hingga 1 MB) dari beberapa instance komputasi atau ukuran kumpulan data yang berulang kali Anda baca sering melebihi ukuran cache lokal Anda, Anda harus menggunakan cache bersama di S3 Express One Zone. Saat Anda membaca data yang sama berulang kali dari beberapa instans, ini meningkatkan latensi dengan menghindari permintaan berlebihan ke bucket Amazon S3 yang dipasang.

Setelah Anda memilih cache bersama, Anda membayar data yang di-cache di bucket direktori Anda di S3 Express One Zone. Anda juga membayar permintaan yang dibuat terhadap data Anda di bucket direktori di S3 Express One Zone. Untuk informasi selengkapnya, lihat Harga Amazon S3. Mountpoint tidak pernah menghapus objek yang di-cache dari bucket direktori. Untuk mengelola biaya penyimpanan, Anda harus menyiapkan kebijakan Siklus Hidup di bucket direktori agar Amazon S3 kedaluwarsa data cache di S3 Express One Zone setelah jangka waktu yang ditentukan. Untuk informasi selengkapnya, lihat Mountpoint untuk konfigurasi caching Amazon S3 aktif. GitHub

Untuk ikut serta dalam caching di S3 Express One Zone saat Anda memasang bucket Amazon S3 ke instance komputasi, gunakan --cache-xz flag dan tentukan bucket direktori sebagai lokasi cache Anda. Dalam contoh berikut, gantiuser input placeholders.

mount-s3 amzn-s3-demo-bucket ~/mnt --cache-xz amzn-s3-demo-bucket--usw2-az1--x-s3

Gabungan cache lokal dan bersama

Jika Anda memiliki ruang yang tidak digunakan pada instans Anda tetapi Anda juga ingin menggunakan cache bersama di beberapa instance, Anda dapat memilih untuk menggunakan cache lokal dan cache bersama. Dengan konfigurasi caching ini, Anda dapat menghindari permintaan baca yang berlebihan dari instance yang sama ke cache bersama di bucket direktori saat data yang diperlukan di-cache di penyimpanan lokal. Ini dapat mengurangi biaya permintaan dan meningkatkan kinerja.

Untuk memilih cache lokal dan cache bersama saat memasang bucket Amazon S3, Anda menentukan kedua lokasi cache dengan menggunakan --cache dan --cache-xz flag. Untuk menggunakan contoh berikut untuk memilih cache lokal dan bersama, ganti fileuser input placeholders.

mount -s3 amzn-s3-demo-bucket ~/mnt --cache /path/to/mountpoint/cache --cache -xz amzn-s3-demo-bucket--usw2-az1--x-s3

Untuk informasi lebih lanjut, konfigurasi caching Mountpoint untuk Amazon S3 aktif. GitHub

penting

Jika Anda mengaktifkan cache bersama, Mountpoint akan menyalin konten objek dari bucket Amazon S3 yang terpasang ke bucket direktori S3 yang Anda berikan sebagai lokasi cache bersama, sehingga dapat diakses oleh pemanggil mana pun yang memiliki akses ke bucket direktori S3. Untuk melindungi data cache Anda, Anda harus mengikuti Praktik Terbaik Keamanan untuk Amazon S3 untuk memastikan bahwa bucket Anda menggunakan kebijakan yang benar dan tidak dapat diakses publik. Anda harus menggunakan bucket direktori yang didedikasikan untuk cache bersama Mountpoint dan memberikan akses hanya ke klien Mountpoint.