Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Unggah data ke Amazon S3 Express One Zone
## Ikhtisar
Dengan Amazon EMR 6.15.0 dan yang lebih tinggi, Anda dapat menggunakan Amazon EMR dengan Apache Spark bersama dengan kelas penyimpanan Amazon [S3 Express One Zone untuk meningkatkan kinerja pada pekerjaan Spark](https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3-express-one-zone.html) Anda. Amazon EMR merilis 7.2.0 dan yang lebih tinggi juga mendukung HBase, Flink, dan Hive, sehingga Anda juga bisa mendapatkan keuntungan dari S3 Express One Zone jika Anda menggunakan aplikasi ini. *S3 Express One Zone* adalah kelas penyimpanan S3 untuk aplikasi yang sering mengakses data dengan ratusan ribu permintaan per detik. Pada saat rilis, S3 Express One Zone memberikan latensi terendah dan penyimpanan objek cloud kinerja tertinggi di Amazon S3.
## Prasyarat
+ **Izin S3 Express One Zone** — Ketika S3 Express One Zone awalnya melakukan tindakan seperti`GET`,`LIST`, atau `PUT` pada objek S3, kelas penyimpanan memanggil `CreateSession` atas nama Anda. Kebijakan IAM Anda harus mengizinkan `s3express:CreateSession` izin agar S3A konektor dapat menjalankan API. `CreateSession` Untuk contoh kebijakan dengan izin ini, lihat[Memulai dengan Amazon S3 Express One Zone](#emr-express-one-zone-start).
+ **S3Akonektor** — Untuk mengonfigurasi cluster Spark Anda untuk mengakses data dari bucket Amazon S3 yang menggunakan kelas penyimpanan S3 Express One Zone, Anda harus menggunakan konektor Apache Hadoop. S3A Untuk menggunakan konektor, pastikan semua S3 URIs menggunakan `s3a` skema. Jika tidak, Anda dapat mengubah implementasi sistem file yang Anda gunakan untuk `s3` dan skema. `s3n`
Untuk mengubah `s3` skema, tentukan konfigurasi cluster berikut:
```
[
{
"Classification": "core-site",
"Properties": {
"fs.s3.impl": "org.apache.hadoop.fs.s3a.S3AFileSystem",
"fs.AbstractFileSystem.s3.impl": "org.apache.hadoop.fs.s3a.S3A"
}
}
]
```
Untuk mengubah `s3n` skema, tentukan konfigurasi cluster berikut:
```
[
{
"Classification": "core-site",
"Properties": {
"fs.s3n.impl": "org.apache.hadoop.fs.s3a.S3AFileSystem",
"fs.AbstractFileSystem.s3n.impl": "org.apache.hadoop.fs.s3a.S3A"
}
}
]
```
## Memulai dengan Amazon S3 Express One Zone
**Topics**
+ [Buat kebijakan izin](#emr-express-one-zone-permissions)
+ [Buat dan konfigurasikan cluster Anda](#emr-express-one-zone-create)
+ [Ikhtisar konfigurasi](#emr-express-one-zone-configs)
### Buat kebijakan izin
Sebelum Anda dapat membuat klaster yang menggunakan Amazon S3 Express One Zone, Anda harus membuat kebijakan IAM untuk melampirkan ke profil instans Amazon EC2 untuk cluster. Kebijakan harus memiliki izin untuk mengakses kelas penyimpanan S3 Express One Zone. Contoh kebijakan berikut menunjukkan cara memberikan izin yang diperlukan. Setelah membuat kebijakan, lampirkan kebijakan ke peran profil instance yang Anda gunakan untuk membuat klaster EMR, seperti yang dijelaskan di bagian ini[Buat dan konfigurasikan cluster Anda](#emr-express-one-zone-create).
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Resource": [
"arn:aws:s3express:*:123456789012:bucket/example-s3-bucket"
],
"Action": [
"s3express:CreateSession"
],
"Sid": "AllowS3EXPRESSCreatesession"
}
]
}
```
------
### Buat dan konfigurasikan cluster Anda
Selanjutnya, buat cluster yang menjalankan Spark,, Flink HBase, atau Hive dengan S3 Express One Zone. Langkah-langkah berikut menjelaskan ikhtisar tingkat tinggi untuk membuat cluster di Konsol Manajemen AWS:
1. Arahkan ke konsol EMR Amazon dan pilih **Clusters dari sidebar**. Kemudian pilih **Buat cluster**.
1. Jika Anda menggunakan Spark, pilih `emr-6.15.0` rilis Amazon EMR atau yang lebih tinggi. Jika Anda menggunakan HBase, Flink, atau Hive, pilih `emr-7.2.0` atau lebih tinggi.
1. Pilih aplikasi yang ingin Anda sertakan di cluster Anda, seperti Spark, HBase, atau Flink.
1. Untuk mengaktifkan Amazon S3 Express One Zone, masukkan konfigurasi yang mirip dengan contoh berikut di bagian **Pengaturan perangkat lunak**. Konfigurasi dan nilai yang direkomendasikan dijelaskan di [Ikhtisar konfigurasi](#emr-express-one-zone-configs) bagian yang mengikuti prosedur ini.
```
[
{
"Classification": "core-site",
"Properties": {
"fs.s3a.aws.credentials.provider": "software.amazon.awssdk.auth.credentials.InstanceProfileCredentialsProvider",
"fs.s3a.change.detection.mode": "none",
"fs.s3a.endpoint.region": "aa-example-1",
"fs.s3a.select.enabled": "false"
}
},
{
"Classification": "spark-defaults",
"Properties": {
"spark.sql.sources.fastS3PartitionDiscovery.enabled": "false"
}
}
]
```
1. Di bagian **profil instans EC2 untuk Amazon EMR**, pilih untuk menggunakan peran yang ada, dan gunakan peran dengan kebijakan terlampir yang Anda buat di bagian di [Buat kebijakan izin](#emr-express-one-zone-permissions) atas.
1. Konfigurasikan setelan klaster lainnya yang sesuai untuk aplikasi Anda, lalu pilih **Buat klaster**.
### Ikhtisar konfigurasi
Tabel berikut menjelaskan konfigurasi dan nilai yang disarankan yang harus Anda tentukan saat menyiapkan klaster yang menggunakan S3 Express One Zone dengan Amazon EMR, seperti yang dijelaskan di bagian. [Buat dan konfigurasikan cluster Anda](#emr-express-one-zone-create)
**S3Akonfigurasi**
| Parameter | Nilai default | Nilai yang disarankan | Penjelasan |
| --- | --- | --- | --- |
| `fs.s3a.aws.credentials.provider` | Jika tidak ditentukan, gunakan `AWSCredentialProviderList` dalam urutan sebagai berikut:`TemporaryAWSCredentialsProvider`,`SimpleAWSCredentialsProvider`,`EnvironmentVariableCredentialsProvider`,`IAMInstanceCredentialsProvider`. | software.amazon.awssdk.auth.credentials.InstanceProfileCredentialsProvider
| Peran profil instans EMR Amazon harus memiliki kebijakan yang memungkinkan S3A sistem file untuk memanggil. `s3express:CreateSession` Penyedia crendential lainnya juga berfungsi jika mereka memiliki izin S3 Express One Zone. |
| `fs.s3a.endpoint.region` | null | Di Wilayah AWS mana Anda membuat ember. | Logika resolusi wilayah tidak berfungsi dengan kelas penyimpanan S3 Express One Zone. |
| `fs.s3a.select.enabled` | `true` | `false` | Amazon S3 tidak `select` didukung dengan kelas penyimpanan S3 Express One Zone. |
| `fs.s3a.change.detection.mode` | `server` | none | Ubah deteksi dengan S3A bekerja dengan memeriksa MD5 berbasis`etags`. Kelas penyimpanan S3 Express One Zone tidak mendukung MD5`checksums`. |
**Sparkkonfigurasi**
| Parameter | Nilai default | Nilai yang disarankan | Penjelasan |
| --- | --- | --- | --- |
| `spark.sql.sources.fastS3PartitionDiscovery.enabled` | `true` | false | Pengoptimalan internal menggunakan parameter API S3 yang tidak didukung oleh kelas penyimpanan S3 Express One Zone. |
**Hivekonfigurasi**
| Parameter | Nilai default | Nilai yang disarankan | Penjelasan |
| --- | --- | --- | --- |
| `hive.exec.fast.s3.partition.discovery.enabled` | `true` | false | Pengoptimalan internal menggunakan parameter API S3 yang tidak didukung oleh kelas penyimpanan S3 Express One Zone. |
## Pertimbangan-pertimbangan
Pertimbangkan hal berikut saat Anda mengintegrasikan Apache Spark di Amazon EMR dengan kelas penyimpanan S3 Express One Zone:
+ Konektor S3A diperlukan untuk menggunakan S3 Express One Zone dengan Amazon EMR. Hanya S3A yang memiliki fitur dan kelas penyimpanan yang diperlukan untuk berinteraksi dengan S3 Express One Zone. Untuk langkah-langkah untuk mengatur konektor, lihat[Prasyarat](#emr-express-one-zone-prereqs).
+ Kelas penyimpanan Amazon S3 Express One Zone mendukung SSE-S3 dan SSE-KMS enkripsi. Untuk informasi selengkapnya, lihat [Enkripsi sisi server dengan Amazon S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3-express-data-protection.html#s3-express-ecnryption).
+ Kelas penyimpanan Amazon S3 Express One Zone tidak mendukung penulisan dengan S3A. `FileOutputCommitter` Menulis dengan S3A `FileOutputCommitter` pada bucket S3 Express One Zone menghasilkan kesalahan:. *InvalidStorageClass: The storage class you specified is not valid*
+ Amazon S3 Express One Zone didukung dengan Amazon EMR rilis 6.15.0 dan lebih tinggi pada EMR di EC2. Selain itu, ini didukung pada Amazon EMR rilis 7.2.0 dan lebih tinggi di Amazon EMR di EKS dan di Amazon EMR Tanpa Server.