Baca objek yang dipulihkan - Amazon EMR
ContohPertimbangan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Baca objek yang dipulihkan

Dengan Amazon EMR rilis 7.2.0 dan yang lebih tinggi, Anda dapat membaca objek Glacier yang dipulihkan dari lokasi S3 tabel dengan protokol. S3A Mesin dalam rilis sebelumnya tidak membedakan antara file Glacier dan Glacier Deep Archive, yang berarti Anda akan mendapatkan file AmazonS3Exception jika Anda mencoba mengakses file Glacier yang sedang berlangsung. S3A Operasi baca ini mengabaikan file Glacier yang diarsipkan jika masih dalam proses dipulihkan. Untuk mengaktifkan perilaku ini, gunakan pengaturanfs.s3a.glacier.read.restored.objects. Pengaturan ini dapat berupa tiga nilai:

  • READ_ALL — nilai ini menunjukkan bahwa Amazon EMR seharusnya tidak memperhitungkan kelas penyimpanan yang diambil dari Amazon S3. Ini adalah perilaku default.

  • SKIP_ALL_GLACIER — nilai ini menunjukkan bahwa Amazon EMR harus mengabaikan objek S3 yang ditandai dengan kelas penyimpanan Glacier dan mengambil semua objek lainnya. Ini adalah perilaku default untuk Amazon EMR sehubungan dengan objek Glacier.

  • READ_RESTORED_GLACIER_OBJECTS — nilai ini menunjukkan bahwa Amazon EMR harus memeriksa status objek Glacier yang dipulihkan. Jika Amazon EMR dapat mengembalikan objek, Anda dapat membacanya seperti objek S3 normal. Jika tidak, Amazon EMR mengabaikan objek dari Amazon Glacier

Contoh

Percikan

Untuk membaca objek yang dipulihkan saat Anda menggunakan Spark, gunakan konfigurasi berikut:

--conf spark.hadoop.fs.s3a.glacier.read.restored.objects=<value>

Jika Anda menggunakan spark-sql, gunakan konfigurasi berikut sebagai gantinya;

spark-sql --conf spark.hadoop.fs.s3a.glacier.read.restored.objects=<value>

Flink

Jika Anda menggunakan Flink, Anda dapat mengatur konfigurasi dalam file flink-conf.yaml

fs.s3a.glacier.read.restored.objects: <value>

Anda juga dapat mengatur flink-conf klasifikasi:

[
	{
		"Classification": "flink-conf",
		"Properties": {
		"fs.s3a.glacier.read.restored.objects":"<value>"
		}
	}
]

Sarang

Jika Anda menggunakan Hive, atur konfigurasi dalam hive-site.xml file.

<property>
	<name>fs.s3a.glacier.read.restored.objects</name>
	<value><value></value>
</property>

Anda juga dapat menggunakan CLI Hive untuk mengatur properti: --hiveconf

hive --hiveconf fs.s3a.glacier.read.restored.objects=<value>

Pertimbangan

Saat Anda membaca objek yang dipulihkan dari Amazon Glacier, perhatikan pertimbangan berikut:

  • Anda hanya dapat membaca objek dipulihkan jika Anda menggunakan S3A skema atau S3AFileSystem untuk mengakses data.

  • Saat Anda membaca objek Glacier yang dipulihkan, Amazon EMR tidak mengembalikan objek itu sendiri. Untuk melakukannya, Anda harus menggunakan AWS CLI atau AWS SDK.