Leggi gli oggetti ripristinati - Amazon EMR
EsempiConsiderazioni

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Leggi gli oggetti ripristinati

Con Amazon EMR versione 7.2.0 e successive, puoi leggere gli oggetti Glacier ripristinati dalla posizione S3 della tabella con il protocollo. S3A I motori delle versioni precedenti non fanno distinzione tra i file Glacier e Glacier Deep Archive, il che significa che otterresti un file AmazonS3Exception se provassi ad accedere a un file Glacier in corso con. S3A Questa operazione di lettura ignora i file Glacier archiviati se sono ancora in corso di ripristino. Per abilitare questo comportamento, usa l'impostazione. fs.s3a.glacier.read.restored.objects Questa impostazione può contenere tre valori:

  • READ_ALL: questo valore indica che Amazon EMR non deve tenere conto delle classi di storage recuperate da Amazon S3. Questo è il comportamento che segue di default.

  • SKIP_ALL_GLACIER: questo valore indica che Amazon EMR deve ignorare tutti gli oggetti S3 etichettati con la classe di storage Glacier e recuperare tutti gli altri oggetti. Questo è il comportamento predefinito per Amazon Athena rispetto agli oggetti Glacier.

  • READ_RESTORED_GLACIER_OBJECTS: questo valore indica che Amazon EMR deve verificare lo stato ripristinato dell'oggetto Glacier. Se Amazon EMR è in grado di ripristinare l'oggetto, puoi leggerlo come un normale oggetto S3. Altrimenti, Amazon EMR ignora l'oggetto di S3 Glacier

Esempi

Spark

Per leggere gli oggetti ripristinati quando usi Spark, usa la seguente configurazione:

--conf spark.hadoop.fs.s3a.glacier.read.restored.objects=<value>

Se usi spark-sql, usa invece la seguente configurazione;

spark-sql --conf spark.hadoop.fs.s3a.glacier.read.restored.objects=<value>

Flink

Se usi Flink, puoi impostare la configurazione nel file flink-conf.yaml

fs.s3a.glacier.read.restored.objects: <value>

Puoi anche impostare la flink-conf classificazione:

[
	{
		"Classification": "flink-conf",
		"Properties": {
		"fs.s3a.glacier.read.restored.objects":"<value>"
		}
	}
]

Hive

Se usi Hive, imposta la configurazione nel hive-site.xml file.

<property>
	<name>fs.s3a.glacier.read.restored.objects</name>
	<value><value></value>
</property>

Puoi anche usare la CLI Hive per impostare la proprietà: --hiveconf

hive --hiveconf fs.s3a.glacier.read.restored.objects=<value>

Considerazioni

Quando leggi oggetti ripristinati da S3 Glacier, tieni presente le seguenti considerazioni:

  • È possibile leggere gli oggetti ripristinati solo se si utilizza S3A lo schema o il S3AFileSystem per accedere ai dati.

  • Quando leggi un oggetto Glacier ripristinato, Amazon EMR non ripristina l'oggetto stesso. A tale scopo, è necessario utilizzare AWS CLI o l'SDK. AWS