Ler objetos restaurados - Amazon EMR
ExemplosConsiderações

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Ler objetos restaurados

Com o Amazon EMR versão 7.2.0 e superior, você pode ler objetos Glacier restaurados na localização do S3 da tabela com o protocolo S3A. Os mecanismos das versões anteriores não fazem distinção entre arquivos Glacier e Glacier Deep Archive, o que significa que você obteria um AmazonS3Exception se tentasse acessar um arquivo Glacier em andamento com S3A. Essa operação de leitura ignora os arquivos arquivados do Glacier se eles ainda estiverem sendo restaurados. Para habilitar esse comportamento, use a configuração fs.s3a.glacier.read.restored.objects. Essa configuração pode ter três valores:

  • READ_ALL: esse valor indica que o Amazon EMR não deve contabilizar as classes de armazenamento recuperadas do Amazon S3. Esse é o comportamento padrão.

  • SKIP_ALL_GLACIER: esse valor indica que o Amazon EMR deve ignorar qualquer objeto do S3 que esteja marcado com a classe de armazenamento Glacier e recuperar todos os outros objetos. Esse é o comportamento padrão do Amazon EMR em relação aos objetos Glacier.

  • READ_RESTORED_GLACIER_OBJECTS: esse valor indica que o Amazon EMR deve verificar o status restaurado do objeto Glacier. Se o Amazon EMR puder restaurar o objeto, você poderá lê-lo como um objeto S3 normal. Caso contrário, o Amazon EMR ignorará o objeto do Amazon Glacier

Exemplos

Spark

Para ler objetos restaurados ao usar o Spark, use a seguinte configuração:

--conf spark.hadoop.fs.s3a.glacier.read.restored.objects=<value>

Se você usa spark-sql, utilize a seguinte configuração:

spark-sql --conf spark.hadoop.fs.s3a.glacier.read.restored.objects=<value>

Flink

Se você usa o Flink, pode definir a configuração no arquivo flink-conf.yaml

fs.s3a.glacier.read.restored.objects: <value>

Você também pode definir a classificação flink-conf:

[
	{
		"Classification": "flink-conf",
		"Properties": {
		"fs.s3a.glacier.read.restored.objects":"<value>"
		}
	}
]

Hive

Se você usa o Hive, defina a configuração no arquivo hive-site.xml.

<property>
	<name>fs.s3a.glacier.read.restored.objects</name>
	<value><value></value>
</property>

Você também pode usar a CLI do Hive para definir a propriedade --hiveconf:

hive --hiveconf fs.s3a.glacier.read.restored.objects=<value>

Considerações

Ao ler objetos restaurados do Amazon Glacier, observe as seguintes considerações:

  • Você só pode ler objetos restaurados se usar o esquema S3A ou o S3AFileSystem para acessar os dados.

  • Quando você lê um objeto Glacier restaurado, o Amazon EMR não restaura o objeto em si. Para fazer isso, você deve usar o AWS CLI ou o AWS SDK.