Trabalhar com a hierarquia de vários catálogos do AWS Glue no EMR Sem Servidor

Você pode configurar suas aplicações do EMR Sem Servidor para funcionar com a hierarquia de vários catálogos do AWS Glue. O exemplo a seguir mostra como usar o EMR-S Spark com a hierarquia de vários catálogos do AWS Glue.

Para saber mais sobre a hierarquia de vários catálogos, consulte Trabalhar com uma hierarquia de vários catálogos no Catálogo de dados do AWS Glue com o Spark no Amazon EMR.

Usar o Redshift Managed Storage (RMS) com o Iceberg e o Catálogo de dados do AWS Glue

A seguir, demonstramos como configurar o Spark para integração com um Catálogo de dados do AWS Glue com o Iceberg:

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "s3://amzn-s3-demo-bucket/myscript.py",
            "sparkSubmitParameters": "--conf spark.sql.catalog.nfgac_rms = org.apache.iceberg.spark.SparkCatalog
             --conf spark.sql.catalog.rms.type=glue 
             --conf spark.sql.catalog.rms.glue.id=Glue RMS catalog ID 
             --conf spark.sql.defaultCatalog=rms
             --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions"
        }
    }'

Um exemplo de consulta de uma tabela no catálogo, após a integração:

SELECT * FROM my_rms_schema.my_table

Usar o Redshift Managed Storage (RMS) com a API REST do Iceberg e o Catálogo de dados do AWS Glue

Veja a seguir como configurar o Spark para funcionar com o catálogo Iceberg REST:

aws emr-serverless start-job-run \
--application-id application-id \
--execution-role-arn job-role-arn \
--job-driver '{
"sparkSubmit": {
"entryPoint": "s3://amzn-s3-demo-bucket/myscript.py",
    "sparkSubmitParameters": "
    --conf spark.sql.catalog.rms=org.apache.iceberg.spark.SparkCatalog
    --conf spark.sql.catalog.rms.type=rest
    --conf spark.sql.catalog.rms.warehouse=Glue RMS catalog ID
    --conf spark.sql.catalog.rms.uri=Glue endpoint URI/iceberg
    --conf spark.sql.catalog.rms.rest.sigv4-enabled=true
    --conf spark.sql.catalog.rms.rest.signing-name=glue
    --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions"
    }
  }'

Um exemplo de consulta de uma tabela no catálogo:

SELECT * FROM my_rms_schema.my_table