Trabalhar com uma hierarquia de vários catálogos no Catálogo de dados do AWS Glue com o Spark no Amazon EMR

É possível registrar seu cluster do Amazon EMR para acessar o Catálogo de dados do AWS Glue, que disponibiliza tabelas e outros recursos de catálogo para vários consumidores. AWS O Catálogo de dados do Glue oferece suporte a uma hierarquia de vários catálogos, que unifica todos os seus dados nos data lakes do Amazon S3. Ele também fornece uma API de metastore do Hive e uma API REST de código aberto do Apache Iceberg para acessar os dados. Esses recursos estão disponíveis para o Amazon EMR e outros serviços, como o Amazon Athena e o Amazon Redshift.

Como os recursos do catálogo são organizados

Ao criar recursos no Catálogo de dados do AWS Glue, você pode acessá-los a partir de qualquer mecanismo SQL compatível com a API REST Apache Iceberg ou o metastore do Hive. AWS O Lake Formation gerencia as permissões.

No Catálogo de dados do AWS Glue, os dados são organizados em uma hierarquia lógica de catálogos, bancos de dados e tabelas:

Configurar um catálogo de dados para uso com o Amazon EMR

Para começar, você configura o catálogo para oferecer suporte a ferramentas do Amazon EMR. O Catálogo de dados do AWS Glue fornece compatibilidade com o metastore do Hive e APIs compatíveis com o Iceberg REST.

Configurar o Amazon EMR com um metastore Hive

Para obter informações sobre como configurar isso, consulte Suporte do Catálogo de dados do AWS Glue para trabalhos do Spark no Guia do usuário do AWS Glue. Este tópico descreve como configurar o Catálogo de dados do AWS Glue como um metastore do Hive e disponibilizá-lo como um endpoint. Além disso, há documentação do Amazon EMR disponível que mostra como especificar o Catálogo de dados do AWS Glue como metastore do Spark, em Usar o Catálogo de dados do AWS Glue como metastore do Apache Hive para Spark.

Permissões para acessar recursos no Catálogo de dados do AWS Glue

Esta seção descreve os requisitos da política do IAM para usar ferramentas do Amazon EMR com dados de catálogo. Depois de registrar seu cluster no Catálogo de dados do AWS Glue, você precisará das seguintes permissões para descobrir a criação e as alterações no catálogo de dados criado posteriormente:

Na maioria dos casos, ao atribuir permissões, recomendamos criar um perfil do IAM e atribuir permissões a ele.

Além disso, para consultar os dados do catálogo, você deve definir permissões para o catálogo de dados usando o AWS Lake Formation. Para obter mais informações sobre como definir permissões para catálogos de dados no AWS Lake Formation, consulte Conceder e revogar permissões em recursos do Catálogo de dados.

Depois de criar e configurar seu cluster e definir permissões em seus objetos de catálogo, você pode enviar trabalhos para consultar e processar dados.

Configure o Spark para acessar uma hierarquia de vários catálogos no Catálogo de dados do AWS Glue

Com o EMR 7.5, você pode configurar o Spark para usar a hierarquia de vários catálogos do AWS Glue. Uma hierarquia de vários catálogos permite:

Conectar-se a vários catálogos ao inicializar uma sessão do Spark

Os exemplos a seguir demonstram como usar o shell interativo do Spark, o envio do Spark ou os Cadernos do Amazon EMR para trabalhar com a hierarquia de vários catálogos do AWS Glue.

spark-shell

1. Conecte-se ao nó principal usando SSH. Para obter mais informações, consulte Conectar-se ao nó principal usando SSH no Guia de gerenciamento do Amazon EMR.

2. Digite o seguinte comando para iniciar o shell do Spark. Para usar o shell PySpark, substitua spark-shell por pyspark.

   spark-shell \
       --conf spark.sql.catalog.my_catalog=org.apache.iceberg.spark.SparkCatalog \
       --conf spark.sql.catalog.my_catalog.warehouse=s3://amzn-s3-demo-bucket/prefix/
       --conf spark.sql.catalog.my_catalog.type=glue \
       --conf spark.sql.catalog.my_catalog.glue.id=Glue RMS catalog ID \
       --conf spark.sql.defaultCatalog=my_catalog \
       --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions

spark-submit

1. Conecte-se ao nó principal usando SSH. Para obter mais informações, consulte Conectar-se ao nó principal usando SSH no Guia de gerenciamento do Amazon EMR.

2. Insira o comando a seguir para iniciar a sessão do Spark no Spark.

   spark-submit \
   --conf spark.sql.catalog.my_catalog=org.apache.iceberg.spark.SparkCatalog \
   --conf spark.sql.catalog.my_catalog.warehouse=s3://amzn-s3-demo-bucket1/prefix \
   --conf spark.sql.catalog.my_catalog.type=glue \
   --conf spark.sql.catalog.my_catalog.glue.id=Glue RMS catalog ID \
   --conf spark.sql.defaultCatalog=my_catalog \
   --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions

EMR Studio notebooks

Para inicializar uma sessão do Spark usando Cadernos do EMR Studio, configure a sessão do Spark usando o comando mágico %%configure no Caderno do Amazon EMR, como no exemplo a seguir. Para obter mais informações, consulte Use EMR Notebooks magics no Guia de gerenciamento do Amazon EMR.

%%configure -f{
"conf":{
    "spark.sql.catalog.my_catalog":"org.apache.iceberg.spark.SparkCatalog",
    "spark.sql.catalog.my_catalog.type":"glue",
    "spark.sql.catalog.my_catalog.glue.id":"Glue RMS catalog ID",
    "spark.sql.catalog.my_catalog.warehouse":"s3://amzn-s3-demo-bucket1/prefix/",
    "spark.sql.defaultCatalog", "my_catalog",
    "spark.sql.extensions":"org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions"
    }
}

CLI

Para inicializar uma sessão do Spark usando a CLI, execute o exemplo a seguir. Para obter mais informações sobre como especificar uma classificação de configuração usando a AWS CLI e a API do Amazon EMR, consulte Configurar aplicações.

[
  {
    "Classification": "spark-defaults",
    "Properties": {
      "spark.sql.catalog.my_catalog":"org.apache.iceberg.spark.SparkCatalog",
      "spark.sql.catalog.my_catalog.type":"glue",
      "spark.sql.catalog.my_catalog.glue.id":"Glue RMS catalog ID",
      "spark.sql.catalog.my_catalog.warehouse":"s3://amzn-s3-demo-bucket1/prefix/",
      "spark.sql.defaultCatalog", "my_catalog",
      "spark.sql.extensions":"org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions"
    }
  }
]

Inicialize uma sessão do Spark no Redshift Managed Storage com o Catálogo de dados do AWS Glue

O exemplo de comando a seguir inicializa uma sessão do Spark com o Catálogo de dados do AWS Glue.

spark-sql \
  --conf spark.sql.catalog.rms=org.apache.iceberg.spark.SparkCatalog \
  --conf spark.sql.catalog.rms.type=glue \
  --conf spark.sql.catalog.rms.glue.id=Glue RMS catalog ID \
  --conf spark.sql.defaultCatalog=rms
  --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions

O exemplo a seguir inicializa uma sessão do Spark usando a API REST Iceberg e o Redshift Managed Storage com o Catálogo de dados AWS do Glue.

spark-sql \
  --conf spark.sql.catalog.rms=org.apache.iceberg.spark.SparkCatalog \
  --conf spark.sql.catalog.rms.type=rest \
  --conf spark.sql.catalog.rms.warehouse=glue RMS catalog ID \
  --conf spark.sql.catalog.rms.uri=Glue endpoint URI/iceberg \
  --conf spark.sql.catalog.rms.rest.sigv4-enabled=true \
  --conf spark.sql.catalog.rms.rest.signing-name=glue \
  --conf spark.sql.defaultCatalog=rms \
  --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions

Para obter mais informações sobre como usar uma hierarquia de vários catálogos do AWS Glue com o Spark Iceberg, consulte Usar um cluster Iceberg com o Spark.

Considerações e limitações de uma configuração de vários catálogos