As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Amazon EMR nas versões do EKS 7.11.0
Esta página descreve a funcionalidade nova e atualizada do Amazon EMR que é específica para a implantação do Amazon EMR no EKS. Para obter detalhes sobre o Amazon EMR em execução no Amazon EC2 e sobre a versão 7.11.0 do Amazon EMR em geral, consulte o Amazon EMR 7.11.0 no Guia de lançamento do Amazon EMR.
Amazon EMR nas versões do EKS 7.11
As seguintes versões do Amazon EMR 7.11.0 estão disponíveis para o Amazon EMR no EKS. Selecione uma versão específica do EMR-7.11.0-xxxx para ver mais detalhes, como a tag de imagem do contêiner relacionada.
Notas da versão
Notas de lançamento do Amazon EMR no EKS 7.11.0:
-
Aplicações compatíveis: AWS SDK para Java 2.35.5 and 1.12.792, Apache Spark 3.5.6-amzn-0, Apache Hudi 1.0.2-amzn-0, Apache Iceberg 1.9.1-amzn-0, Delta 3.3.2-amzn-0, Apache Spark RAPIDS 25.04.0-amzn-0, Apache Flink 1.20.0-amzn-5
-
Componentes com suporte ‐
emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Classificações de configuração com suporte
Para uso com CreateManagedEndpoint APIs StartJobRun e:
Classificações Descrições core-siteAltera os valores no arquivo
core-site.xmldo Hadoop.emrfs-siteAlterar as configurações do EMRFS.
spark-metricsAltera os valores no arquivo
metrics.propertiesdo Spark.spark-defaultsAltera os valores no arquivo
spark-defaults.confdo Spark.spark-envAlterar os valores no ambiente do Spark.
spark-hive-siteAltera os valores no arquivo
hive-site.xmldo Spark.spark-log4j2Altera os valores no arquivo
log4j2.propertiesdo Spark.emr-job-submitterConfiguração para o pod de envio de trabalho.
Para uso específico com CreateManagedEndpoint APIs:
Classificações Descrições jeg-configAltera os valores no arquivo
jupyter_enterprise_gateway_config.pydo Jupyter Enterprise Gateway.jupyter-kernel-overridesAltera o valor da imagem do kernel no arquivo de um kernel do Jupyter especificado.
As classificações de configuração permitem que você personalize aplicações. Elas geralmente correspondem a um arquivo XML de configuração da aplicação, como
spark-hive-site.xml. Para obter mais informações, consulte Configure Applications.
Alterações e recursos
As seguintes alterações estão incluídas na versão 7.11.0 do Amazon EMR no EKS:
O Amazon EMR no EKS agora oferece suporte à integração com o SageMaker Unified Studio por meio de uma solução gerenciada da Livy, incluindo:
-
Sessões gerenciadas: novo tipo de recurso de sessão interativa que fornece um endpoint HTTPS personalizado para executar sessões do Spark em seu cluster EKS por meio do Unified Studio SageMaker
-
Integração de formação de lago: suporta controle de acesso a dados com dois modos a) Controle de Fine-Grained acesso b) Acesso total à tabela (modo de compatibilidade)
-
Gerenciamento de identidade: opções flexíveis de autenticação a) Controle de acesso baseado em funções do IAM b) controle de acesso baseado em.
-
Sessões em segundo plano do usuário com integração: suporta cargas de trabalho Spark de longa duração para continuar funcionando mesmo depois que os usuários se desconectam do SageMaker Unified Studio, suportando sessões de até 90 dias
