Acessando dados do S3 em outra AWS conta do EMR Serverless - Amazon EMR
Pré-requisitosUso de uma política de bucket do S3Uso de um perfil assumidoExemplos de perfis assumidos

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Acessando dados do S3 em outra AWS conta do EMR Serverless

Você pode executar trabalhos sem servidor do Amazon EMR a partir de uma AWS conta e configurá-los para acessar dados nos buckets do Amazon S3 que pertencem a outra conta. AWS Esta página descreve como configurar o acesso entre contas do S3 no EMR Sem Servidor.

Os trabalhos executados no EMR Serverless podem usar uma política de bucket do S3 ou uma função assumida para acessar dados no Amazon S3 a partir de uma conta diferente. AWS

Pré-requisitos

Para configurar o acesso entre contas para o Amazon EMR Serverless, conclua as tarefas enquanto estiver conectado a duas contas: AWS

  • AccountA: essa é a conta da AWS na qual você criou uma aplicação do Amazon EMR Sem Servidor. Antes de configurar o acesso entre contas, tenha o seguinte em mãos nesta conta:

  • AccountB: essa é a conta da AWS que contém o bucket do S3 que você deseja que os trabalhos do Amazon EMR Sem Servidor acessem.

Uso de uma política de bucket do S3 para acessar dados entre contas do S3

Para acessar o bucket do S3 na account B usando a account A, anexe a política a seguir ao bucket do S3 na account B.

JSON
{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "ExamplePermissions1",
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::my-bucket-name"
      ]
    },
    {
      "Sid": "ExamplePermissions2",
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": [
        "arn:aws:s3:::my-bucket-name/*"
      ]
    }
  ]
}

Para obter mais informações sobre o acesso entre contas do S3 com políticas de bucket do S3, consulte o Exemplo 2: Proprietário do bucket concedendo permissões de bucket entre contas no Guia do usuário do Amazon Simple Storage Service.

Uso de um perfil assumido para acessar dados entre contas do S3

Outra forma de configurar o acesso entre contas para o Amazon EMR Serverless é com AssumeRole a ação do (). AWS Security Token Service AWS STS AWS STS é um serviço web global que permite solicitar credenciais temporárias com privilégios limitados para usuários. Você pode fazer chamadas de API para o EMR Sem Servidor e o Amazon S3 com as credenciais de segurança temporárias criadas com AssumeRole.

As seguintes etapas ilustram como usar um perfil assumido para acessar dados entre contas do S3 no EMR Sem Servidor:

  1. Crie um bucket do Amazon S3, cross-account-bucket, na AccountB. Para obter mais informações, consulte Como criar um bucket no Guia do usuário do Amazon Simple Storage Service. Se você quiser ter acesso entre contas ao DynamoDB, crie também uma tabela do DynamoDB no. AccountB Para obter mais informações, consulte Como criar uma tabela do DynamoDB no Amazon DynamoDB Developer Guide.

  2. Crie um perfil do IAM Cross-Account-Role-B na AccountB que possa acessar o cross-account-bucket.

    1. Faça login no Console de gerenciamento da AWS e abra o console do IAM em https://console.aws.amazon.com/iam/.

    2. Escolha Perfis e crie um novo perfil: Cross-Account-Role-B. Para obter mais informações sobre como criar funções do IAM, consulte Como criar funções do IAM no Guia do usuário do IAM.

    3. Crie uma política do IAM que especifique as permissões para Cross-Account-Role-B acessar o bucket cross-account-bucket do S3, como demonstra a instrução de política a seguir. Em seguida, anexe a política do IAM ao Cross-Account-Role-B. Para obter mais informações, consulte Criação de políticas do IAM no Guia do usuário do IAM.

    JSON
    {
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:*"
      ],
      "Resource": [
        "arn:aws:s3:::cross-account-bucket",
        "arn:aws:s3:::cross-account-bucket/*"
      ],
      "Sid": "AllowS3"
    }
  ]
}

    Se o acesso ao DynamoDB for necessário, crie uma política do IAM que especifique as permissões de acesso à tabela do DynamoDB entre contas. Em seguida, anexe a política do IAM ao Cross-Account-Role-B. Para obter mais informações, consulte Amazon DynamoDB: Permite acesso a uma tabela específica no Guia do usuário do IAM.

    A seguir, é apresentada uma política para permitir acesso à tabela CrossAccountTable do DynamoDB.

    JSON
    {
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "dynamodb:*"
      ],
      "Resource": [
        "arn:aws:dynamodb:*:123456789012:table/CrossAccountTable"
      ],
      "Sid": "AllowDYNAMODB"
    }
  ]
}

  3. Edite a relação de confiança para o perfil Cross-Account-Role-B.

    1. Para configurar o relacionamento de confiança para o perfil, escolha a guia Relacionamentos de confiança no console do IAM para o perfil Cross-Account-Role-B criado na Etapa 2.

    2. Selecione Editar relação de confiança.

    3. Insira o documento de política a seguir. Isso permite que Job-Execution-Role-A na AccountA assuma o perfil Cross-Account-Role-B.

      JSON
      {
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "sts:AssumeRole"
      ],
      "Resource": "arn:aws:iam::123456789012:role/Job-Execution-Role-A",
      "Sid": "AllowSTSAssumerole"
    }
  ]
}

  4. Job-Execution-Role-AConceda AccountA a AWS STS AssumeRole permissão para assumirCross-Account-Role-B.

    1. No console do IAM da AWS contaAccountA, selecioneJob-Execution-Role-A.

    2. Adicione a instrução de política a seguir ao Job-Execution-Role-A para permitir a ação AssumeRole no perfil Cross-Account-Role-B.

      JSON
      {
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "sts:AssumeRole"
      ],
      "Resource": [
        "arn:aws:iam::123456789012:role/Cross-Account-Role-B"
      ],
      "Sid": "AllowSTSAssumerole"
    }
  ]
}

Exemplos de perfis assumidos

Use uma única função assumida para acessar todos os recursos do S3 em uma conta ou, com o Amazon EMR 6.11 e superior, configure várias funções do IAM a serem assumidas ao acessar diferentes buckets do S3 entre contas.

Acesso aos recursos do S3 com um perfil assumido

nota

Quando você configura um trabalho para usar um único perfil assumido, todos os recursos do S3 em todo o trabalho usam esse perfil, incluindo o script entryPoint.

Se você quiser usar um único perfil assumido para acessar todos os recursos do S3 na conta B, especifique as seguintes configurações:

  1. Especifique a configuração fs.s3.customAWSCredentialsProvider do EMRFS para com.amazonaws.emr.AssumeRoleAWSCredentialsProvider.

  2. No Spark, use spark.emr-serverless.driverEnv.ASSUME_ROLE_CREDENTIALS_ROLE_ARN e spark.executorEnv.ASSUME_ROLE_CREDENTIALS_ROLE_ARN para especificar as variáveis de ambiente no driver e nos executores.

  3. Para o Hive hive.emr-serverless.launch.env.ASSUME_ROLE_CREDENTIALS_ROLE_ARNtez.am.emr-serverless.launch.env.ASSUME_ROLE_CREDENTIALS_ROLE_ARN, use e tez.task.emr-serverless.launch.env.ASSUME_ROLE_CREDENTIALS_ROLE_ARN para especificar as variáveis de ambiente no driver do Hive, no aplicativo principal do Tez e nos contêineres de tarefas do Tez.

Os exemplos a seguir demonstram como usar uma função assumida para iniciar uma execução de trabalho do EMR Serverless com acesso entre contas.

Spark

O exemplo a seguir mostra como usar um perfil assumido para iniciar a execução de um trabalho do Spark no EMR Sem Servidor com acesso entre contas ao S3.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "entrypoint_location",
            "entryPointArguments": [":argument_1:", ":argument_2:"],
            "sparkSubmitParameters": "--conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
        }
    }' \
     --configuration-overrides '{
        "applicationConfiguration": [{
            "classification": "spark-defaults",
            "properties": {
                "spark.hadoop.fs.s3.customAWSCredentialsProvider": "com.amazonaws.emr.AssumeRoleAWSCredentialsProvider",
                "spark.emr-serverless.driverEnv.ASSUME_ROLE_CREDENTIALS_ROLE_ARN": "arn:aws:iam::AccountB:role/Cross-Account-Role-B",
                "spark.executorEnv.ASSUME_ROLE_CREDENTIALS_ROLE_ARN": "arn:aws:iam::AccountB:role/Cross-Account-Role-B"
            }
        }]
    }'
Hive

O exemplo a seguir mostra como usar um perfil assumido para iniciar uma execução de trabalho do Hive no EMR Sem Servidor com acesso entre contas ao S3.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "hive": {
            "query": "query_location",
            "parameters": "hive_parameters"
        }
    }' \
    --configuration-overrides '{
        "applicationConfiguration": [{
            "classification": "hive-site",
            "properties": {
                "fs.s3.customAWSCredentialsProvider": "com.amazonaws.emr.serverless.credentialsprovider.AssumeRoleAWSCredentialsProvider",
                "hive.emr-serverless.launch.env.ASSUME_ROLE_CREDENTIALS_ROLE_ARN": "arn:aws:iam::AccountB:role/Cross-Account-Role-B",
                "tez.am.emr-serverless.launch.env.ASSUME_ROLE_CREDENTIALS_ROLE_ARN": "arn:aws:iam::AccountB:role/Cross-Account-Role-B",
                "tez.task.emr-serverless.launch.env.ASSUME_ROLE_CREDENTIALS_ROLE_ARN": "arn:aws:iam::AccountB:role/Cross-Account-Role-B"
            }
        }]
    }'

Acesso a recursos do S3 com vários perfis assumidos

Com o EMR Serverless versões 6.11.0 e posteriores, configure várias funções do IAM a serem assumidas ao acessar diferentes buckets entre contas. Se você quiser acessar diferentes recursos do S3 com diferentes perfis assumidos na conta B, use as seguintes configurações ao iniciar a execução do trabalho:

  1. Especifique a configuração fs.s3.customAWSCredentialsProvider do EMRFS para com.amazonaws.emr.serverless.credentialsprovider.BucketLevelAssumeRoleCredentialsProvider.

  2. Especifique a configuração fs.s3.bucketLevelAssumeRoleMapping do EMRFS para definir o mapeamento do nome do bucket do S3 para o perfil do IAM na conta B a ser assumido. O valor deve estar no formato de bucket1->role1;bucket2->role2.

Por exemplo, use arn:aws:iam::AccountB:role/Cross-Account-Role-B-1 para acessar o bucket bucket1 e use arn:aws:iam::AccountB:role/Cross-Account-Role-B-2 para acessar o bucketbucket2. Os exemplos a seguir demonstram como iniciar uma execução de trabalho do EMR Serverless com acesso entre contas por meio de várias funções assumidas.

Spark

O exemplo a seguir mostra como usar vários perfis assumidos para criar uma execução de trabalho do Spark no EMR Sem Servidor.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "sparkSubmit": {
            "entryPoint": "entrypoint_location",
            "entryPointArguments": [":argument_1:", ":argument_2:"],
            "sparkSubmitParameters": "--conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=1"
        }
    }' \
     --configuration-overrides '{
        "applicationConfiguration": [{
            "classification": "spark-defaults",
            "properties": {
                "spark.hadoop.fs.s3.customAWSCredentialsProvider": "com.amazonaws.emr.serverless.credentialsprovider.BucketLevelAssumeRoleCredentialsProvider",
                "spark.hadoop.fs.s3.bucketLevelAssumeRoleMapping": "bucket1->arn:aws:iam::AccountB:role/Cross-Account-Role-B-1;bucket2->arn:aws:iam::AccountB:role/Cross-Account-Role-B-2"
            }
        }]
    }'
Hive

Os exemplos a seguir demonstram como usar várias funções assumidas para criar uma execução de trabalho do EMR Serverless Hive.

aws emr-serverless start-job-run \
    --application-id application-id \
    --execution-role-arn job-role-arn \
    --job-driver '{
        "hive": {
            "query": "query_location",
            "parameters": "hive_parameters"
        }
    }' \
    --configuration-overrides '{
        "applicationConfiguration": [{
            "classification": "hive-site",
            "properties": {
                "fs.s3.customAWSCredentialsProvider": "com.amazonaws.emr.serverless.credentialsprovider.AssumeRoleAWSCredentialsProvider",
                "fs.s3.bucketLevelAssumeRoleMapping": "bucket1->arn:aws:iam::AccountB:role/Cross-Account-Role-B-1;bucket2->arn:aws:iam::AccountB:role/Cross-Account-Role-B-2"
            }
        }]
    }'