Sessões de usuário em segundo plano - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Sessões de usuário em segundo plano

As sessões em segundo plano do usuário permitem que os workloads de analytics e machine learning de longa duração continuem mesmo depois que o usuário se desconecta da interface do notebook. A partir do EMR na EC2 versão 7.11, esse recurso está disponível por meio do recurso confiável de propagação de identidade EC2 do EMR. As seções a seguir explicam as opções de configuração e os comportamentos das sessões em segundo plano do usuário.

nota

As configurações da sessão em segundo plano do usuário afetam somente as cargas de trabalho do Spark iniciadas por meio do SageMaker Unified Studio. As alterações nessa configuração se aplicam às novas sessões do Livy — as sessões ativas existentes permanecem inalteradas.

Configurar sessões de usuário em segundo plano

As sessões de usuário em segundo plano devem ser habilitadas em dois níveis para que funcionem adequadamente:

  1. Nível de instância do IAM Identity Center (configurado pelos administradores do iDC)

  2. Nível de cluster do EMR (configurado pelos administradores do cluster do EMR)

Habilite sessões em segundo plano do usuário para o Amazon EMR

Para habilitar sessões em segundo plano do usuário, você deve definir o userBackgroundSessionsEnabled parâmetro como true no identityCenterConfiguration ao criar a configuração de segurança do EMR.

Pré-requisitos:

  • A função do IAM usada para criar ou atualizar a configuração de segurança do EMR requer a sso:PutApplicationSessionConfiguration permissão. Essa permissão permite sessões em segundo plano do usuário para o aplicativo IAM Identity Center gerenciado pelo Amazon EMR.

  • Crie uma função do IAM para o IAM Identity Center

  • Inicie seu cluster EMR com a versão 7.11 ou posterior e habilite a propagação de identidade confiável.

Etapa 1 - Crie uma configuração de segurança do EMR UserBackgroundSession habilitada para o Identity Center

Os usuários precisam definir a EnableUserBackgroundSession bandeira comotrue, o que permitirá que o serviço EMR seja ativado no nível do aplicativo IDC gerenciado pelo UserBackgourndSession EMR. Se esse sinalizador estiver definido como false ou não definido, o EMR desativará o IDC UserBackgroundSession por padrão.

Exemplo de uso do AWS CLI:

aws emr create-security-configuration --name "idc-userBackgroundSession-enabled-secConfig" \ --region AWS_REGION \ --security-configuration ' \ { "AuthenticationConfiguration":{ "IdentityCenterConfiguration":{ "EnableIdentityCenter":true, "IdentityCenterInstanceARN": "arn:aws:sso:::instance/ssoins-123xxxxxxxxxx789", "IdentityCenterApplicationAssigmentRequired": false, "EnableUserBackgroundSession": true, "IAMRoleForEMRIdentityCenterApplicationARN": "arn:aws:iam::12345678912:role/YOUR_ROLE" } },\ "AuthorizationConfiguration": { "IAMConfiguration": { "EnableApplicationScopedIAMRole": true, "ApplicationScopedIAMRoleConfiguration": { "PropagateSourceIdentity": true } },\ "LakeFormationConfiguration": { "AuthorizedSessionTagValue": "Amazon EMR" } },\ "EncryptionConfiguration": { "EnableInTransitEncryption": true, "EnableAtRestEncryption": false, "InTransitEncryptionConfiguration": { "TLSCertificateConfiguration": { "CertificateProviderType": "PEM", "S3Object": "s3://amzn-s3-demo-bucket/cert/my-certs.zip" } } } }'

Etapa 2 - Criar e iniciar um cluster habilitado para o Identity Center

Agora que configurou o perfil do IAM que se autentica ao Centro de Identidade e criou uma configuração de segurança do Amazon EMR com o Centro de Identidade habilitado, você pode criar e executar seu cluster com reconhecimento de identidade. Para ver as etapas para iniciar seu cluster com a configuração de segurança necessária, consulte Especificar uma configuração de segurança para um cluster do Amazon EMR.

Matriz de configuração

O comportamento da sessão em segundo plano do usuário depende da EC2 configuração do EMR e das configurações no nível da instância do IAM Identity Center:

Matriz de configuração da sessão em segundo plano do usuário
Centro de identidade do IAM userBackgroundSession ativado Habilitado para Amazon EMR userBackgroundSessions Comportamento
Sim TRUE Sessão em segundo plano do usuário ativada
Sim FALSE A sessão expira com o logout do usuário
Não TRUE A sessão expira com o logout do usuário
Não FALSE A sessão expira com o logout do usuário

Duração padrão das sessões de usuários em segundo plano

Por padrão, todas as sessões de usuário em segundo plano têm um limite de duração de 7 dias no Centro de Identidade do IAM. Os administradores podem modificar essa duração no console do Centro de Identidade do IAM. Essa configuração se aplica no nível da instância do Centro de Identidade do IAM, afetando todos os aplicativos do Centro de Identidade do IAM compatíveis nessa instância.

  • A duração pode ser definida para qualquer valor, de 15 minutos a 90 dias.

  • Essa configuração é definida no console do IAM Identity Center em ConfiguraçõesAutenticaçãoConfigurar (consulte a seção Trabalhos não interativos)

Impacto de desativar as sessões de usuário em segundo plano

Quando as sessões em segundo plano do usuário são desativadas no IAM Identity Center:

Sessões existentes do Livy
  • Continue a ser executado sem interrupção se eles tiverem sido iniciados com as sessões em segundo plano do usuário ativadas. Essas sessões continuarão usando seus tokens de sessão em segundo plano existentes até que terminem naturalmente ou sejam explicitamente interrompidas.

Novas sessões de Livy
  • Usará o fluxo padrão de propagação de identidade confiável e será encerrado quando o usuário se desconectar ou sua sessão interativa expirar (como ao fechar um notebook Amazon SageMaker Unified Studio JupyterLab).

Alterando a duração das sessões de usuário em segundo plano

Quando a configuração de duração das sessões de usuário em segundo plano é modificada no Centro de Identidade do IAM:

Sessões existentes do Livy
  • Continue executando com a mesma duração da sessão em segundo plano com a qual eles foram iniciados.

Novas sessões de Livy
  • Usará a nova duração da sessão para sessões em segundo plano.

Considerações

Disponibilidade de recursos

As sessões em segundo plano do usuário para o Amazon EMR estão disponíveis para:

  • Somente motor Spark (o motor Hive não é suportado)

  • Somente sessões interativas do Livy (trabalhos em lote e trabalhos de streaming não são suportados)

  • O Amazon EMR lança as etiquetas 7.11 e versões posteriores. Com o EMR versão 7.11, você precisa instalar um script de ação bootstrap para habilitar sessões em segundo plano do usuário ao criar um cluster. Entre em contato com AWS o Support para obter mais detalhes.

    nota

    Se você estiver usando o cluster provisionado do SageMaker Unified Studio, não precisará do script de ação bootstrap para usar esse recurso.

Implicações de custo

  • Os trabalhos continuarão sendo executados até a conclusão mesmo depois que os usuários encerrarem a JupyterLab sessão do Amazon SageMaker Unified Studio e incorrerão em cobranças por toda a duração da execução concluída.

  • Monitore suas sessões ativas em segundo plano para evitar custos desnecessários de sessões esquecidas ou abandonadas.

Condições de encerramento da sessão Livy

Ao usar sessões em segundo plano do usuário, uma sessão do Livy continuará em execução até que uma das seguintes situações ocorra:

  • A sessão em segundo plano do usuário expira (com base na configuração do iDC, em até 90 dias).

  • A sessão em segundo plano do usuário é revogada manualmente por um administrador.

  • A sessão do Livy atinge seu tempo limite de inatividade (padrão: 8 horas após a última instrução executada).

  • O usuário interrompe ou reinicia explicitamente o kernel do notebook.