Opção 2, parte 1: configurar um túnel SSH para o nó primário usando o encaminhamento de portas dinâmicas - Amazon EMR
Para configurar um túnel SSH usando o encaminhamento de portas dinâmicas do nó primário com o OpenSSHConfigurar um túnel SSH usando o encaminhamento de portas dinâmicas usando a AWS CLIConfigurar um túnel SSH para o nó primário usando PuTTY

Opção 2, parte 1: configurar um túnel SSH para o nó primário usando o encaminhamento de portas dinâmicas

Para se conectar ao servidor Web local no nó primário, crie um túnel SSH entre seu computador e o nó primário. Isso também é conhecido como encaminhamento de portas. Se você criar seu túnel SSH usando o encaminhamento de portas dinâmicas, todo o tráfego encaminhado para uma porta local não utilizada especificada será encaminhado ao servidor Web local no nó primário. Isso cria um proxy SOCKS. Em seguida, você poderá configurar seu navegador da Internet para usar um complemento, como o FoxyProxy ou o SwitchyOmega, para gerenciar as configurações do proxy SOCKS.

Usar um complemento de gerenciamento de proxy permite filtrar URLs automaticamente com base em padrões de texto e limitar as configurações de proxy para domínios que correspondam ao formato do nome DNS do nó primário. O complemento do navegador manipula automaticamente a ativação e desativação do proxy quando você alterna entre visualizar sites hospedados no nó primário e aqueles na Internet.

Antes de começar, você precisa do nome DNS público do nó primário e do arquivo de chave privada do par de chaves. Para obter informações sobre como localizar o nome DNS público primário, consulte Recuperar o nome DNS público do nó primário. Para obter mais informações sobre como acessar seu par de chaves, consulte Pares de chaves do Amazon EC2 no Guia do usuário do Amazon EC2. Para obter mais informações sobre os sites que você pode querer visualizar no nó primário, consulte Visualizar interfaces Web hospedadas em clusters do Amazon EMR.

Para configurar um túnel SSH usando o encaminhamento de portas dinâmicas do nó primário com o OpenSSH

Configurar um túnel SSH usando o encaminhamento de portas dinâmicas com OpenSSH

  1. Verifique se você permitiu tráfego SSH de entrada. Para instruções, consulte Antes de se conectar ao Amazon EMR: autorize o tráfego de entrada.

  2. Abra uma janela do terminal. No Mac OS X, escolha Applications > Utilities > Terminal (Aplicativos > Utilitários > Terminal). Em outras distribuições do Linux, o terminal está normalmente localizado em Applications > Accessories > Terminal (Aplicativos > Acessórios > Terminal).

  3. Digite o seguinte comando para abrir um túnel SSH na sua máquina local. Substitua ~/mykeypair.pem pelo local e nome do arquivo .pem, substitua 8157 por um número de porta local não utilizado e substitua ec2-###-##-##-###.compute-1.amazonaws.com pelo nome público DNS primário do cluster. 

    ssh -i ~/mykeypair.pem -N -D 8157 hadoop@ec2-###-##-##-###.compute-1.amazonaws.com

    Após a execução desse comando, o terminal permanece aberto e não retorna uma resposta.

    nota

    -D significa o uso do encaminhamento de portas dinâmicas, que permite especificar uma porta local usada para encaminhar dados a todas as portas remotas identificadas no servidor Web local do nó primário. O encaminhamento de portas dinâmicas cria um proxy SOCKS local que escuta na porta especificada no comando.

  4. Depois que o túnel estiver ativo, configure um proxy SOCKS para o seu navegador. Para obter mais informações, consulte Opção 2, parte 2: configurar definições de proxy para exibir sites hospedados no nó primário do cluster do Amazon EMR.

  5. Quando terminar de trabalhar com as interfaces Web no nó primário, feche a janela do terminal.

Configurar um túnel SSH usando o encaminhamento de portas dinâmicas usando a AWS CLI

Você pode criar uma conexão SSH com o nó primário usando a AWS CLI no Windows, Linux, Unix e Mac OS X. Se você estiver usando a AWS CLI no Linux, Unix ou Mac OS X, deverá definir permissões no arquivo .pem, conforme mostrado em Para configurar as permissões do arquivo de chave privada do par de chaves. Se você estiver usando a AWS CLI no Windows, o PuTTY deverá ser exibido na variável de ambiente do caminho, ou você poderá receber um erro, como OpenSSH or PuTTY not available.

Para configurar um túnel SSH usando o encaminhamento de portas dinâmicas com a AWS CLI

  1. Verifique se você permitiu tráfego SSH de entrada. Para instruções, consulte Antes de se conectar ao Amazon EMR: autorize o tráfego de entrada.

  2. Crie uma conexão SSH com o nó primário, conforme mostrado em Conectar-se ao nó primário usando a AWS CLI.

  3. Para recuperar o identificador de cluster, digite:

    aws emr list-clusters

    A saída lista seus clusters, incluindo os IDs dos clusters. Observe o ID do cluster ao qual você está se conectando.

    "Status": {
    "Timeline": {
        "ReadyDateTime": 1408040782.374,
        "CreationDateTime": 1408040501.213
    },
    "State": "WAITING",
    "StateChangeReason": {
        "Message": "Waiting after step completed"
    }
},
"NormalizedInstanceHours": 4,
"Id": "j-2AL4XXXXXX5T9",
"Name": "AWS CLI cluster"

  4. Digite o seguinte comando para abrir um túnel SSH para o nó primário usando o encaminhamento de portas dinâmicas. No exemplo a seguir, substitua j-2AL4XXXXXX5T9 pelo ID do cluster e substitua ~/mykeypair.key pelo local e nome do seu arquivo .pem (para Linux, Unix e Mac OS X) ou arquivo .ppk (para Windows).

    aws emr socks --cluster-id j-2AL4XXXXXX5T9 --key-pair-file ~/mykeypair.key
    nota

    O comando socks configura automaticamente o encaminhamento de portas dinâmicas na porta local 8157. Atualmente, essa configuração não pode ser modificada.

  5. Depois que o túnel estiver ativo, configure um proxy SOCKS para o seu navegador. Para obter mais informações, consulte Opção 2, parte 2: configurar definições de proxy para exibir sites hospedados no nó primário do cluster do Amazon EMR.

  6. Quando terminar de trabalhar com as interfaces Web no nó primário, feche a janela da AWS CLI.

    Para obter mais informações sobre como usar comandos do Amazon EMR na AWS CLI, consulte https://docs.aws.amazon.com/cli/latest/reference/emr.

Configurar um túnel SSH para o nó primário usando PuTTY

Os usuários do Windows podem usar um cliente SSH, como o PuTTY, para criar um túnel SSH para o nó primário. Antes de se conectar ao nó primário do Amazon EMR, você deve baixar e instalar PuTTY e PuTTYgen. Você pode baixar essas ferramentas na página de download do PuTTY.

O PuTTY não oferece suporte nativamente ao formato de arquivo de chave privada com par de chaves (.pem) gerado pelo Amazon EC2. Você usa o PuTTY para converter seu arquivo de chaves no formato PuTTY necessário (.ppk). É necessário converter a chave nesse formato (.ppk) antes de tentar se conectar ao nó primário usando o PuTTY.

Para obter mais informações sobre conversão de chaves, consulte Converting your private key using PuTTYgen no Guia do usuário do Amazon EC2.

Configurar um túnel SSH usando o encaminhamento de portas dinâmicas usando PuTTY

  1. Verifique se você permitiu tráfego SSH de entrada. Para instruções, consulte Antes de se conectar ao Amazon EMR: autorize o tráfego de entrada.

  2. Clique duas vezes em putty.exe para iniciar o PuTTY. Você também pode executar o PuTTY na lista de programas do Windows.

    nota

    Se você já tiver uma sessão SSH ativa com o nó primário, poderá adicionar um túnel clicando com o botão direito do mouse na barra de título do PuTTY e escolhendo Alterar configurações.

  3. Se necessário, na lista Category (Categoria), escolha Session (Sessão).

  4. No campo Nome do host, digite hadoop@MasterPublicDNS. Por exemplo, hadoop@ec2-###-##-##-###.compute-1.amazonaws.com.

  5. Na lista Category (Categoria), expanda Connection > SSH (Conexão > SSH) e escolha Auth.

  6. Para Private key file for authentication (Arquivo de chave privada para autenticação), escolha Browse (Procurar) e selecione o arquivo .ppk que você gerou.

    nota

    O PuTTY não oferece suporte nativamente ao formato de arquivo de chave privada com par de chaves (.pem) gerado pelo Amazon EC2. Você usa o PuTTY para converter seu arquivo de chaves no formato PuTTY necessário (.ppk). É necessário converter a chave nesse formato (.ppk) antes de tentar se conectar ao nó primário usando o PuTTY.

  7. Na lista Category (Categoria), expanda Connection > SSH (Conexão > SSH) e escolha Tunnels (Túneis).

  8. No campo Porta de origem, digite 8157 (uma porta local não utilizada) e escolha Adicionar.

  9. Deixe o campo Destination (Destino) em branco.

  10. Selecione as opções Dynamic (Dinâmico) e Auto.

  11. Escolha Open (Abrir).

  12. Escolha Yes (Sim) para descartar o alerta de segurança do PuTTY.

    Importante

    Ao fazer login no nó primário, digite hadoop se for solicitado um nome de usuário.

  13. Depois que o túnel estiver ativo, configure um proxy SOCKS para o seu navegador. Para obter mais informações, consulte Opção 2, parte 2: configurar definições de proxy para exibir sites hospedados no nó primário do cluster do Amazon EMR.

  14. Quando terminar de trabalhar com as interfaces Web no nó primário, feche a janela do PuTTY.