Acessar as interfaces de usuário Web do Spark

Você pode ver as interfaces de usuário Web do Spark seguindo os procedimentos para criar um túnel SSH ou criar um proxy na seção denominada Conectar-se ao cluster no Amazon EMR e navegando até o ResourceManager do YARN para o cluster. Escolha o link em Tracking UI (Interface do usuário de rastreamento) para o seu aplicativo. Se o seu aplicativo estiver em execução, você verá ApplicationMaster. Isso o levará à interface do usuário web do aplicativo principal na porta 20888 onde o driver está localizado. O driver pode estar localizado no nó primário do cluster se você executa no modo de cliente YARN. Se você estiver executando um aplicativo no modo de cluster YARN, o driver estará localizado no ApplicationMaster para o aplicativo no cluster. Se sua aplicação tiver sido encerrada, você verá Histórico, que levará você ao número da porta da interface de usuário do HistoryServer do Spark em 18080 do nó primário do cluster do EMR. Isso é para aplicativos que já foram concluídos. Você também pode navegar até a interface do usuário de HistoryServer do Spark diretamente em http://master-public-dns-name:18080/.

Com as versões 5.25.0 ou posteriores do Amazon EMR, você pode acessar a interface de usuário do servidor de histórico do Spark no console sem configurar um proxy da Web por meio de uma conexão SSH. Para obter mais informações, consulte View Persistent Application User Interfaces.