Usando o Agente de Atualização - Amazon EMR
Modos de implantação suportadosInterfaces suportadasConfigurar o cluster EMR ou o aplicativo EMR Serverless para a versão de destino

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Usando o Agente de Atualização

Modos de implantação suportados

O Apache Spark Upgrade Agent para Amazon EMR oferece suporte aos dois modos de implantação a seguir para a experiência de atualização do aplicativo end-to-end Spark, incluindo atualização de arquivos de compilação, script/dependency upgrade, teste e validação locais com o cluster EMR de destino ou aplicativo EMR Serverless e validação da qualidade dos dados.

  • EMR ativado EC2

  • EMR Sem Servidor

Consulte Características e capacidades para entender os recursos, capacidades e limitações detalhados.

Interfaces suportadas

Integração com o Amazon SageMaker Unified Studio VS Code Editor Spaces

No Amazon SageMaker Unified Studio VS Code Editor Spaces, você pode configurar o perfil do IAM e a configuração do MCP conforme descrito no Setup for Upgrade Agent simplesmente seguindo a captura de tela abaixo:

Agente de atualização do Apache Spark

Uma demonstração do EMR na experiência de EC2 upgrade com o editor de código SMUS VS. Tudo começa com uma simples solicitação para que o agente inicie o processo de atualização do Spark.

Upgrade my Spark application <local-project-path> from EMR version 6.0.0 to 7.12.0.   
Use EMR-EC2 Cluster <cluster-id> to run the validation and s3 paths   
s3://<please fill in your staging bucket path> to store updated application artifacts.   
Use spark-upgrade-profile for AWS CLI operations.

Integração com o Kiro CLI (QCLI)

Inicie o Kiro CLI ou seu assistente de IA e verifique as ferramentas carregadas para o agente de atualização.

...  
spark-upgrade (MCP):   
- check_and_update_build_environment     * not trusted  
- check_and_update_python_environment    * not trusted  
- check_job_status                       * not trusted  
- compile_and_build_project              * not trusted  
...

Uma demonstração da experiência de upgrade do EMR Serverless com o Kiro CLI. Você pode simplesmente iniciar o processo de atualização com o seguinte prompt:

Upgrade my Spark application <local-project-path> from EMR version 6.0.0 to 7.12.0.   
Use EMR-Serverless Applicaion <application-id> and execution role <your EMR Serverless job execution role> to run the validation and s3 paths   
s3://<please fill in your staging bucket path> to store updated application artifacts.

Integração com outros IDEs

A configuração também pode ser usada em outras IDEs para se conectar ao servidor MCP gerenciado:

  • Integração com o Cline - Para usar o MCP Server com o Cline, modifique cline_mcp_settings.json e adicione a configuração acima. Consulte a documentação da Cline para obter mais informações sobre como gerenciar a configuração do MCP.

  • Integração com o Claude Code Para usar o MCP Server com o Claude Code, modifique o arquivo de configuração para incluir a configuração MCP. O caminho do arquivo varia de acordo com o sistema operacional. Consulte https://code.claude.com/docs/en/mcp para obter uma configuração detalhada.

  • Integração com o GitHub Copilot - Para usar o servidor MCP com o GitHub Copilot, siga as instruções em https://docs.github.com/en/copilot/how-tos/provide-context/use-mcp/extend- copilot-chat-with-mcp para modificar o arquivo de configuração correspondente e siga as instruções de cada IDE para ativar a configuração.

Configurar o cluster EMR ou o aplicativo EMR Serverless para a versão de destino

Crie o cluster EMR ou o aplicativo EMR Serverless com a versão esperada do Spark que você planeja usar para o aplicativo atualizado. O cluster EMR ou o aplicativo EMR-S de destino serão usados para enviar a execução do trabalho de validação após o upgrade dos artefatos do aplicativo Spark para verificar se o upgrade foi bem-sucedido ou corrigir outros erros encontrados durante a validação. Se você já tem um cluster EMR de destino ou um aplicativo EMR Serverless, você pode consultar o existente e pular esta etapa. Use contas de desenvolvedor de não produção e selecione exemplos de conjuntos de dados simulados que representem seus dados de produção, mas que sejam menores, para validação com as atualizações do Spark. Consulte esta página para obter orientações sobre como criar um cluster EMR de destino ou um aplicativo EMR Serverless a partir dos existentes:. Criação do cluster EMR/aplicativo EMR-S de destino a partir dos existentes