

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

# Otimização de trabalhos do Spark no EMR Studio
<a name="emr-studio-spark-optimization"></a>

Ao executar um trabalho do Spark usando o EMR Studio, há algumas etapas que você pode realizar para ajudar a garantir que você está otimizando os recursos do cluster do Amazon EMR.

## Prolongamento da sessão do Livy
<a name="optimize-spark-livy-timeout"></a>

Se você usar o Apache Livy em conjunto com o Spark no cluster do Amazon EMR, recomendamos aumentar o tempo limite da sessão do Livy seguindo um destes procedimentos:
+ Ao criar um cluster do Amazon EMR, defina essa classificação de configuração no campo **Inserir configuração**.

  ```
  [
      {
          "Classification": "livy-conf",
          "Properties": {
            "livy.server.session.timeout": "8h"
          }
      }
  ]
  ```
+ Para um cluster EMR já em execução, conecte-se ao cluster usando `ssh` e defina a classificação de configuração `livy-conf` em `/etc/livy/conf/livy.conf`.

  ```
  [
      {
          "Classification": "livy-conf",
          "Properties": {
            "livy.server.session.timeout": "8h"
          }
      }
  ]
  ```

  Pode ser necessário reiniciar o Livy após alterar a configuração.
+ Se você não deseja que sua sessão do Livy expire, defina a propriedade `livy.server.session.timeout-check` como `false` em `/etc/livy/conf/livy.conf`.

## Execução do Spark no modo de cluster
<a name="optimize-spark-cluster-mode"></a>

No modo de cluster, o driver do Spark é executado em um nó central em vez de no nó primário, melhorando a utilização de recursos no nó primário. 

Para executar sua aplicação do Spark no modo de cluster em vez de no modo de cliente padrão, escolha o modo de **Cluster** ao definir o **Modo de implantação** ao configurar a etapa do Spark em seu novo cluster do Amazon EMR. Para obter mais informações, consulte [Cluster mode overview](https://spark.apache.org/docs/latest/cluster-overview.html) na documentação do Apache Spark.

## Aumento da memória do driver do Spark
<a name="optimize-spark-memory"></a>

Para aumentar a memória do driver do Spark, configure a sessão do Spark usando o comando mágico `%%configure` em seu Caderno do EMR, como no exemplo apresentado a seguir.

```
%%configure -f
{"driverMemory": "6000M"}
```