

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

# Avalie seus DeepRacer modelos da AWS em simulação
<a name="deepracer-get-started-test-in-simulator"></a>

 Após a conclusão do trabalho de treinamento, você deve avaliar o modelo treinado para avaliar seu comportamento de convergência. A avaliação prossegue completando uma série de testes em uma pista escolhida e fazendo com que o agente se mova na pista de acordo com ações prováveis inferidas pelo modelo treinado. As métricas de desempenho incluem uma porcentagem de conclusão da pista e o tempo de execução em cada pista, do início ao fim ou fora da pista. 

Para avaliar seu modelo treinado, você pode usar o DeepRacer console da AWS. Para fazer isso, siga as etapas neste tópico. 

**Para avaliar um modelo treinado no DeepRacer console da AWS**

1. Abra o DeepRacer console da AWS em https://console.aws.amazon.com /deepracer. 

1. No painel de navegação principal, escolha **Models (Modelos)** e escolha o modelo que você acabou de treinar na lista **Models (Modelos)** para abrir a página de detalhes do modelo.

1.  Selecione a aba **Avaliação**. 

1. Em **Detalhes da avaliação**, escolha **Iniciar avaliação**.  
![\[Evaluation details section showing training complete message and option to start evaluation.\]](http://docs.aws.amazon.com/pt_br/deepracer/latest/developerguide/images/evaluation_details_start.png)

   Você pode iniciar uma avaliação depois que o status do trabalho de treinamento for alterado para **Completed (Concluído)** ou o status do modelo for alterado para **Ready (Pronto)** se o trabalho de treinamento não tiver sido concluído. 

   Um modelo estará pronto quando o treinamento for concluído. Se o treinamento não foi concluído, o modelo também poderá estar em um estado **Ready (Pronto)** se for treinado até o ponto de falha.

1. Na página **Avaliar modelo** em **Tipo de corrida**, insira um nome para a avaliação e escolha o tipo de corrida que você escolheu para treinar o modelo. 

   Para avaliação, você pode escolher um tipo de corrida diferente do tipo de corrida usado no treinamento. Por exemplo, você pode treinar um modelo para head-to-bot corridas e depois avaliá-lo para contrarrelógio. Em geral, o modelo deverá generalizar bem se o tipo de corrida de treinamento for diferente do tipo de corrida de avaliação. Para a sua primeira execução, use o mesmo tipo de corrida para avaliação e treinamento. 

1. Na página **Avaliar modelo** em **Avaliar critérios**, escolha o número de testes que deseja executar e escolha uma pista que será usada para a avaliação do modelo.  
![\[\]](http://docs.aws.amazon.com/pt_br/deepracer/latest/developerguide/images/evaluation_select_track.png)

   Normalmente, deseja-se escolher uma pista igual ou semelhante àquela usada no [treinamento do modelo](deepracer-get-started-training-model.md#deepracer-get-started-train-model-proc). Escolha qualquer pista para avaliar seu modelo, no entanto, espere o melhor desempenho em uma pista que seja bem semelhante àquela usada no treinamento. 

   Para ver se o modelo se generaliza bem, escolha uma pista de avaliação diferente da utilizada no treinamento. 

1. Na página **Evaluate model (Avaliar modelo)** em **Virtual Race Submission (Envio de corrida virtual)**, para seu primeiro modelo, desative a opção **Submit model after evaluation (Enviar modelo depois da avaliação)**. Mais tarde, se você quiser participar de um evento de corrida, deixe essa opção ativada.  
![\[Virtual race submission section with options for submitting a model for evaluation.\]](http://docs.aws.amazon.com/pt_br/deepracer/latest/developerguide/images/deepracer-get-started-evaluate-virtual-race-submit.png)

1. Na página **Evaluate model (Avaliar modelo)**, escolha **Start evaluation (Iniciar avaliação)** para começar a criar e inicializar o trabalho de avaliação. 

   Esse processo de inicialização leva cerca de 3 minutos para ser concluído. 

1. À medida que a avaliação avança, os resultados da avaliação, incluindo o tempo de teste e a taxa de conclusão da pista, são exibidos em **Detalhes da avaliação** após cada teste. Na janela **Simulation video stream (Streaming de vídeo de simulação)** você pode observar como o agente se executa na pista escolhida.

    É possível interromper um trabalho de avaliação antes de sua conclusão. Para interromper um trabalho de avaliação, escolha **Stop evaluation (Interromper avaliação)** no canto superior direito do cartão **Evaluation (Avaliação)** e confirme para interromper a avaliação. 

1. Após a conclusão do trabalho de avaliação, examine as métricas de desempenho de todos os testes em **Evaluation results (Resultados da avaliação)**. O streaming de vídeo de simulação que acompanha não está mais disponível. 

   Um histórico das avaliações do seu modelo está disponível no **Seletor de avaliação**. Para ver os detalhes de uma avaliação específica, selecione a avaliação na lista do **Seletor de avaliação** e escolha **Carregar avaliação** no canto superior direito do cartão **Seletor de avaliação**.   
![\[\]](http://docs.aws.amazon.com/pt_br/deepracer/latest/developerguide/images/evaluation_selector_complete.png)

   Para esse trabalho de avaliação específico, o modelo treinado conclui os testes com uma penalidade considerável de tempo fora da pista. Como a primeira corrida, isso não é incomum. As possíveis razões incluem que o treinamento não convergiu e o treinamento precisa de mais tempo, o espaço de ação precisa ser ampliado para dar ao agente mais espaço para reagir, ou a função de recompensa precisa ser atualizada para lidar com ambientes variados. 

    Você pode continuar a melhorar o modelo clonando um treinado anteriormente, modificando a função de recompensa, ajustando os hiperparâmetros e iterando o processo até que a recompensa total convirja e as métricas de desempenho melhorem. Para obter mais informações sobre como melhorar o treinamento, consulte [Treine e avalie os DeepRacer modelos da AWS](create-deepracer-project.md). 

 Para transferir seu modelo totalmente treinado para seu DeepRacer dispositivo da AWS para dirigir em um ambiente físico, você precisa baixar os artefatos do modelo. Para isso, escolha **Download model (Fazer download do modelo)** na página de detalhes do modelo. Se seu dispositivo DeepRacer físico da AWS não suportar novos sensores e seu modelo tiver sido treinado com os novos tipos de sensores, você receberá uma mensagem de erro ao usar o modelo em seu DeepRacer dispositivo da AWS em um ambiente real. Para obter mais informações sobre como testar um DeepRacer modelo da AWS com um dispositivo físico, consulte[Opere seu DeepRacer veículo da AWS](operate-deepracer-vehicle.md).

Depois de treinar seu modelo em uma pista idêntica ou semelhante à especificada em um evento de corrida DeepRacer da AWS League ou em uma corrida da DeepRacer comunidade da AWS, você pode enviar o modelo para as corridas virtuais no DeepRacer console da AWS. Para fazer isso, siga o **AWS circuito virtual** ou as **corridas da comunidade** no painel de navegação principal. Para obter mais informações, consulte [Participe de uma DeepRacer corrida da AWS](deepracer-racing-series.md). 



Para treinar um modelo para evitar obstáculos ou head-to-bot correr, talvez seja necessário adicionar novos sensores ao modelo e ao dispositivo físico. Para obter mais informações, consulte [Entendendo os tipos de corrida e habilitando sensores compatíveis com a AWS DeepRacer](deepracer-choose-race-type.md).