As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
# O que é a AWS DeepRacer?
DeepRacer O AWS é um carro de corrida totalmente autônomo em escala 1/18, conduzido por aprendizado por [reforço](deepracer-basic-concept.md#term-rl). Ele consiste nos seguintes componentes:
+ DeepRacer Console da AWS: um serviço do [AWS Machine Learning](https://aws.amazon.com/machine-learning/) para [treinar e avaliar modelos de aprendizado por reforço](create-deepracer-project.md) em um ambiente tridimensional simulado de direção autônoma.
+ DeepRacer Veículo da AWS: um carro de controle remoto em escala 1/18 capaz de [executar inferências em um DeepRacer modelo treinado da AWS](operate-deepracer-vehicle.md) para direção autônoma.
+ AWS DeepRacer League: a primeira liga de corrida autônoma global do mundo. Corra por prêmios, glória e uma chance de avançar para o Campeonato Mundial. Para obter mais informações, consulte [Termos e conceitos.](https://aws.amazon.com/deepracer/league/)
**Topics**
+ [O DeepRacer console da AWS](#what-is-deepracer-service-console)
+ [O DeepRacer veículo da AWS](#what-is-deepracer-model-vehicle)
+ [A DeepRacer Liga da AWS](#what-is-deepracer-racing-series)
+ [Use DeepRacer a AWS para explorar o aprendizado por reforço](deepracer-is-a-learning-environment-for-reinforcement-learning.md)
+ [DeepRacer Conceitos e terminologia da AWS](deepracer-basic-concept.md)
## O DeepRacer console da AWS
O DeepRacer console da AWS é uma interface gráfica de usuário para interagir com o DeepRacer serviço da AWS. Você pode usar o console para treinar um modelo de aprendizado por reforço e avaliar o desempenho do modelo no DeepRacer simulador da AWS. No console, você também pode baixar um modelo treinado para implantação em seu DeepRacer veículo da AWS para condução autônoma em um ambiente físico.
Em resumo, o DeepRacer console da AWS oferece suporte aos seguintes recursos:
+ Criar uma tarefa de treinamento para treinar um modelo de aprendizado por reforço, com uma função de recompensa, um algoritmo de otimização, um ambiente e hiperparâmetros especificados.
+ Escolha uma pista simulada para treinar e avaliar um modelo usando SageMaker IA.
+ Clonar um modelo treinado para melhorar o treinamento ajustando hiperparâmetros para otimizar o desempenho do modelo.
+ Baixe um modelo treinado para implantação em seu DeepRacer veículo da AWS para que ele possa dirigir em um ambiente físico.
+ Envie seu modelo a uma corrida virtual e tenha seu desempenho classificado em relação a outros modelos em um placar virtual.
Quando você usa o console de DeepRacer serviços da AWS, você é cobrado com base no seu uso para treinar, avaliar e armazenar modelos.
Para você começar, a AWS DeepRacer fornece um [nível gratuito](https://aws.amazon.com/free/) para DeepRacer usuários iniciantes da AWS. Esse é o tempo suficiente para treinar e ajustar seu primeiro modelo e entrar na DeepRacer Liga AWS. Não há custo para enviar um modelo para participar de qualquer evento virtual DeepRacer da AWS League.
Para obter detalhes sobre preços, consulte a [página DeepRacer de detalhes do serviço da AWS](https://aws.amazon.com/deepracer/pricing/).
## O DeepRacer veículo da AWS
O DeepRacer veículo da AWS é um veículo físico habilitado para Wi-Fi que pode se dirigir sozinho em uma pista física usando um modelo de aprendizado por reforço.
+ Você pode controlar manualmente o veículo ou implantar um modelo para o veículo dirigir de forma autônoma.
+ O modo autônomo executa inferência no módulo de computação do veículo. A inferência usa imagens que são capturadas da câmera frontal.
+ Uma conexão Wi-Fi permite que o veículo faça download do software. A conexão também permite que o usuário acesse o console de dispositivo para operar o veículo usando um computador ou dispositivo móvel.
## A DeepRacer Liga da AWS
A DeepRacer Liga da AWS é um componente importante da AWS DeepRacer. A AWS DeepRacer League tem como objetivo promover a comunidade e a concorrência.
Com a AWS DeepRacer League, você pode comparar suas habilidades de ML com outros DeepRacer desenvolvedores da AWS em um evento de corrida físico ou virtual. Você não só tem a oportunidade de ganhar prêmios e conquistas, mas também uma forma de testar seus modelos de aprendizado por reforço. Você pode competir com outros participantes, aprender e ensinar, inspirar e ganhar inspiração. Se você ganhar conquistas por seu desempenho na DeepRacer Liga AWS, poderá compartilhá-las com sua comunidade nas redes sociais. Para obter mais informações, consulte [Termos e conceitos.](https://aws.amazon.com/deepracer/league/)
[Participe de uma corrida ou aprenda a treinar um modelo na Liga.](https://console.aws.amazon.com/deepracer)
# Use DeepRacer a AWS para explorar o aprendizado por reforço
O aprendizado por reforço, especialmente o aprendizado por reforço profundo, provou ser eficaz na solução de uma ampla gama de problemas autônomos de tomada de decisão. Ele possui aplicações em operações financeiras, resfriamento de datacenter, logística de frota e corridas autônomas, entre outros.
O aprendizado por reforço tem o potencial de resolver problemas reais. No entanto, tem uma curva de aprendizado acentuada devido ao extenso escopo e profundidade tecnológica. A experimentação no mundo real requer a construção de um agente físico (por exemplo, um carro de corrida autônomo). Também requer a proteção de um ambiente físico, por exemplo, uma pista de corrida ou uma via pública. O ambiente pode ser caro, perigoso e demorar mais tempo. Esses requisitos vão além da compreensão do aprendizado por reforço.
Para ajudar a reduzir a curva de aprendizado, a AWS DeepRacer simplifica o processo de três maneiras:
+ Oferecer step-by-step orientação ao treinar e avaliar modelos de aprendizado por reforço. O guia inclui ambientes predefinidos, estados, ações e funções de recompensa personalizáveis.
+ Fornecendo um simulador para emular interações entre um [agente](deepracer-basic-concept.md#term-model-vehicle) virtual e um ambiente virtual.
+ Usando um DeepRacer veículo da AWS como agente físico. Use o veículo para avaliar um modelo treinado em um ambiente físico. Isso é muito semelhante a um caso de uso real.
Se você é um profissional experiente em aprendizado de máquina, encontrará na AWS DeepRacer uma oportunidade bem-vinda de criar modelos de aprendizado por reforço para corridas autônomas em ambientes virtuais e físicos. Para resumir, use DeepRacer a AWS para criar modelos de aprendizado por reforço para corridas autônomas com as seguintes etapas:
1. Treine um modelo personalizado de aprendizado por reforço para corridas autônomas. Faça isso usando o DeepRacer console da AWS integrado à SageMaker IA.
1. Use o DeepRacer simulador da AWS para avaliar um modelo e testar corridas autônomas em um ambiente virtual.
1. Implante um modelo treinado em DeepRacer modelos de veículos da AWS para testar corridas autônomas em um ambiente físico.
# DeepRacer Conceitos e terminologia da AWS
A AWS DeepRacer se baseia nos conceitos a seguir e usa a seguinte terminologia.
** DeepRacer Serviço da AWS**
DeepRacer A AWS é um serviço da AWS Machine Learning para explorar o aprendizado por reforço focado em corridas autônomas. O DeepRacer serviço da AWS oferece suporte aos seguintes recursos:
1. Treine um modelo de aprendizado por reforço na nuvem.
1. Avalie um modelo treinado no DeepRacer console da AWS.
1. Envie um modelo treinado para uma corrida virtual e, se qualificado, tenha seu desempenho publicado no placar do evento.
1. Clone um modelo treinado e continue treinando para melhorar o desempenho.
1. Baixe os artefatos do modelo treinado para fazer o upload em um veículo da AWS DeepRacer.
1. Coloque o veículo em uma pista física para condução autônoma e avalie o modelo para desempenhos no mundo real.
1. Remova cobranças desnecessárias, excluindo modelos de que você não precisa.
**AWS DeepRacer**
“AWS DeepRacer" pode se referir a três veículos diferentes:
+ **O carro de corrida virtual** pode assumir a forma do dispositivo original da AWS, do DeepRacer dispositivo Evo ou de várias recompensas digitais que podem ser obtidas ao participar das corridas do Circuito Virtual DeepRacer da Liga AWS. Também é possível personalizar o carro virtual alterando sua cor.
+ **O DeepRacer dispositivo original da AWS** é um modelo físico de carro em escala 1/18. Ele possui uma câmera montada e um módulo de computação integrado. O módulo de computação executa a inferência para se autodirigir ao longo de uma pista. O módulo de computação e o chassi do veículo são alimentados por baterias dedicadas, conhecidas como a bateria de computação e a bateria de acionamento, respectivamente.
+ **O dispositivo AWS DeepRacer Evo** é o dispositivo original com um kit de sensores opcional. O kit inclui uma câmera adicional e um sensor LIDAR (light detection and ranging), que permitem a detecção de objetos na traseira e nas laterais do carro. O kit também inclui uma nova carroceria.
**Aprendizado por reforço**
Um método de machine learning focado na tomada de decisões autônoma por um agente a fim de atingir objetivos especificados por meio de interações com um ambiente. No aprendizado por reforço, o aprendizado é obtido por meio de tentativa e erro e o treinamento não requer entrada rotulada. O treinamento se baseia na *hipótese de recomensa*, que determina que todos os objetivos podem ser alcançados com a maximização de uma recompensa futura após as sequências de ação. No aprendizado por reforço, é importante projetar a função de recompensa. Funções de recompensa mais bem elaboradas resultam em melhores decisões do agente.
Para corridas autônomas, o agente é um veículo. O ambiente inclui rotas de deslocamento e condições de tráfego. O objetivo é que o veículo chegue ao seu destino rapidamente e sem acidentes. As recompensas são pontuações que encorajam o deslocamento seguro e ágil até o destino. As pontuações penalizam direção perigosa e esbanjadora.
Para promover o aprendizado durante o treinamento, o agente de aprendizado deve ter permissão para realizar ações que, às vezes, podem não resultar em recompensas. Isso é chamado de compromisso entre exploração e aproveitamento. Ele ajuda a reduzir ou remover a probabilidade de que o agente possa estar equivocado em destinos falsos.
Para obter uma definição mais formal, consulte [aprendizado por reforço](https://en.wikipedia.org/wiki/Reinforcement_learning) na Wikipedia.
**Modelo de aprendizado por reforço**
Um modelo de aprendizado por reforço é um ambiente em que um agente atua que estabelece três coisas: os estados que o agente tem, as ações que o agente pode tomar e as recompensas recebidas ao tomar ação. A estratégia com a qual o agente decide sua ação é chamada de uma *política*. A política recebe o estado do ambiente como entrada e produz a ação a ser tomada. No aprendizado por reforço, a política normalmente é representada por uma rede neural profunda. Chamaremos de modelo de aprendizado por reforço. Cada trabalho de treinamento gera um modelo. Um modelo pode ser gerado mesmo que o trabalho de treinamento seja encerrado antecipadamente. Um modelo é imutável, o que significa que não pode ser modificado e substituído após a sua criação.
** DeepRacer Simulador AWS**
O DeepRacer simulador da AWS é um ambiente virtual para visualizar o treinamento e avaliar os modelos da AWS DeepRacer .
** DeepRacer Veículo da AWS**
Consulte a [AWS DeepRacer](#term-deepracer).
** DeepRacer Carro da AWS**
Esse tipo de [ DeepRacer veículo da AWS](#term-model-vehicle) é um modelo de carro em escala 1/18.
**Placar**
Uma *tabela de classificação* é uma lista classificada do desempenho de DeepRacer veículos da AWS em um evento de corrida DeepRacer da AWS League. A corrida pode ser um evento virtual, realizado no ambiente simulado, ou um evento físico, realizado em um ambiente real. A métrica de desempenho depende do tipo de corrida. Pode ser o tempo de volta mais rápido, o tempo total ou o tempo médio de volta enviado por DeepRacer usuários da AWS que avaliaram seus modelos treinados em uma pista idêntica ou semelhante à determinada pista da corrida.
Se um veículo completar três voltas consecutivamente, ele se qualifica para ser classificado em um placar. O tempo médio de volta para as três primeiras voltas consecutivas é enviado ao placar.
**Estruturas de machine learning**
Estruturas de machine learning são bibliotecas de software usadas para criar algoritmos de machine learning. As estruturas compatíveis com a AWS DeepRacer incluem o Tensorflow.
**Rede de políticas**
Uma rede de políticas é uma rede neural treinada. A rede de políticas recebe imagens de vídeo como entrada e prevê a próxima ação do agente. Dependendo do algoritmo, ela também pode avaliar o valor do estado atual do agente.
** Algoritmo de otimização**
Um algoritmo de otimização é o algoritmo usado para treinar um modelo. Para treinamento supervisionado, o algoritmo é otimizado minimizando uma função de perda com uma estratégia específica para atualizar pesos. Para o aprendizado por reforço, o algoritmo é otimizado maximizando as recompensas futuras esperadas com uma função de recompensa específica.
**Rede neural**
Uma rede neural (também conhecida como *rede neural artificial*) é um conjunto de unidades ou nós conectados que são usados para construir um modelo de informação baseado em sistemas biológicos. Cada nó é chamado de *neurônio artificial* e imita um neurônio biológico ao receber uma entrada (estímulo), ser ativado se o sinal de entrada for forte o suficiente (ativação) e produzir uma saída baseada na entrada e na ativação. É amplamente usado em machine learning pois uma rede neural artificial pode servir como uma aproximação de uso geral para qualquer função. Ensinar máquinas a aprender se torna encontrar a aproximação de função ideal para a entrada e a saída em questão. No aprendizado por reforço profundo, a rede neural representa a política e geralmente é chamada de rede de políticas. Treinar a rede de políticas representa a iteração em etapas que envolvem a geração de experiências baseadas na política atual seguida da otimização da rede de políticas com as experiências recém-geradas. O processo continua até que determinadas métricas de desempenho atendam aos critérios necessários.
** Hiperparâmetros**
Hiperparâmetros são variáveis dependentes do algoritmo que controlam o desempenho do treinamento de uma rede neural. Um exemplo de hiperparâmetro é a taxa de aprendizado que controla quantas novas experiências são contadas no aprendizado em cada etapa. Uma taxa de aprendizado maior gera um treinamento mais rápido, mas pode reduzir a qualidade do modelo treinado. Os hiperparâmetros são empíricos e exigem ajuste sistemático para cada treinamento.
** DeepRacer Rastreamento da AWS**
Uma pista é um caminho ou percurso no qual um DeepRacer veículo da AWS dirige. A pista pode existir em um ambiente simulado ou em um ambiente físico real. Você usa um ambiente simulado para treinar um DeepRacer modelo da AWS em uma pista virtual. O DeepRacer console da AWS disponibiliza faixas virtuais. Você usa um ambiente real para operar um DeepRacer veículo da AWS em uma pista física. A AWS DeepRacer League fornece pistas físicas para os participantes do evento competirem. Você deve criar sua própria pista física se quiser operar seu DeepRacer veículo da AWS em qualquer outra situação. Para saber mais sobre como criar sua própria pista, consulte [Criar sua pista física](deepracer-build-your-track.md).
** Função de recompensa**
Uma função de recompensa é um algoritmo dentro de um modelo de aprendizado que informa ao agente se a ação executada resultou em:
+ Um bom resultado que deve ser reforçado.
+ Um resultado neutro.
+ Um resultado ruim que deve ser desencorajado.
A função de recompensa é uma parte importante do aprendizado por reforço. Ela determina o comportamento que o agente aprende ao incentivar ações específicas acima de outras. O usuário fornece a função de recompensa usando o Python. Esta função de recompensa é usada por um algoritmo de otimização para treinar o modelo de aprendizado por reforço.
**Episódio de experiência**
Um episódio de experiência é um período em que o agente coleta experiências como dados de treinamento do ambiente, executando de um determinado ponto de partida até completar a pista ou sair dela. Diferentes episódios podem ter diferentes comprimentos. Também chamado de *episódio* ou *episódio gerador de experiência*.
**Iteração de experiência**
Uma iteração de experiência, forma abreviada do termo *iteração de geração de experiência*, se refere a diversos episódios de experiência consecutivos entre cada iteração de política que realiza atualizações nos pesos da rede de políticas. No final de cada iteração de experiência, os episódios coletados são adicionados a uma reprodução ou buffer de experiência. O tamanho pode ser definido em um dos hiperparâmetros para treinamento. A rede neural é atualizada usando amostras aleatórias das experiências.
**Iteração de política**
Uma iteração de política, forma abreviada do termo *iteração de atualização de política*, consiste em diversas passagens pelos dados de treinamento aleatoriamente amostrados para atualizar os pesos de trabalho neural da política durante a subida de gradiente. Uma única passagem pelos dados de treinamento para atualizar os pesos também é conhecida como um *epoch*.
**Trabalho de treinamento**
Uma workload que treina um modelo de aprendizado por reforço e cria artefatos de modelo treinado nos quais executa a inferência. Cada trabalho de treinamento tem dois subprocessos:
1. Inicie o agente para seguir a política atual. O agente explora o ambiente em vários [*episódios*](#term-episode) e cria dados de treinamento. Essa geração de dados é um processo iterativo em si.
1. Aplique os novos dados de treinamento para calcular novos gradientes de política. Atualize os pesos da rede e continue o treinamento. Repita a etapa 1 até que uma condição de parada seja atendida.
Cada trabalho de treinamento produz um modelo treinado e gera os artefatos de modelo para um armazenamento de dados especificado.
**Trabalho de avaliação**
Uma workload que testa o desempenho de um modelo. O desempenho é medido por determinadas métricas após o término do trabalho de treinamento. A métrica de DeepRacer desempenho padrão da AWS é o tempo de condução que um agente leva para completar uma volta em uma pista. Outra métrica é a porcentagem da volta completada.
## Terminologia dos eventos de corrida
Os eventos DeepRacer de corrida da AWS usam os seguintes conceitos e terminologia.
**Liga/competição**
No contexto dos eventos da AWS DeepRacer League, os termos *liga* e *competição* estão relacionados à estrutura da competição. AWS patrocina a AWS DeepRacer League, o que significa que nós a possuímos, projetamos e administramos. Uma competição tem uma data de início e término.
**Temporada**
Uma competição pode se repetir nos anos subsequentes. Denominamos essas temporadas diferentes (por exemplo, a temporada 2019 ou 2020). As regras podem mudar de temporada para temporada, mas geralmente são consistentes em uma temporada. Os termos e condições da AWS DeepRacer League podem variar de temporada para temporada.
**O Circuito virtual**
O Circuito Virtual se refere às corridas patrocinadas AWS que acontecem no DeepRacer console da AWS durante a temporada DeepRacer da Liga AWS.
**Event**
Conforme definido pelas regras, um evento é uma ocorrência DeepRacer da AWS League na qual você pode participar de uma corrida. Um evento tem uma data de início e término. Os eventos do Circuito virtual geralmente duram um mês. Pode haver muitos eventos em uma temporada, e algumas regras, como a forma como classificamos os participantes de um evento, selecionamos quem ganha e o que acontece depois disso, estão sujeitas a alterações.
**Tipo de corrida**
Todos os pilotos podem correr em corridas de contra-relógio (TT), evitação de objetos (OA) ou head-to-bot (H2B). Cada tipo de corrida especificará o número de voltas e como os pilotos são classificados.
**Classificação da temporada nacional**
A classificação da temporada nacional se refere à classificação de um piloto no placar entre outros pilotos em seu país. Todos os pilotos podem competir contra outros pilotos de seu país em corridas virtuais mensais.
**Classificação da temporada regional**
A classificação da temporada regional se refere à classificação de um piloto no placar entre outros pilotos em sua região.
**Campeonato mundial**
A tabela de classificação mensal do Circuito Virtual da AWS DeepRacer League é dividida por país e região. O melhor piloto de cada região terá a oportunidade de se classificar para o Campeonato Mundial no re:Invent. AWS Para obter mais informações, consulte [Termos e conceitos.](https://aws.amazon.com/deepracer/league/)