Exemplo de fluxo de trabalho de RL usando o RL do Amazon SageMaker AI

Formular o problema de RL: Primeiro, formule o problema empresarial em um problema de RL. Por exemplo, o ajuste de escala automático permite serviços para aumentar ou diminuir a capacidade dinamicamente, dependendo das condições que você define. Atualmente, isso requer a configuração de alarmes, políticas de escalabilidade e limites, além de outras etapas manuais. Para resolver isso com a RL, definimos os componentes do Processo de decisão de Markov:

1. Objetivo: Escalar a capacidade da instância para que ela corresponda ao perfil de carga desejado.

2. Ambiente: Um ambiente personalizado que inclui o perfil de carga. Ele gera uma carga simulada com variações diárias e semanais e picos ocasionais. O sistema simulado tem um atraso entre quando novos recursos são solicitados e quando eles se tornam disponíveis para atender a solicitações.

3. Estado: A carga atual, o número de trabalhos com falha e o número de máquinas ativas.

4. Ação: Remover, adicionar ou manter o mesmo número de instâncias.

5. Prêmio: Um prêmio positivo por transações bem-sucedidas e uma penalidade alta por transações com falha além de um limite especificado.

Definir o ambiente de RL: O ambiente de RL pode ser o mundo real em que o agente de RL interage ou uma simulação do mundo real. Você pode conectar ambientes de código aberto e personalizados, desenvolvidos usando interfaces Gym e ambientes de simulação comercial, como o MATLAB e o Simulink.

Definir as predefinições: As predefinições configuram as trabalhos de treinamento de RL e definem os hiperparâmetros para os algoritmos de RL.

Escrever o código de treinamento: escreva o código de treinamento como um script Python e transmita o script para uma tarefa de treinamento do SageMaker AI. No seu código de treinamento, importe os arquivos de ambiente e os arquivos predefinidos e defina a função main().

Treinar o modelo de RL: use o RLEstimator do SageMaker AI no Amazon SageMaker Python SDK para iniciar uma tarefa de treinamento de RL. Se você estiver usando o modo local, o trabalho de treinamento será executado na instância de caderno. Quando você usa o SageMaker AI para treinamento, é possível selecionar instâncias de GPU ou CPU. Armazene a saída da tarefa de treinamento em um diretório local, se você treinar no modo local, ou no Amazon S3, se você usar o treinamento do SageMaker AI.

O RLEstimator requer as seguintes informações como parâmetros:

1. O diretório de origem no qual o ambiente, as predefinições e o código de treinamento são carregados.

2. O caminho para o script de treinamento.

3. O kit de ferramentas de RL e a estrutura de aprendizado profundo que você deseja usar. Isso é resolvido automaticamente para o caminho do Amazon ECR para o contêiner de RL.

4. Os parâmetros de treinamento, como a contagem de instâncias, o nome do trabalho e o caminho do S3 para a saída.

5. Definições de métricas que você deseja capturar nos seus logs. Elas também podem ser visualizadas no CloudWatch e em cadernos do SageMaker AI.

Visualizar as métricas de treinamento e a saída: Após a conclusão de um trabalho de treinamento que usa um modelo de RL, é possível visualizar as métricas definidas nos trabalhos de treinamento no CloudWatch. Você também pode plotar as métricas em um caderno usando a biblioteca analítica do Amazon SageMaker Python SDK. A visualização de métricas ajuda você a entender como o desempenho do modelo medido pelo prêmio melhora com o tempo.

Avaliar o modelo: Dados verificados de modelos treinados anteriormente podem ser transmitidos para avaliação e inferência no canal de ponto de verificação. No modo local, use o diretório local. No modo de treinamento do SageMaker AI, primeiro é preciso fazer upload dos dados no S3.

Implantar modelos de RL: por fim, implante o modelo treinado em um endpoint hospedado em contêineres do SageMaker AI ou em um dispositivo de borda usando o AWS IoT Greengrass.