Testes A/B com o CloudWatch Evidently

Para realizar um teste A/B com o Amazon Personalize e o CloudWatch Evidently

1. Crie um projeto do CloudWatch Evidently. Um projeto é um agrupamento lógico de recursos do CloudWatch. Dentro do projeto, você cria atributos com variações que deseja testar ou iniciar. Para obter instruções passo a passo, consulte Criar um novo projeto no Guia do usuário do Amazon CloudWatch.

2. Adicione um atributo ao seu projeto e defina suas variações. Para esse experimento, seu atributo deve representar o cenário de recomendação que você deseja testar, como a taxa de cliques.

   Ao adicionar um atributo, especifique identificadores para mapear as diferentes variações do seu cenário para recomendadores do Amazon Personalize ou campanhas personalizadas. Para cada variação, especifique o Tipo de variação, como String, e dê um nome e um valor à variação.

   Quando o experimento é executado, seu aplicativo usa o valor da variação para determinar qual recurso do Amazon Personalize usar para as recomendações. Por exemplo, se você estiver testando dois recomendadores de VIDEO_ON_DEMAND, um criado para o caso de uso Top picks for you e outro criado para o caso de uso Trending now, você pode definir o seguinte JSON como o Valor de cada variação.

   {"type":"top-picks-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/top-picks-recommender"}

   {"type":"trending-recommendations","arn":"arn:aws:personalize:us-west-2:<acct-id>:recommender/trending-now-recommender"}

   Você pode especificar qualquer identificador, desde que seu aplicativo possa usá-lo para identificar o recurso relevante. Por exemplo, especifique somente o nome do recomendador ou da campanha e crie o nome do recurso da Amazon (ARN) do recurso em seu aplicativo.

   Para obter instruções passo a passo sobre como adicionar um atributo, consulte Adicionar um atributo a um projeto no Guia do usuário do Amazon CloudWatch.

3. Atualize seu aplicativo para apoiar seu experimento:

   • Avaliação de atributos: Use a operação da API CloudWatch Evidently EvaluateFeature para atribuir variações a cada sessão do usuário. A resposta de EvaluateFeature inclui o valor da variação que você especificou na etapa anterior. Nesse caso, é um objeto JSON com o tipo de recomendador e o ARN do recomendador. Atualize seu código de solicitação de recomendação para obter recomendações desse recurso.

     Para obter informações sobre como avaliar um atributo, consulte Usar EvaluateFeature no Guia do usuário do Amazon CloudWatch.

   • Registrar os resultados: Adicione um código ao seu aplicativo para acompanhar os resultados das interações dos usuários com as recomendações.

     Para acompanhar as métricas de seus experimentos no CloudWatch Evidently e registrar os resultados de cada usuário, use a operação da API CloudWatch Evidently PutProjectEvents. Por exemplo, se um usuário em um experimento clicar em um item recomendado, você enviaria detalhes desse evento para o CloudWatch Evidently.

     Para obter informações sobre como enviar eventos para o CloudWatch Evidently, consulte Usar PutProjectEvents no Guia do usuário do Amazon CloudWatch.

     Para melhorar a relevância das recomendações do Amazon Personalize, você pode registrar eventos de resultados com a operação da API Amazon Personalize PutEvents. Se o seu caso de uso de domínio ou fórmula personalizada oferecer suporte a atualizações de recomendações em tempo real, o Amazon Personalize poderá aprender com a atividade mais recente do seu usuário e atualizar as recomendações à medida que ele usar seu aplicativo. Se não oferecer suporte a atualizações, o Amazon Personalize usará esses dados durante o próximo retreinamento completo do seu modelo, o que afetará as recomendações.

     Para obter informações sobre streaming de eventos para o Amazon Personalize, consulte Gravar os eventos em tempo real para influenciar as recomendações.

4. Crie e inicie um experimento. Ao criar um experimento, especifique o seguinte:

   • Atributo: Escolha o atributo a ser testado no experimento.

   • Público-alvo: Configure quantos de seus usuários participarão e como dividir o tráfego entre as variações do atributo.

   • Métricas: Especifique as métricas que determinam o sucesso do experimento. Por exemplo, o número de cliques.

   Depois de criar o experimento, especifique a duração dele e inicie-o. Para obter instruções passo a passo sobre como criar e iniciar experimentos no CloudWatch Evidently, consulte Criar um experimento no Guia do usuário do Amazon CloudWatch.

5. À medida que o experimento é realizado, você pode ver os resultados no painel de experimento do CloudWatch Evidently. Para obter informações sobre a visualização dos resultados do experimento, consulte Visualizar os resultados do experimento no painel no Guia do usuário do Amazon CloudWatch.