Visualizar os resultados do monitoramento - Amazon Forecast

O Amazon Forecast não está mais disponível para novos clientes. Os clientes existentes do Amazon Forecast podem continuar usando o serviço normalmente. Saiba mais

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Visualizar os resultados do monitoramento

Depois de gerar uma previsão e importar mais dados, você poderá visualizar os resultados do monitoramento do preditor. Você pode ter uma visualização dos resultados com o console Forecast ou pode obter os resultados de forma programática com a operação ListMonitorEvaluations.

O console Forecast exibe gráficos de resultados para cada métrica do preditor. Os gráficos incluem como cada métrica mudou ao longo da vida útil do preditor e dos eventos dele, como um novo treinamento.

A operação ListMonitorEvaluations gera resultados métricos e eventos preditores para diferentes períodos.

Console
Para ver os resultados do monitoramento do preditor

  1. Faça login AWS Management Console e abra o console do Amazon Forecast em https://console.aws.amazon.com/forecast/.

  2. Na página Grupos de conjuntos de dados, escolha seu grupo de conjuntos de dados.

  3. No painel de navegação, selecione Preditores.

  4. Escolha o preditor e escolha a guia Monitoramento.

    • A seção Resultados do monitoramento mostra como as diferentes métricas de precisão mudaram com o passar do tempo. Use a lista suspensa para alterar a métrica que o gráfico monitora.

    • A seção Histórico de monitoramento mostra os detalhes dos diferentes eventos rastreados nos resultados.

    Veja um exemplo de um gráfico de como a pontuação Avg wQL de um preditor mudou ao longo do tempo. No gráfico, observe que o valor Avg wQL está aumentando com o tempo. Esse aumento indica que a precisão do preditor está diminuindo. Use essas informações para determinar se você precisa revalidar o modelo e tomar alguma atitude.

    Graph showing increasing Avg wQL score over time, indicating decreasing predictor accuracy.
SDK for Python (Boto3)

Para obter resultados de monitoramento com o SDK para Python (Boto3), use o método list_monitor_evaluations. Forneça o nome do recurso da Amazon (ARN) do monitor e, opcionalmente, especifique o número máximo de resultados a serem obtidos com o parâmetro MaxResults. Opcionalmente, especifique um Filter para filtrar os resultados. Você pode filtrar as avaliações por EvaluationState um de SUCCESS ouFAILURE. O seguinte código obtém no máximo 20 avaliações de monitoramento bem-sucedidas. 

import boto3
                            
forecast = boto3.client('forecast')

monitor_results = forecast.list_monitor_evaluations(
    MonitorArn = 'monitor_arn',
    MaxResults = 20,
    Filters = [ 
      { 
         "Condition": "IS",
         "Key": "EvaluationState",
         "Value": "SUCCESS"
      }
   ]
)
print(monitor_results)

O seguinte é um exemplo de resposta do JSON. 


{
  "NextToken": "string",
  "PredictorMonitorEvaluations": [
    {
      "MonitorArn": "MonitorARN",
      "ResourceArn": "PredictorARN",
      "EvaluationTime": "2020-01-02T00:00:00Z",
      "EvaluationState": "SUCCESS",
      "WindowStartDatetime": "2019-01-01T00:00:00Z",
      "WindowEndDatetime": "2019-01-03T00:00:00Z",
      "PredictorEvent": {
        "Detail": "Retrain",
        "Datetime": "2020-01-01T00:00:00Z"
      },
      "MonitorDataSource": {
        "DatasetImportJobArn": "arn:aws:forecast:region:accountNumber:dataset-import-job/*",
        "ForecastArn": "arn:aws:forecast:region:accountNumber:forecast/*",
        "PredictorArn": "arn:aws:forecast:region:accountNumber:predictor/*",
      
      },
      "MetricResults": [
        {
          "MetricName": "AverageWeightedQuantileLoss",
          "MetricValue": 0.17009070456599376
        },
        {
          "MetricName": "MAPE",
          "MetricValue": 0.250711322309796
        },
        {
          "MetricName": "MASE",
          "MetricValue": 1.6275608734888485
        },
        {
          "MetricName": "RMSE",
          "MetricValue": 3100.7125081405547
        },
        {
          "MetricName": "WAPE",
          "MetricValue": 0.17101159704738722}
      ]
    }
  ]
}