Solução do CloudWatch: workload da GPU da NVIDIA no Amazon EC2

Esta solução auxilia na configuração da coleta de métricas prontas para uso com agentes do CloudWatch para workloads da GPU da NVIDIA que estão sendo executadas em instâncias do EC2. Além disso, a solução ajuda na configuração de um painel do CloudWatch configurado previamente. Para obter informações gerais sobre todas as soluções de observabilidade do CloudWatch, consulte Soluções de observabilidade do CloudWatch.

Requisitos

Esta solução é aplicável nas seguintes condições:

Benefícios

A solução disponibiliza monitoramento da NVIDIA, fornecendo insights valiosos para os seguintes casos de uso:

A seguir, apresentamos as principais vantagens da solução:

A imagem apresentada a seguir é um exemplo do painel para esta solução.

Custos

Esta solução cria e usa recursos em sua conta. A cobrança será realizada com base no uso padrão, que inclui o seguinte:

Para obter mais informações sobre os preços do CloudWatch, consulte Preço do Amazon CloudWatch.

A calculadora de preços pode ajudar a estimar os custos mensais aproximados para o uso desta solução.

Configuração do agente do CloudWatch para esta solução

O agente do CloudWatch é um software que opera de maneira contínua e autônoma em seus servidores e em ambientes com contêineres. Ele coleta métricas, logs e rastreamentos da infraestrutura e das aplicações e os envia para o CloudWatch e para o X-Ray.

Para obter mais informações sobre o agente do CloudWatch, consulte Coletar métricas, logs e rastreamentos com o agente do CloudWatch.

Nesta solução, a configuração do agente coleta um conjunto de métricas para ajudar você a começar a monitorar e realizar a observabilidade da GPU da NVIDIA. O agente do CloudWatch pode ser configurado para coletar mais métricas da GPU da NVIDIA do que as que são exibidas por padrão no painel. Para obter uma lista de todas as métricas da GPU da NVIDIA que você pode coletar, consulte Colete métricas de GPU NVIDIA.

Configuração do agente para esta solução

As métricas coletadas pelo agente são definidas na configuração do agente. A solução fornece configurações do agente para a coleta das métricas recomendadas com dimensões adequadas para o painel da solução.

Use a configuração do agente do CloudWatch apresentada a seguir em instâncias do EC2 equipadas com GPUs da NVIDIA. A configuração será armazenada como um parâmetro no Parameter Store do SSM, conforme detalhado posteriormente em Etapa 2: armazenar o arquivo de configuração recomendado do agente do CloudWatch no Systems Manager Parameter Store.

{
    "metrics": {
        "namespace": "CWAgent",
        "append_dimensions": {
            "InstanceId": "${aws:InstanceId}"
        },
        "metrics_collected": {
            "nvidia_gpu": {
                "measurement": [
                    "utilization_gpu",
                    "temperature_gpu",
                    "power_draw",
                    "utilization_memory",
                    "fan_speed",
                    "memory_total",
                    "memory_used",
                    "memory_free",
                    "pcie_link_gen_current",
                    "pcie_link_width_current",
                    "encoder_stats_session_count",
                    "encoder_stats_average_fps",
                    "encoder_stats_average_latency",
                    "clocks_current_graphics",
                    "clocks_current_sm",
                    "clocks_current_memory",
                    "clocks_current_video"
                ],
                "metrics_collection_interval": 60
            }
        }
    },
    "force_flush_interval": 60
}

Implantação do agente para a sua solução

Existem várias abordagens para instalar o agente do CloudWatch, dependendo do caso de uso. Recomendamos o uso do Systems Manager para esta solução. Ele fornece uma experiência no console e simplifica o gerenciamento de uma frota de servidores gerenciados em uma única conta da AWS. As instruções apresentadas nesta seção usam o Systems Manager e são destinadas para situações em que o agente do CloudWatch não está em execução com as configurações existentes. É possível verificar se o agente do CloudWatch está em execução ao seguir as etapas apresentadas em Verificar se o atendente do CloudWatch está em execução.

Se você já estiver executando o agente do CloudWatch nos hosts do EC2 nos quais a workload está implantada e gerenciando as configurações do agente, pode pular as instruções apresentadas nesta seção e usar o mecanismo de implantação existente para atualizar a configuração. Certifique-se de combinar a configuração do agente da GPU da NVIDIA com a configuração do agente existente e, em seguida, implante a configuração combinada. Se você estiver usando o Systems Manager para armazenar e gerenciar a configuração do agente do CloudWatch, poderá combinar a configuração com o valor do parâmetro existente. Para obter mais informações, consulte Managing CloudWatch agent configuration files.

O processo de implantação inclui as seguintes etapas:

Etapa 1: garantir que as instâncias do EC2 de destino têm as permissões do IAM necessárias

Você deve conceder permissão para o Systems Manager instalar e configurar o agente do CloudWatch. Além disso, é necessário conceder permissão para que o agente do CloudWatch publique a telemetria da instância do EC2 para o CloudWatch. Certifique-se de que o perfil do IAM anexado à instância tenha as políticas do IAM CloudWatchAgentServerPolicy e AmazonSSMManagedInstanceCore associadas.

Etapa 2: armazenar o arquivo de configuração recomendado do agente do CloudWatch no Systems Manager Parameter Store

O Parameter Store simplifica a instalação do agente do CloudWatch em uma instância do EC2 ao armazenar e gerenciar os parâmetros de configuração de forma segura, eliminando a necessidade de valores com codificação rígida. Isso garante um processo de implantação mais seguro e flexível ao possibilitar o gerenciamento centralizado e as atualizações simplificadas para as configurações em diversas instâncias.

Use as etapas apresentadas a seguir para armazenar o arquivo de configuração recomendado do agente do CloudWatch como um parâmetro no Parameter Store.

Etapa 3: instalar o agente do CloudWatch e aplicar a configuração usando um modelo do AWS CloudFormation

É possível usar o AWS CloudFormation para instalar o agente e configurá-lo para usar a configuração do agente do CloudWatch criada nas etapas anteriores.

Se você desejar editar o arquivo de modelo previamente para personalizá-lo, selecione a opção Fazer upload de um arquivo de modelo no Assistente de criação de pilha para fazer o upload do modelo editado. Para obter mais informações, consulte Criar uma pilha no console do AWS CloudFormation.

Etapa 4: verificar se a configuração do agente foi realizada corretamente

É possível verificar se o agente do CloudWatch está instalado ao seguir as etapas apresentadas em Verificar se o atendente do CloudWatch está em execução. Se o agente do CloudWatch não estiver instalado e em execução, certifique-se de que todas as configurações foram realizadas corretamente.

Se todas as configurações estiverem corretas, as métricas da GPU da NVIDIA serão publicadas no CloudWatch e estarão disponíveis para visualização. É possível verificar no console do CloudWatch para assegurar que as métricas estão sendo publicadas corretamente.

Criação do painel da solução com a GPU da NVIDIA

O painel fornecido por esta solução apresenta métricas das GPUs da NVIDIA ao agregar e apresentar as métricas em todas as instâncias. O painel mostra um detalhamento dos principais colaboradores (que corresponde aos dez principais por widget de métrica) para cada métrica. Isso ajuda a identificar rapidamente discrepâncias ou instâncias que contribuem significativamente para as métricas observadas.

Para criar o painel, é possível usar as seguintes opções:

Ao usar o console do CloudWatch para criar um painel, é possível visualizá-lo previamente antes de criá-lo e incorrer em custos.

Se você desejar editar o arquivo de modelo para personalizá-lo para atender a uma necessidade específica, é possível usar a opção Fazer upload de um arquivo de modelo no Assistente de criação de pilha para fazer o upload do modelo editado. Para obter mais informações, consulte Criar uma pilha no console do AWS CloudFormation. É possível usar este link para fazer download do modelo: https://aws-observability-solutions-prod-us-east-1.s3.us-east-1.amazonaws.com/NVIDIA_GPU_EC2/CloudWatch/CFN/v1.0.0/dashboard-template-1.0.0.json.

Como começar a usar o painel da GPU da NVIDIA

A seguir, apresentamos algumas tarefas que você pode realizar para explorar o novo painel da GPU da NVIDIA. Essas tarefas permitem a validação do funcionamento correto do painel e fornecem uma experiência prática ao usá-lo para monitorar as GPUs da NVIDIA. À medida que realiza as tarefas, você se familiarizará com a navegação no painel e com a interpretação das métricas visualizadas.

Análise da utilização da GPU

Na seção Utilização, localize os widgets de Utilização da GPU e Utilização da memória. Eles mostram, respectivamente, a porcentagem de tempo em que a GPU está sendo ativamente usada para cálculos e a porcentagem de uso da memória global para leitura ou gravação. Uma utilização elevada pode indicar possíveis gargalos de performance ou a necessidade de obtenção de recursos adicionais de GPU.

Análise do uso de memória da GPU

Na seção Memória, localize os widgets Memória total, Memória usada e Memória livre. Esses widgets fornecem insights sobre a capacidade total de memória das GPUs, além de indicar a quantidade de memória que, no momento, está sendo consumida ou disponível. A pressão de memória pode acarretar em problemas de performance ou erros por falta de memória, portanto, é fundamental monitorar essas métricas e garantir que a workload tenha memória suficiente disponível.

Monitoramento da temperatura e do consumo de energia

Na seção Temperatura/Potência, localize os widgets de Temperatura da CPU e Consumo de energia. Essas métricas são essenciais para garantir que as GPUs estejam operando dentro dos limites seguros de temperatura e consumo de energia.

Identificação da performance do codificador

Na seção Codificador, localize os widgets de Contagem de sessões do codificador, Média de FPS e Latência média. Essas métricas são relevantes se você estiver executando workloads de codificação de vídeo em suas GPUs. O monitoramento dessas métricas é fundamental para garantir a operação ideal dos codificadores e identificar possíveis gargalos ou problemas de performance.

Verificação do status do link do PCIe

Na seção PCIe, localize os widgets de Geração do link do PCIe e de Largura do link do PCIe. Essas métricas fornecem informações sobre o link do PCIe que estabelece conexão entre a GPU e o sistema de host. Certifique-se de que o link esteja operando com a geração e a largura esperadas para evitar possíveis limitações de performance causadas por gargalos do PCIe.

Análise dos relógios da GPU

Na seção Relógio, localize os widgets de Relógio de gráficos, Relógio de SM, Relógio de memória e Relógio de vídeo. Essas métricas apresentam as frequências operacionais atuais dos diversos componentes da GPU. O monitoramento desses relógios pode ajudar a identificar possíveis problemas com o ajuste de escala ou com o controle de utilização do relógio da GPU, que podem impactar a performance.