Monitorar sistemas de arquivos do FSx para ONTAP usando Harvest e Grafana - FSx para ONTAP

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Monitorar sistemas de arquivos do FSx para ONTAP usando Harvest e Grafana

O NetApp Harvest é uma ferramenta de código aberto para coletar métricas de desempenho e capacidade de sistemas ONTAP e é compatível com o FSx para ONTAP. Você pode usar o Harvest com Grafana para uma solução de monitoramento de código aberto.

Conceitos básicos do Harvest e Grafana

A seção a seguir detalha como você pode instalar e configurar o Harvest e o Grafana para medir o desempenho e a utilização da capacidade de armazenamento do sistema de arquivos do seu FSx para ONTAP.

Monitore seu sistema de arquivos do Amazon FSx para NetApp ONTAP usando e. Harvest Grafana NetApp Harvestmonitora os data ONTAP centers coletando métricas de desempenho, capacidade e hardware de sistemas de arquivos do FSx para ONTAP. Grafanafornece um painel em que as Harvest métricas coletadas podem ser exibidas.

Painéis compatíveis do Harvest

O Amazon FSx para NetApp ONTAP apresenta um conjunto de métricas diferente do NetApp ONTAP on-premises. Portanto, apenas os painéis abaixo prontos para uso do Harvest, marcados com fsx, são atualmente compatíveis para uso no FSx para ONTAP. Alguns desses painéis podem não apresentar as informações que não são compatíveis.

  • Harvest: metadados

  • ONTAP: agregado

  • ONTAP: cDOT

  • ONTAP: cluster

  • ONTAP: conformidade

  • ONTAP: data center

  • ONTAP: proteção de dados

  • PONTO DE CONTATO: LUN

  • ONTAP: rede

  • ONTAP: Node

  • ONTAP: Qtree

  • ONTAP: segurança

  • ONTAP: SnapMirror

  • ONTAP: destinos do SnapMirror

  • ONTAP: fontes do SnapMirror

  • ONTAP: SVM

  • ONTAP: volume

  • ONTAP: volume por SVM

  • ONTAP: análise aprofundada do volume

Os Harvest painéis a seguir são compatíveis com o FSx para ONTAP, mas não estão habilitados por padrão no. Harvest

  • ONTAP: FlexCache

  • ONTAP: FlexGroup

  • ONTAP: Clientes NFS

  • ONTAP: Monitores NFSv4 Storepool

  • ONTAP: solução de problemas de NFS

  • ONTAP: namespaces NVMe

  • ONTAP: SMB

  • ONTAP: workload

Painéis não compatíveis Harvest

Os Harvest painéis a seguir não são compatíveis com o FSx para ONTAP.

  • ONTAP: disco

  • ONTAP: Operação de serviço externo

  • ONTAP: Análise de sistemas de arquivos (FSA)

  • ONTAP: espaço

  • ONTAP: saúde

  • ONTAP: solicitação de ONTAP: solicitação

  • ONTAP: MetroCluster

  • ONTAP: potência

  • ONTAP: prateleira

  • ONTAP: Armazenamentos de objetos do S3

Modelo do CloudFormation

Para começar, você pode implantar um modelo do CloudFormation que inicia automaticamente uma instância do Amazon EC2 executando o Harvest e o Grafana. Como entrada para o modelo do CloudFormation, especifique o usuário fsxadmin e o endpoint de gerenciamento do Amazon FSx para o sistema de arquivos que será adicionado como parte dessa implantação. Depois que a implantação for concluída, você poderá fazer login no painel do Grafana para monitorar seu sistema de arquivos.

Essa solução usa o CloudFormation para automatizar a implantação da solução Harvest e Grafana. O modelo cria uma instância do Linux do Amazon EC2 e instala os softwares Harvest e Grafana. Para usar essa solução, faça download do modelo fsx-ontap-harvest-grafana.template do CloudFormation.

nota

A implementação desta solução incorre em cobranças pelos serviços da AWS associados. Para obter mais informações, consulte as páginas de detalhes de preços desses serviços.

Tipos de instância do Amazon EC2

Ao configurar o modelo, forneça o tipo de instância do Amazon EC2. A recomendação do NetApp para o tamanho da instância depende de quantos sistemas de arquivos são monitorados e do número de métricas que escolhe coletar. Com a configuração padrão, para cada dez sistemas de arquivos monitorados, o NetApp recomenda:

  • CPU: dois núcleos

  • Memória: 1 GB

  • Disco: 500 MB (usado principalmente por arquivos de log)

Veja a seguir alguns exemplos de configurações e o tipo de instância t3 que você pode escolher.

Sistemas de arquivos CPU Disk Tipo de instância

Menos de 10

2 núcleos

500 MB

t3.micro

De 10 a 40

4 núcleos

1 mil MB

t3.xlarge

40+

8 núcleos

2 mil MB

t3.2xlarge

Para obter mais informações sobre os tipos de instância do Amazon EC2, consulte Instâncias de uso geral no Guia do usuário do Amazon EC2.

Regras de porta para instância

Ao configurar sua instância do Amazon EC2, certifique-se de que as portas 3000 e 9090 estejam abertas para tráfego de entrada do grupo de segurança em que as instâncias do Harvest e Grafana do Amazon EC2 estão. Como a instância iniciada se conecta a um endpoint por HTTPS, ela precisa resolver o endpoint, que precisa da porta 53 TCP/UDP para DNS. Além disso, para alcançar o endpoint, ele precisa da porta 443 TCP para HTTPS e acesso à Internet.

Procedimento de implantação

O procedimento a seguir configura e implanta a solução Harvest e Grafana. A implantação demora cerca de cinco minutos. Antes de começar, é necessário ter um sistema de arquivos do FSx para ONTAP em execução em uma Amazon Virtual Private Cloud (Amazon VPC) na conta da AWS, além das informações de parâmetros do modelo listado abaixo. Para obter mais informações sobre como criar um sistema de arquivos, consulte Criar sistemas de arquivos.

Executar a pilha de soluções Harvest e Grafana
  1. Baixe o modelo fsx-ontap-harvest-grafana.template do CloudFormation. Para obter mais informações sobre a criação de uma pilha do CloudFormation, consulte Criar uma pilha no console do AWS CloudFormation no Guia do usuário do AWS CloudFormation.

    nota

    Por padrão, esse modelo é iniciado na região Leste dos EUA (Norte da Virgínia) da AWS. Você deve executar essa solução em uma Região da AWS na qual o Amazon FSx esteja disponível. Para obter mais informações, consulte Amazon FSx endpoints and quotas na Referência geral da AWS.

  2. Em Parâmetros, analise os parâmetros para o modelo e modifique-os de acordo com as necessidades do seu sistema de arquivos. Essa solução usa os valores padrão apresentados a seguir.

    Parameter Padrão Descrição
    InstanceType t3.micro

    O tipo de instância do Amazon EC2. A seguir, estão os tipos de instância t3.

    • t3.micro

    • t3.small

    • t3.medium

    • t3.large

    • t3.xlarge

    • t3.2xlarge

    Para obter a lista completa dos valores do tipo de instância do Amazon EC2 permitidos para esse parâmetro, consulte fsx-ontap-harvest-grafana.template.

    KeyPair Nenhum valor padrão O par de chaves que é usado para acessar a instância do Amazon EC2.
    SecurityGroup Nenhum valor padrão O ID do grupo de segurança da instância do Harvest e Grafana. Certifique-se de que as portas de entrada 3000 e 9090 (além das portas 53 e 443) estejam abertas dos clientes que você deseja usar para acessar seu painel do Grafana.
    Tipo de sub-rede Nenhum valor padrão Especifique o tipo de sub-rede, public ou private. Use uma sub-rede public para recursos que devem estar conectados à Internet e uma sub-rede privada para recursos que não estarão conectados à Internet. Para obter mais informações, consulte Tipos de sub-redes no Guia do usuário da Amazon VPC.
    Sub-rede Nenhum valor padrão Especifique a mesma sub-rede da sua sub-rede preferencial do sistema de arquivos do Amazon FSx para NetApp ONTAP. Você pode encontrar o ID da sub-rede preferencial do sistema de arquivos no console do Amazon FSx, na guia Rede e segurança da página de detalhes do sistema de arquivos do FSx para ONTAP
    LatestLinuxAmiId /aws/service/ami-amazon-linux-latest/amzn2-ami-hvm-x86_64-gp2 A versão mais recente da AMI do Amazon Linux 2 em uma determinada Região da AWS.
    FSxEndPoint Nenhum valor padrão O endereço IP do endpoint de gerenciamento do sistema de arquivos. Você pode encontrar o endereço IP do endpoint de gerenciamento do sistema de arquivos no console do Amazon FSx, na guia Administração da página de detalhes do sistema de arquivos do FSx para ONTAP.
    SecretName Nenhum valor padrão Nome do segredo do AWS Secrets Manager contendo a senha do usuário fsxadmin do sistema de arquivos. Essa é a senha que você forneceu ao criar o sistema de arquivos.
  3. Escolha Próximo.

  4. Em Opções, escolha Próximo.

  5. Em Análise, analise e confirme as configurações. Você deve selecionar a caixa de seleção confirmando que o modelo cria os recursos do IAM.

  6. Selecione Criar para implantar a stack.

Você pode visualizar o status da pilha no console do CloudFormation, na coluna Status. Você deverá visualizar um status CREATE_COMPLETE em cerca de cinco minutos.

Fazer login no Grafana

Após a conclusão da implantação, use seu navegador para fazer login no painel do Grafana no IP e na porta 3000 da instância do Amazon EC2:

http://EC2_instance_IP:3000

Quando solicitado, use o nome de usuário (admin) e a senha (pass) padrão do Grafana. Recomendamos que você altere sua senha assim que fizer login.

Para obter mais informações, consulte a págino NetApp Harvest no GitHub.

Solução de problemas do Harvest e Grafana

Se você estiver encontrando dados ausentes mencionado nos painéis do Harvest e do Grafana ou estiver enfrentando problemas para configurar o Harvest e o Grafana com o FSx para ONTAP, consulte os tópicos a seguir para uma possível solução.

Os painéis de SVM e volume estão em branco

Se a pilha do CloudFormation tiver sido implantada com sucesso e conseguir entrar em contato com a Grafana, mas os painéis de SVM e volume estiverem em branco, aplique o procedimento a seguir para solucionar problemas em seu ambiente. Você precisará de acesso SSH à instância do Amazon EC2 na qual o Harvest e o Grafana estão implantados.

  1. Faça o SSH na instância do Amazon EC2 na qual seus clientes do Harvest e Grafana estão sendo executados.

    [~]$ ssh ec2-user@ec2_ip_address
  2. Use o seguinte comando para abrir o arquivo harvest.yml e:

    • Verifique se uma entrada foi criada para sua instância do FSx para ONTAP como Cluster-2.

    • Verifique se as entradas de nome de usuário e senha correspondem às suas credenciais de fsxadmin.

    [ec2-user@ip-ec2_ip_address ~]$ sudo cat /home/ec2-user/harvest_install/harvest/harvest.yml
  3. Se o campo de senha estiver em branco, abra o arquivo em um editor e atualize-o com a senha de fsxadmin da seguinte forma:

    [ec2-user@ip-ec2_ip_address ~]$ sudo vi /home/ec2-user/harvest_install/harvest/harvest.yml
  4. Certifique-se de que as credenciais de usuário de fsxadmin estejam armazenadas no Secrets Manager no formato a seguir para qualquer implantação futura, substituindo fsxadmin_password pela sua senha.

    {"username" : "fsxadmin", "password" : "fsxadmin_password"}

A pilha do CloudFormation foi revertida após o tempo limite

Se você não conseguir implantar a pilha do CloudFormation com sucesso e ela estiver sendo revertida com erros, execute o procedimento a seguir para resolver o problema. Você precisará de acesso SSH à instância do EC2 implantada pela pilha do CloudFormation.

  1. Reimplante a pilha do CloudFormation, certificando-se de que a reversão automática esteja desabilitada.

  2. Faça o SSH na instância do Amazon EC2 na qual seus clientes do Harvest e Grafana estão sendo executados.

    [~]$ ssh ec2-user@ec2_ip_address
  3. Use o comando a seguir para verificar se os contêineres do docker foram iniciados com sucesso.

    [ec2-user@ip-ec2_ip_address ~]$ sudo docker ps

    Na resposta, você deverá ver cinco contêineres da seguinte forma:

    CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 6b9b3f2085ef rahulguptajss/harvest "bin/poller --config…" 8 minutes ago Restarting (1) 20 seconds ago harvest_cluster-2 3cf3e3623fde rahulguptajss/harvest "bin/poller --config…" 8 minutes ago Up About a minute harvest_cluster-1 708f3b7ef6f8 grafana/grafana "/run.sh" 8 minutes ago Up 8 minutes 0.0.0.0:3000->3000/tcp harvest_grafana 0febee61cab7 prom/alertmanager "/bin/alertmanager -…" 8 minutes ago Up 8 minutes 0.0.0.0:9093->9093/tcp harvest_prometheus_alertmanager 1706d8cd5a0c prom/prometheus "/bin/prometheus --c…" 8 minutes ago Up 8 minutes 0.0.0.0:9090->9090/tcp harvest_prometheus
  4. Se os contêineres do docker não estiverem em execução, verifique se há falhas no arquivo /var/log/cloud-init-output.log da seguinte maneira.

    [ec2-user@ip-ec2_ip_address ~]$ sudo cat /var/log/cloud-init-output.log PLAY [Manage Harvest] ********************************************************** TASK [Gathering Facts] ********************************************************* ok: [localhost] TASK [Verify images] *********************************************************** failed: [localhost] (item=prom/prometheus) => {"ansible_loop_var": "item", "changed": false, "item": "prom/prometheus", "msg": "Error connecting: Error while fetching server API version: ('Connection aborted.', ConnectionResetError(104, 'Co nnection reset by peer'))"} failed: [localhost] (item=prom/alertmanager) => {"ansible_loop_var": "item", "changed": false, "item": "prom/alertmanage r", "msg": "Error connecting: Error while fetching server API version: ('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))"} failed: [localhost] (item=rahulguptajss/harvest) => {"ansible_loop_var": "item", "changed": false, "item": "rahulguptajs s/harvest", "msg": "Error connecting: Error while fetching server API version: ('Connection aborted.', ConnectionResetEr ror(104, 'Connection reset by peer'))"} failed: [localhost] (item=grafana/grafana) => {"ansible_loop_var": "item", "changed": false, "item": "grafana/grafana", "msg": "Error connecting: Error while fetching server API version: ('Connection aborted.', ConnectionResetError(104, 'Co nnection reset by peer'))"} PLAY RECAP ********************************************************************* localhost : ok=1 changed=0 unreachable=0 failed=1 skipped=0 rescued=0 ignored=0
  5. Se houver falhas, execute os comandos a seguir para implantar os contêineres do Harvest e Grafana.

    [ec2-user@ip-ec2_ip_address ~]$ sudo su [ec2-user@ip-ec2_ip_address ~]$ cd /home/ec2-user/harvest_install [ec2-user@ip-ec2_ip_address ~]$ /usr/local/bin/ansible-playbook manage_harvest.yml [ec2-user@ip-ec2_ip_address ~]$ /usr/local/bin/ansible-playbook manage_harvest.yml --tags api
  6. Valide os contêineres iniciados com sucesso executando sudo docker ps e conectando-se ao seu URL do Harvest e Grafana.