Monitoramento FSx de sistemas de arquivos ONTAP usando Harvest e Grafana - FSx para ONTAP

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Monitoramento FSx de sistemas de arquivos ONTAP usando Harvest e Grafana

NetApp O Harvest é uma ferramenta de código aberto para coletar métricas de desempenho e capacidade dos sistemas ONTAP e é compatível com FSx o ONTAP. Você pode usar o Harvest com Grafana para uma solução de monitoramento de código aberto.

Conceitos básicos do Harvest e Grafana

A seção a seguir detalha como você pode configurar o Harvest e o Grafana para medir o desempenho e a utilização FSx da capacidade de armazenamento do sistema de arquivos ONTAP.

Você pode monitorar seu sistema de arquivos Amazon FSx for NetApp ONTAP usando Harvest and Grafana. NetApp Harvest monitores ONTAP data centers coletando métricas de desempenho, capacidade e hardware dos sistemas FSx de arquivos ONTAP. Grafana fornece um painel onde os coletados Harvest métricas podem ser exibidas.

Painéis compatíveis do Harvest

O Amazon FSx for NetApp ONTAP expõe um conjunto de métricas diferente do que o local NetApp ONTAP. Portanto, somente o seguinte out-of-the-box Harvest Atualmente, os painéis marcados com fsx são compatíveis para uso com o FSx ONTAP. Alguns desses painéis podem não apresentar as informações que não são compatíveis.

  • Colheita: Metadados

  • ENDEREÇO: cDOT

  • ONTAP: Cluster

  • ONTAP: conformidade

  • ONTAP: Centro de dados

  • ONTAP: snapshots de proteção de dados

  • BOTÃO: LUN

  • ONTAP: Modo

  • ENDEREÇO: Qtree

  • ONTAP: segurança

  • TOQUE EM: SnapMirror

  • ONTAP: SVM

  • ONTAP: volume

Os seguintes exemplos de Harvest os painéis são compatíveis com o FSx for ONTAP, mas não são habilitados por padrão no Harvest.

  • TOQUE EM: FlexCache

  • TOQUE EM: FlexGroup

  • ONTAP: Clientes NFS

  • ONTAP: Monitores NFSv4 Storepool

  • ONTAP: Solução de problemas de NFS

  • ENCAIXE: SMB

  • ONTAP: Carga de trabalho

Sem compatibilidade Harvest painéis

Os seguintes exemplos de Harvest os painéis não são compatíveis com o FSx for ONTAP.

  • ONTAP: Agregado

  • ONTAP: Disco

  • ONTAP: Operação de serviço externo

  • ONTAP: Análise de sistemas de arquivos (FSA)

  • ONTAP: Health

  • TOQUE EM: MetroCluster

  • ONTAP: Potência

  • ONTAP: Prateleira

  • ONTAP: Armazenamentos de objetos do S3

AWS CloudFormation modelo

Para começar, você pode implantar um AWS CloudFormation modelo que inicia automaticamente uma EC2 instância da Amazon executando Harvest e Grafana. Como entrada para o AWS CloudFormation modelo, você especifica o fsxadmin usuário e o endpoint FSx de gerenciamento da Amazon para o sistema de arquivos que será adicionado como parte dessa implantação. Depois que a implantação for concluída, você poderá fazer login no painel do Grafana para monitorar seu sistema de arquivos.

Essa solução é usada AWS CloudFormation para automatizar a implantação da solução Harvest e Grafana. O modelo cria uma instância Amazon EC2 Linux e instala os softwares Harvest e Grafana. Para usar essa solução, baixe o fsx-ontap-harvest-grafanamodelo AWS CloudFormation .template.

nota

A implementação dessa solução gera cobrança pelos serviços associados AWS . Para obter mais informações, consulte as páginas de detalhes de preços desses serviços.

Tipos de EC2 instância da Amazon

Ao configurar o modelo, você fornece o tipo de EC2 instância da Amazon. NetAppA recomendação da para o tamanho da instância depende de quantos sistemas de arquivos você monitora e do número de métricas que você escolhe coletar. Com a configuração padrão, para cada 10 sistemas de arquivos que você monitora, NetApp recomenda:

  • CPU: dois núcleos

  • Memória: 1 GB

  • Disco: 500 MB (usado principalmente por arquivos de log)

Veja a seguir alguns exemplos de configurações e o tipo de instância t3 que você pode escolher.

Sistemas de arquivos CPU Disk Tipo de instância

Menos de 10

2 núcleos

500 MB

t3.micro

De 10 a 40

4 núcleos

1.000 MB

t3.xlarge

40+

8 núcleos

2.000 MB

t3.2xlarge

Para obter mais informações sobre os tipos de EC2 instância da Amazon, consulte Instâncias de uso geral no Guia EC2 do usuário da Amazon.

Regras de porta para instância

Ao configurar sua EC2 instância da Amazon, certifique-se de que as portas 3000 e 9090 estejam abertas para tráfego de entrada para o grupo de segurança em que as instâncias Amazon EC2 Harvest e Grafana estão. Como a instância iniciada se conecta a um endpoint por HTTPS, ela precisa resolver o endpoint, que precisa da porta 53 TCP/UDP para DNS. Além disso, para alcançar o endpoint, ele precisa da porta 443 TCP para HTTPS e acesso à Internet.

Procedimento de implantação

O procedimento a seguir configura e implanta a solução Harvest e Grafana. A implantação demora cerca de cinco minutos. Antes de começar, você deve ter um sistema de arquivos FSx for ONTAP em execução em uma Amazon Virtual Private Cloud (Amazon VPC) em AWS sua conta e as informações de parâmetros para o modelo listado abaixo. Para obter mais informações sobre como criar um sistema de arquivos, consulte Criar sistemas de arquivos.

Executar a pilha de soluções Harvest e Grafana
  1. Baixe o fsx-ontap-harvest-grafanamodelo AWS CloudFormation .template. Para obter mais informações sobre como criar uma AWS CloudFormation pilha, consulte Como criar uma pilha no AWS CloudFormation console no Guia do AWS CloudFormation usuário.

    nota

    Por padrão, esse modelo é iniciado na AWS região Leste dos EUA (Norte da Virgínia). Você deve iniciar essa solução em um Região da AWS local onde a Amazon FSx esteja disponível. Para obter mais informações, consulte FSx endpoints e cotas da Amazon no.Referência geral da AWS

  2. Em Parâmetros, analise os parâmetros para o modelo e modifique-os de acordo com as necessidades do seu sistema de arquivos. Essa solução usa os valores padrão apresentados a seguir.

    Parameter Padrão Descrição
    InstanceType t3.micro

    O tipo de EC2 instância da Amazon. A seguir, estão os tipos de instância t3.

    • t3.micro

    • t3.small

    • t3.medium

    • t3.large

    • t3.xlarge

    • t3.2xlarge

    Para ver a lista completa dos valores de tipo de EC2 instância da Amazon permitidos para esse parâmetro, consulte o fsx-ontap-harvest-grafana arquivo.template.

    KeyPair Nenhum valor padrão O par de chaves usado para acessar a EC2 instância da Amazon.
    SecurityGroup Nenhum valor padrão O ID do grupo de segurança da instância do Harvest e Grafana. Certifique-se de que as portas de entrada 3000 e 9090 (além das portas 53 e 443) estejam abertas dos clientes que você deseja usar para acessar seu painel do Grafana.
    Tipo de sub-rede Nenhum valor padrão Especifique o tipo de sub-rede, public ou private. Use uma sub-rede public para recursos que devem estar conectados à Internet e uma sub-rede privada para recursos que não estarão conectados à Internet. Para obter mais informações, consulte Tipos de sub-redes no Guia do usuário da Amazon VPC.
    Sub-rede Nenhum valor padrão Especifique a mesma sub-rede da sub-rede preferencial do sistema de arquivos Amazon FSx for NetApp ONTAP. Você pode encontrar o ID de sub-rede preferencial do sistema de arquivos no FSx console da Amazon, na guia Rede e segurança da página de detalhes do sistema FSx de arquivos do ONTAP
    LatestLinuxAmiId /aws/service/ami-amazon-linux-latest/amzn2-ami-hvm-x86_64-gp2 A versão mais recente da AMI do Amazon Linux 2 em uma determinada Região da AWS.
    FSxEndPoint Nenhum valor padrão O endereço IP do endpoint de gerenciamento do sistema de arquivos. Você pode encontrar o endereço IP do endpoint de gerenciamento do sistema de arquivos no FSx console da Amazon, na guia Administração da página de detalhes do sistema FSx de arquivos ONTAP.
    SecretName Nenhum valor padrão AWS Secrets Manager nome secreto contendo a senha do fsxadmin usuário do sistema de arquivos. Essa é a senha que você forneceu ao criar o sistema de arquivos.
  3. Escolha Próximo.

  4. Em Opções, escolha Próximo.

  5. Em Análise, analise e confirme as configurações. Você deve selecionar a caixa de seleção confirmando que o modelo cria os recursos do IAM.

  6. Selecione Criar para implantar a stack.

Você pode ver o status da pilha no AWS CloudFormation console na coluna Status. Você deverá visualizar um status CREATE_COMPLETE em cerca de cinco minutos.

Fazer login no Grafana

Após a conclusão da implantação, use seu navegador para fazer login no painel da Grafana no IP e na porta 3000 da instância da Amazon EC2 :

http://EC2_instance_IP:3000

Quando solicitado, use o nome de usuário (admin) e a senha (pass) padrão do Grafana. Recomendamos que você altere sua senha assim que fizer login.

Para obter mais informações, consulte a página NetApp Harvest em GitHub.

Solução de problemas do Harvest e Grafana

Se você encontrar algum dado ausente mencionado nos painéis do Harvest e do Grafana ou estiver tendo problemas para configurar o Harvest e o Grafana FSx com o ONTAP, verifique os tópicos a seguir para uma possível solução.

Os painéis de SVM e volume estão em branco

Se a AWS CloudFormation pilha foi implantada com sucesso e puder entrar em contato com a Grafana, mas os painéis de SVM e volume estiverem em branco, use o procedimento a seguir para solucionar problemas em seu ambiente. Você precisará de acesso SSH à EC2 instância da Amazon na qual o Harvest e o Grafana estão implantados.

  1. Faça SSH na EC2 instância da Amazon em que seus clientes Harvest e Grafana estão sendo executados.

    [~]$ ssh ec2-user@ec2_ip_address
  2. Use o seguinte comando para abrir o arquivo harvest.yml e:

    • Verifique se uma entrada foi criada FSx para sua instância do ONTAP comoCluster-2.

    • Verifique se as entradas de nome de usuário e senha correspondem às suas credenciais de fsxadmin.

    [ec2-user@ip-ec2_ip_address ~]$ sudo cat /home/ec2-user/harvest_install/harvest/harvest.yml
  3. Se o campo de senha estiver em branco, abra o arquivo em um editor e atualize-o com a senha de fsxadmin da seguinte forma:

    [ec2-user@ip-ec2_ip_address ~]$ sudo vi /home/ec2-user/harvest_install/harvest/harvest.yml
  4. Certifique-se de que as credenciais de usuário de fsxadmin estejam armazenadas no Secrets Manager no formato a seguir para qualquer implantação futura, substituindo fsxadmin_password pela sua senha.

    {"username" : "fsxadmin", "password" : "fsxadmin_password"}

CloudFormation pilha revertida após o tempo limite

Se você não conseguir implantar a CloudFormation pilha com êxito e ela estiver sendo revertida com erros, use o procedimento a seguir para resolver o problema. Você precisará de acesso SSH à EC2 instância implantada pela pilha CloudFormation .

  1. Reimplante a CloudFormation pilha, certificando-se de que a reversão automática esteja desativada.

  2. Faça SSH na EC2 instância da Amazon em que seus clientes Harvest e Grafana estão sendo executados.

    [~]$ ssh ec2-user@ec2_ip_address
  3. Use o comando a seguir para verificar se os contêineres do docker foram iniciados com sucesso.

    [ec2-user@ip-ec2_ip_address ~]$ sudo docker ps

    Na resposta, você deverá ver cinco contêineres da seguinte forma:

    CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 6b9b3f2085ef rahulguptajss/harvest "bin/poller --config…" 8 minutes ago Restarting (1) 20 seconds ago harvest_cluster-2 3cf3e3623fde rahulguptajss/harvest "bin/poller --config…" 8 minutes ago Up About a minute harvest_cluster-1 708f3b7ef6f8 grafana/grafana "/run.sh" 8 minutes ago Up 8 minutes 0.0.0.0:3000->3000/tcp harvest_grafana 0febee61cab7 prom/alertmanager "/bin/alertmanager -…" 8 minutes ago Up 8 minutes 0.0.0.0:9093->9093/tcp harvest_prometheus_alertmanager 1706d8cd5a0c prom/prometheus "/bin/prometheus --c…" 8 minutes ago Up 8 minutes 0.0.0.0:9090->9090/tcp harvest_prometheus
  4. Se os contêineres do docker não estiverem em execução, verifique se há falhas no arquivo /var/log/cloud-init-output.log da seguinte maneira.

    [ec2-user@ip-ec2_ip_address ~]$ sudo cat /var/log/cloud-init-output.log PLAY [Manage Harvest] ********************************************************** TASK [Gathering Facts] ********************************************************* ok: [localhost] TASK [Verify images] *********************************************************** failed: [localhost] (item=prom/prometheus) => {"ansible_loop_var": "item", "changed": false, "item": "prom/prometheus", "msg": "Error connecting: Error while fetching server API version: ('Connection aborted.', ConnectionResetError(104, 'Co nnection reset by peer'))"} failed: [localhost] (item=prom/alertmanager) => {"ansible_loop_var": "item", "changed": false, "item": "prom/alertmanage r", "msg": "Error connecting: Error while fetching server API version: ('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))"} failed: [localhost] (item=rahulguptajss/harvest) => {"ansible_loop_var": "item", "changed": false, "item": "rahulguptajs s/harvest", "msg": "Error connecting: Error while fetching server API version: ('Connection aborted.', ConnectionResetEr ror(104, 'Connection reset by peer'))"} failed: [localhost] (item=grafana/grafana) => {"ansible_loop_var": "item", "changed": false, "item": "grafana/grafana", "msg": "Error connecting: Error while fetching server API version: ('Connection aborted.', ConnectionResetError(104, 'Co nnection reset by peer'))"} PLAY RECAP ********************************************************************* localhost : ok=1 changed=0 unreachable=0 failed=1 skipped=0 rescued=0 ignored=0
  5. Se houver falhas, execute os comandos a seguir para implantar os contêineres do Harvest e Grafana.

    [ec2-user@ip-ec2_ip_address ~]$ sudo su [ec2-user@ip-ec2_ip_address ~]$ cd /home/ec2-user/harvest_install [ec2-user@ip-ec2_ip_address ~]$ /usr/local/bin/ansible-playbook manage_harvest.yml [ec2-user@ip-ec2_ip_address ~]$ /usr/local/bin/ansible-playbook manage_harvest.yml --tags api
  6. Valide os contêineres iniciados com sucesso executando sudo docker ps e conectando-se ao seu URL do Harvest e Grafana.