Résolution des problèmes liés au module complémentaire SageMaker HyperPod d'observabilité Amazon - Amazon SageMaker AI
Résolution des problèmes de métriques manquantes dans Amazon Managed GrafanaRésolution des problèmes d'installation des modules complémentaires

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Résolution des problèmes liés au module complémentaire SageMaker HyperPod d'observabilité Amazon

Suivez les instructions suivantes pour résoudre les problèmes courants liés au module complémentaire d'observabilité Amazon SageMaker HyperPod (SageMaker HyperPod).

Résolution des problèmes de métriques manquantes dans Amazon Managed Grafana

Si les statistiques n'apparaissent pas dans vos tableaux de bord Amazon Managed Grafana, effectuez les étapes suivantes pour identifier et résoudre le problème.

Vérifiez la connexion Amazon Managed Service pour Prometheus-Amazon Managed Grafana

  1. Connectez-vous à la console Amazon Managed Grafana.

  2. Dans le volet de gauche, sélectionnez Tous les espaces de travail.

  3. Dans le tableau Espaces de travail, choisissez votre espace de travail.

  4. Sur la page de détails de l'espace de travail, choisissez l'onglet Sources de données.

  5. Vérifiez que la source de données Amazon Managed Service for Prometheus existe.

  6. Vérifiez les paramètres de connexion :

    • Vérifiez que l'URL du point de terminaison est correcte.

    • Vérifiez que l'authentification IAM est correctement configurée.

    • Choisissez Test connection (Tester la connexion). Vérifiez que l'état est La source de données fonctionne.

Vérifiez l'état du module complémentaire Amazon EKS

  1. Ouvrez la console Amazon EKS à l'adresse https://console.aws.amazon.com/eks/home#/clusters.

  2. Sélectionnez votre cluster.

  3. Choisissez l'onglet Modules complémentaires.

  4. Vérifiez que le module complémentaire SageMaker HyperPod d'observabilité est répertorié et que son statut est ACTIF.

  5. Si le statut n'est pas ACTIF, copiez le message d'erreur et le contact AWS Support.

Vérifier l'association Pod Identity

  1. Ouvrez la console Amazon EKS à l'adresse https://console.aws.amazon.com/eks/home#/clusters.

  2. Sélectionnez votre cluster.

  3. Sur la page des détails du cluster, choisissez l'onglet Accès.

  4. Dans le tableau des associations Pod Identity, choisissez l'association dont les valeurs de propriété sont les suivantes :

    • Espace de noms : hyperpod-observability

    • Compte de service : hyperpod-observability-operator-otel-collector

    • Module complémentaire : amazon-sagemaker-hyperpod-observability

  5. Assurez-vous que le rôle IAM associé à cette association dispose des autorisations suivantes.

    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "PrometheusAccess",
            "Effect": "Allow",
            "Action": "aps:RemoteWrite",
            "Resource": "arn:aws:aps:Région AWS:account-ID:workspace/workspace-ID"
        },
        {
            "Sid": "CloudwatchLogsAccess",
            "Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:DescribeLogGroups",
                "logs:DescribeLogStreams",
                "logs:PutLogEvents",
                "logs:GetLogEvents",
                "logs:FilterLogEvents",
                "logs:GetLogRecord",
                "logs:StartQuery",
                "logs:StopQuery",
                "logs:GetQueryResults"
            ],
            "Resource": [
                "arn:aws:logs:Région AWS:account-ID:log-group:/aws/sagemaker/Clusters/*",
                "arn:aws:logs:Région AWS:account-ID:log-group:/aws/sagemaker/Clusters/*:log-stream:*"
            ]
        }
    ]
}

Vérifiez Amazon Managed Service pour la régulation de Prometheus

  1. Connectez-vous à la console Service Quotas AWS Management Console et ouvrez-la à l'adresse https://console.aws.amazon.com/servicequotas/.

  2. Dans la zone Quotas gérés, recherchez et sélectionnez Amazon Managed Service for Prometheus.

  3. Choisissez la série active par quota d'espace de travail.

  4. Dans l'onglet Quotas au niveau des ressources, sélectionnez votre espace de travail Amazon Managed Service for Prometheus.

  5. Assurez-vous que le taux d'utilisation est inférieur à votre quota actuel.

  6. Si vous avez atteint le quota, sélectionnez votre espace de travail en cliquant sur le bouton radio situé à gauche, puis choisissez Demander une augmentation au niveau des ressources.

Résolution des problèmes d'installation des modules complémentaires

Si le module complémentaire d'observabilité ne s'installe pas, suivez les étapes ci-dessous pour diagnostiquer et résoudre le problème.

Vérifier l'état de santé de la sonde

  1. Ouvrez la console Amazon EKS à l'adresse https://console.aws.amazon.com/eks/home#/clusters.

  2. Sélectionnez votre cluster.

  3. Choisissez l'onglet Modules complémentaires.

  4. Choisissez le module complémentaire qui a échoué.

  5. Consultez la section Problèmes de santé.

  6. Contactez le AWS Support pour obtenir les détails du problème.

Consulter les journaux du gestionnaire

  1. Téléchargez le module de gestion des modules complémentaires :

    kubectl get pods -n hyperpod-observability | grep manager

  2. Consultez les journaux :

    kubectl logs -n kube-system addon-manager-pod-name

Pour les problèmes urgents, contactez AWS Support.