Le planificateur enregistre dans PCS AWS - AWS PCS
PrérequisConfigurer les journaux du planificateurLe planificateur enregistre les chemins et les noms des fluxExemple d'enregistrement du journal du planificateur

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Le planificateur enregistre dans PCS AWS

Vous pouvez configurer AWS PCS pour envoyer des données de journalisation détaillées depuis votre planificateur de cluster à Amazon CloudWatch Logs, Amazon Simple Storage Service (Amazon S3) et Amazon Data Firehose. Cela peut faciliter la surveillance et le dépannage.

Prérequis

Le principal IAM qui gère le cluster AWS PCS doit autoriser l'pcs:AllowVendedLogDeliveryForResourceaction.

L'exemple de politique IAM suivant accorde les autorisations requises.

{
   "Version": "2012-10-17",
   "Statement": [
      {
         "Sid": "PcsAllowVendedLogsDelivery",
         "Effect": "Allow",
         "Action": ["pcs:AllowVendedLogDeliveryForResource"],
         "Resource": [
            "arn:aws:pcs:::cluster/*"
         ]
      }
   ]
}

Configurer les journaux du planificateur

Vous pouvez configurer les journaux du planificateur pour votre cluster AWS PCS à l'aide du AWS Management Console ou. AWS CLI

AWS Management Console
Pour configurer les journaux du planificateur avec la console

  1. Ouvrez la console AWS PCS.

  2. Dans le panneau de navigation, choisissez Clusters.

  3. Choisissez le cluster dans lequel vous souhaitez ajouter les journaux du planificateur.

  4. Sur la page des détails du cluster, choisissez l'onglet Logs.

  5. Sous Scheduler Logs, choisissez Ajouter pour ajouter jusqu'à 3 destinations de livraison de CloudWatch journaux parmi Logs, Amazon S3 et Firehose.

  6. Choisissez Mettre à jour les livraisons de journaux.

AWS CLI
Pour configurer les journaux du planificateur avec le AWS CLI

  1. Créez une destination de livraison du journal :

    aws logs put-delivery-destination --region region \
  --name pcs-logs-destination \
  --delivery-destination-configuration \
  destinationResourceArn=resource-arn

    Remplacer :

    • region— L' Région AWS endroit où vous souhaitez créer la destination, tel que us-east-1

    • pcs-logs-destination— Un nom pour la destination

    • resource-arn— Le nom de ressource Amazon (ARN) d'un groupe de CloudWatch journaux Logs, d'un bucket S3 ou d'un flux de diffusion Firehose.

    Pour plus d'informations, consultez PutDeliveryDestinationle manuel Amazon CloudWatch Logs API Reference.

  2. Définissez le cluster PCS comme source de livraison de journaux :

    aws logs put-delivery-source --region region \
  --name cluster-logs-source-name \
  --resource-arn cluster-arn \
  --log-type PCS_SCHEDULER_LOGS

    Remplacer :

    • region— Le Région AWS nom de votre cluster, tel que us-east-1

    • cluster-logs-source-name— Un nom pour la source

    • cluster-arn— l'ARN de votre cluster AWS PCS

    Pour plus d'informations, consultez PutDeliverySourcele manuel Amazon CloudWatch Logs API Reference.

  3. Connectez la source de livraison à la destination de livraison :

    aws logs create-delivery --region region \
  --delivery-source-name cluster-logs-source \
  --delivery-destination-arn destination-arn

    Remplacer :

    • region— Le Région AWS, tel que us-east-1

    • cluster-logs-source— Le nom de votre source de livraison

    • destination-arn— L'ARN de votre destination de livraison

    Pour plus d'informations, consultez CreateDeliveryle manuel Amazon CloudWatch Logs API Reference.

Le planificateur enregistre les chemins et les noms des flux

Le chemin et le nom des journaux du planificateur AWS PCS dépendent du type de destination.

  • CloudWatch Journaux

    • Un flux CloudWatch Logs suit cette convention de dénomination.

      AWSLogs/PCS/${cluster_id}/${log_name}_${scheduler_major_version}.log
      Exemple 
      AWSLogs/PCS/abcdef0123/slurmctld_24.05.log

  • Compartiment S3

    • Le chemin de sortie d'un compartiment S3 suit cette convention de dénomination :

      AWSLogs/${account-id}/PCS/${region}/${cluster_id}/${log_name}/${scheduler_major_version}/yyyy/MM/dd/HH/
      Exemple 
      AWSLogs/111111111111/PCS/us-east-2/abcdef0123/slurmctld/24.05/2024/09/01/00.

    • Le nom d'un objet S3 suit cette convention :

      PCS_${log_name}_${scheduler_major_version}_#{expr date 'event_timestamp', format: "yyyy-MM-dd-HH"}_${cluster_id}_${hash}.log
      Exemple 
      PCS_slurmctld_24.05_2024-09-01-00_abcdef0123_0123abcdef.log

Exemple d'enregistrement du journal du planificateur

AWS Les journaux du planificateur PCS sont structurés. Ils incluent des champs tels que l'identifiant du cluster, le type de planificateur, les versions majeures et de correctif, en plus du message de journal émis par le processus du contrôleur Slurm. Voici un exemple. 

{
    "resource_id": "s3431v9rx2",
    "resource_type": "PCS_CLUSTER",
    "event_timestamp": 1721230979,
    "log_level": "info",
    "log_name": "slurmctld",
    "scheduler_type": "slurm",
    "scheduler_major_version": "24.11",
    "scheduler_patch_version": "5",
    "node_type": "controller_primary",
    "message": "[2024-07-17T15:42:58.614+00:00] Running as primary controller\n"
}