Registri dell'utilità di pianificazione in PCS AWS - AWS PC
PrerequisitiConfigura i registri dello schedulerNomi e percorsi dei flussi di log di SchedulerEsempio di record di log dello scheduler

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Registri dell'utilità di pianificazione in PCS AWS

Puoi configurare AWS PCS per inviare dati di registrazione dettagliati dal tuo programma di pianificazione del cluster ad Amazon CloudWatch Logs, Amazon Simple Storage Service (Amazon S3) e Amazon Data Firehose. Questo può aiutare nel monitoraggio e nella risoluzione dei problemi.

Prerequisiti

Il responsabile IAM che gestisce il cluster AWS PCS deve consentire l'pcs:AllowVendedLogDeliveryForResourceazione.

Il seguente esempio di politica IAM concede le autorizzazioni richieste.

{
   "Version": "2012-10-17",
   "Statement": [
      {
         "Sid": "PcsAllowVendedLogsDelivery",
         "Effect": "Allow",
         "Action": ["pcs:AllowVendedLogDeliveryForResource"],
         "Resource": [
            "arn:aws:pcs:::cluster/*"
         ]
      }
   ]
}

Configura i registri dello scheduler

È possibile configurare i registri dello scheduler per il cluster AWS PCS con o. AWS Management Console AWS CLI

AWS Management Console
Per configurare i log dello scheduler con la console

  1. Aprire la console AWS PCS.

  2. Nel pannello di navigazione scegliere Clusters (Cluster).

  3. Scegli il cluster in cui desideri aggiungere i log dello scheduler.

  4. Nella pagina dei dettagli del cluster, scegli la scheda Registri.

  5. In Scheduler Logs, scegli Aggiungi per aggiungere fino a 3 destinazioni di consegna dei log tra CloudWatch Logs, Amazon S3 e Firehose.

  6. Scegli Aggiorna le consegne dei log.

AWS CLI
Per configurare i registri dello scheduler con AWS CLI

  1. Crea una destinazione di consegna dei log:

    aws logs put-delivery-destination --region region \
  --name pcs-logs-destination \
  --delivery-destination-configuration \
  destinationResourceArn=resource-arn

    Sostituisci:

    • region— Il Regione AWS punto in cui si desidera creare la destinazione, ad esempio us-east-1

    • pcs-logs-destination— Un nome per la destinazione

    • resource-arn— L'Amazon Resource Name (ARN) di un gruppo di log CloudWatch Logs, un bucket S3 o un flusso di distribuzione Firehose.

    Per ulteriori informazioni, PutDeliveryDestinationconsulta Amazon CloudWatch Logs API Reference.

  2. Imposta il cluster PCS come fonte di consegna dei log:

    aws logs put-delivery-source --region region \
  --name cluster-logs-source-name \
  --resource-arn cluster-arn \
  --log-type PCS_SCHEDULER_LOGS

    Sostituisci:

    • region— Il Regione AWS contenuto del tuo cluster, ad esempio us-east-1

    • cluster-logs-source-name— Un nome per la fonte

    • cluster-arn— l'ARN del tuo AWS cluster PCS

    Per ulteriori informazioni, PutDeliverySourceconsulta Amazon CloudWatch Logs API Reference.

  3. Connect l'origine di consegna alla destinazione di consegna:

    aws logs create-delivery --region region \
  --delivery-source-name cluster-logs-source \
  --delivery-destination-arn destination-arn

    Sostituisci:

    • region— Il Regione AWS, ad esempio us-east-1

    • cluster-logs-source— Il nome della fonte di consegna

    • destination-arn— L'ARN della destinazione di consegna

    Per ulteriori informazioni, CreateDeliveryconsulta Amazon CloudWatch Logs API Reference.

Nomi e percorsi dei flussi di log di Scheduler

Il percorso e il nome dei log dello scheduler AWS PCS dipendono dal tipo di destinazione.

  • CloudWatch Log

    • Uno stream CloudWatch Logs segue questa convenzione di denominazione.

      AWSLogs/PCS/${cluster_id}/${log_name}_${scheduler_major_version}.log
      Esempio 
      AWSLogs/PCS/abcdef0123/slurmctld_24.05.log

  • Bucket S3

    • Un percorso di output del bucket S3 segue questa convenzione di denominazione:

      AWSLogs/${account-id}/PCS/${region}/${cluster_id}/${log_name}/${scheduler_major_version}/yyyy/MM/dd/HH/
      Esempio 
      AWSLogs/111111111111/PCS/us-east-2/abcdef0123/slurmctld/24.05/2024/09/01/00.

    • Il nome di un oggetto S3 segue questa convenzione:

      PCS_${log_name}_${scheduler_major_version}_#{expr date 'event_timestamp', format: "yyyy-MM-dd-HH"}_${cluster_id}_${hash}.log
      Esempio 
      PCS_slurmctld_24.05_2024-09-01-00_abcdef0123_0123abcdef.log

Esempio di record di log dello scheduler

AWS I log dello scheduler PCS sono strutturati. Includono campi come l'identificatore del cluster, il tipo di scheduler, le versioni principali e di patch, oltre al messaggio di registro emesso dal processo del controller Slurm. Ecco un esempio. 

{
    "resource_id": "s3431v9rx2",
    "resource_type": "PCS_CLUSTER",
    "event_timestamp": 1721230979,
    "log_level": "info",
    "log_name": "slurmctld",
    "scheduler_type": "slurm",
    "scheduler_major_version": "24.11",
    "scheduler_patch_version": "5",
    "node_type": "controller_primary",
    "message": "[2024-07-17T15:42:58.614+00:00] Running as primary controller\n"
}