Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Registri dell'utilità di pianificazione in PCS AWS
Puoi configurare AWS PCS per inviare dati di registrazione dettagliati dal tuo programma di pianificazione del cluster ad Amazon CloudWatch Logs, Amazon Simple Storage Service (Amazon S3) e Amazon Data Firehose. Questo può aiutare nel monitoraggio e nella risoluzione dei problemi.
AWS PCS fornisce i log dei seguenti demoni Slurm tramite il tipo di registro: PCS_SCHEDULER_LOGS
-
slurmctld— Il demone del controller Slurm. Disponibile per tutte le versioni Slurm supportate. -
slurmdbd— Il demone del database Slurm. Disponibile per Slurm 24.11 e versioni successive. -
slurmrestd— Il demone dell'API REST di Slurm. Disponibile per Slurm 25.05 e versioni successive.
I cluster che hanno già configurato la PCS_SCHEDULER_LOGS consegna iniziano automaticamente a ricevere slurmdbd e a registrare quando eseguono una slurmrestd versione di Slurm supportata. e non sono necessarie ulteriori configurazioni.
Indice
Prerequisiti
Il responsabile IAM che gestisce il cluster AWS PCS deve consentire l'azione. pcs:AllowVendedLogDeliveryForResource
Il seguente esempio di politica IAM concede le autorizzazioni richieste.
Configura i registri dello scheduler
È possibile configurare i registri dello scheduler per il cluster AWS PCS con o. Console di gestione AWS AWS CLI
Nomi e percorsi dei flussi di log di Scheduler
Il percorso e il nome dei log dello scheduler AWS PCS dipendono dal tipo di destinazione.
Il ${log_name} valore nei percorsi seguenti èslurmctld, o slurmdbdslurmrestd, dipende dal demone che ha prodotto il log.
-
CloudWatch Log
-
Uno stream CloudWatch Logs segue questa convenzione di denominazione.
AWSLogs/PCS/${cluster_id}/${log_name}_${scheduler_major_version}.logEsempio
AWSLogs/PCS/abcdef0123/slurmctld_25.11.log AWSLogs/PCS/abcdef0123/slurmdbd_24.11.log AWSLogs/PCS/abcdef0123/slurmrestd_25.05.log
-
-
Bucket S3
-
Un percorso di output del bucket S3 segue questa convenzione di denominazione:
AWSLogs/${account-id}/PCS/${region}/${cluster_id}/${log_name}/${scheduler_major_version}/yyyy/MM/dd/HH/Esempio
AWSLogs/111111111111/PCS/us-east-2/abcdef0123/slurmctld/25.11/2024/09/01/00/ AWSLogs/111111111111/PCS/us-east-2/abcdef0123/slurmdbd/24.11/2024/09/01/00/ AWSLogs/111111111111/PCS/us-east-2/abcdef0123/slurmrestd/25.05/2024/09/01/00/
-
Il nome di un oggetto S3 segue questa convenzione:
PCS_${log_name}_${scheduler_major_version}_#{expr date 'event_timestamp', format: "yyyy-MM-dd-HH"}_${cluster_id}_${hash}.logEsempio
PCS_slurmctld_25.11_2024-09-01-00_abcdef0123_0123abcdef.log
-
Esempio di record di log dello scheduler
AWS I log dello scheduler PCS sono strutturati. Includono campi come l'identificatore del cluster, il tipo di scheduler, le versioni principali e di patch, oltre al messaggio di registro emesso dal processo demone Slurm. I node_type campi log_name and identificano quale demone ha prodotto il log.
L'esempio seguente mostra un record di slurmctld registro.
{
"resource_id": "s3431v9rx2",
"resource_type": "PCS_CLUSTER",
"event_timestamp": 1721230979,
"log_level": "info",
"log_name": "slurmctld",
"scheduler_type": "slurm",
"scheduler_major_version": "25.11",
"scheduler_patch_version": "2",
"node_type": "controller_primary",
"message": "[2024-07-17T15:42:58.614+00:00] Running as primary controller\n"
}
L'esempio seguente mostra un record di slurmdbd registro (Slurm 24.11 e versioni successive).
{
"resource_id": "pcs_bu93qsds2j",
"resource_type": "PCS_CLUSTER",
"event_timestamp": 1774485082772,
"log_level": "info",
"log_name": "slurmdbd",
"scheduler_type": "slurm",
"scheduler_major_version": "25.11",
"scheduler_patch_version": "2",
"node_type": "slurmdbd_primary",
"message": "[2026-03-26T00:31:22.772+00:00] mysql_common: storage token refreshed"
}
L'esempio seguente mostra un record di slurmrestd registro (Slurm 25.05 e versioni successive).
{
"resource_id": "pcs_bu93qsds2j",
"resource_type": "PCS_CLUSTER",
"event_timestamp": 1774485082772,
"log_level": "info",
"log_name": "slurmrestd",
"scheduler_type": "slurm",
"scheduler_major_version": "25.05",
"scheduler_patch_version": "3",
"node_type": "slurmrestd_primary",
"message": "[2026-03-26T00:31:22.772+00:00] slurmrestd: Listening on port 6820\n"
}