View a markdown version of this page

Rotazioni del registro Slurm - Amazon SageMaker AI

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Rotazioni del registro Slurm

SageMaker HyperPod fornisce la rotazione automatica dei log per i log dei daemon di Slurm per aiutare a gestire l'utilizzo dello spazio su disco e mantenere le prestazioni del sistema. La rotazione dei log è fondamentale per evitare che i log consumino troppo spazio su disco e garantire un funzionamento ottimale del sistema mediante l'archiviazione e la rimozione automatica dei vecchi file di registro e la conservazione delle informazioni di registrazione recenti. Le rotazioni dei log di Slurm sono abilitate per impostazione predefinita quando si crea un cluster.

Come funziona la rotazione dei log

Se abilitata, la configurazione della rotazione del registro:

  • Monitora tutti i file di registro di Slurm con l'estensione .log situata nella /var/log/slurm/ cartella del controller, del login e dei nodi di calcolo.

  • Ruota i log quando raggiungono una dimensione di 50 MB.

  • Mantiene fino a due file di registro ruotati prima di eliminarli.

  • Invia il segnale SIGUSR2 ai demoni Slurm (,, e) dopo la rotazione. slurmctld slurmd slurmdbd

Elenco dei file di registro ruotati

I log di Slurm si trovano nella directory. /var/log/slurm/ La rotazione dei log è abilitata per tutti i file corrispondenti. /var/log/slurm/*.log Quando si verifica una rotazione, i file ruotati hanno suffissi numerici (ad esempio). slurmd.log.1 L'elenco seguente non è esaustivo ma mostra alcuni dei file di registro critici che ruotano automaticamente:

  • /var/log/slurm/slurmctld.log

  • /var/log/slurm/slurmd.log

  • /var/log/slurm/slurmdb.log

  • /var/log/slurm/slurmrestd.log

Abilita o disabilita la rotazione dei log

Puoi controllare la funzionalità di rotazione dei log utilizzando il enable_slurm_log_rotation parametro nello config.py script degli script del ciclo di vita del cluster, come mostrato nell'esempio seguente:

class Config: # Set false if you want to disable log rotation of Slurm daemon logs enable_slurm_log_rotation = True # Default value

Per disabilitare la rotazione del log, imposta il parametro suFalse, come mostrato nell'esempio seguente:

enable_slurm_log_rotation = False
Nota

Gli script del ciclo di vita vengono eseguiti su tutti i nodi Slurm (controller, login e nodi di calcolo) durante la creazione del cluster. Vengono eseguiti anche su nuovi nodi quando vengono aggiunti al cluster. L'aggiornamento delle configurazioni di rotazione dei log deve essere eseguito manualmente dopo la creazione del cluster. La configurazione della rotazione dei log è archiviata in/etc/logrotate.d/sagemaker-hyperpod-slurm. Si consiglia di mantenere abilitata la rotazione dei log per evitare che i file di registro occupino troppo spazio su disco. Per disattivare la rotazione dei log, eliminate il sagemaker-hyperpod-slurm file o commentatene il contenuto aggiungendolo # all'inizio di ogni riga del sagemaker-hyperpod-slurm file.

Impostazioni predefinite per la rotazione dei log

Le seguenti impostazioni vengono configurate automaticamente per ogni file di registro ruotato:

Impostazione Valore Description
rotate 2 Numero di file di registro ruotati da conservare
size 50 MB Dimensione massima prima della rotazione
copytruncate abilitato Copia e tronca il file di registro originale
compress disabled I log ruotati non vengono compressi
missingok abilitato Nessun errore se manca il file di registro
notifempty abilitato Non ruota i file vuoti
noolddir abilitato I file ruotati rimangono nella stessa directory