Logs do agendador no AWS PCS - AWS PCS

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Logs do agendador no AWS PCS

Você pode configurar o AWS PCS para enviar dados de registro detalhados do seu agendador de cluster para o Amazon CloudWatch Logs, o Amazon Simple Storage Service (Amazon S3) e o Amazon Data Firehose. Isso pode ajudar no monitoramento e na solução de problemas.

Pré-requisitos

O diretor do IAM que gerencia o cluster AWS PCS deve permitir a pcs:AllowVendedLogDeliveryForResource ação.

O exemplo a seguir da política do IAM concede as permissões necessárias.

{ "Version": "2012-10-17", "Statement": [ { "Sid": "PcsAllowVendedLogsDelivery", "Effect": "Allow", "Action": ["pcs:AllowVendedLogDeliveryForResource"], "Resource": [ "arn:aws:pcs:::cluster/*" ] } ] }

Configurar registros do agendador

Você pode configurar os registros do agendador para seu cluster AWS PCS com o AWS Management Console ou AWS CLI.

AWS Management Console
Para configurar os registros do agendador com o console
  1. Abra o console AWS PCS.

  2. No painel de navegação, escolha Clusters.

  3. Escolha o cluster ao qual você deseja adicionar os registros do agendador.

  4. Na página de detalhes do cluster, escolha a guia Registros.

  5. Em Scheduler Logs, escolha Add para adicionar até 3 destinos de entrega de CloudWatch logs entre Logs, Amazon S3 e Firehose.

  6. Escolha Atualizar entregas de registros.

AWS CLI
Para configurar os registros do agendador com o AWS CLI
  1. Crie um destino de entrega de registros:

    aws logs put-delivery-destination --region region \ --name pcs-logs-destination \ --delivery-destination-configuration \ destinationResourceArn=resource-arn

    Substitua:

    • region— O Região da AWS local onde você deseja criar o destino, como us-east-1

    • pcs-logs-destination— Um nome para o destino

    • resource-arn— O Amazon Resource Name (ARN) de um grupo de CloudWatch logs do Logs, bucket do S3 ou stream de entrega do Firehose.

    Para obter mais informações, consulte PutDeliveryDestinationa Referência da API Amazon CloudWatch Logs.

  2. Defina o cluster PCS como uma fonte de entrega de registros:

    aws logs put-delivery-source --region region \ --name cluster-logs-source-name \ --resource-arn cluster-arn \ --log-type PCS_SCHEDULER_LOGS

    Substitua:

    • region— O Região da AWS do seu cluster, como us-east-1

    • cluster-logs-source-name— Um nome para a fonte

    • cluster-arn— o ARN do seu AWS cluster PCS

    Para obter mais informações, consulte PutDeliverySourcea Referência da API Amazon CloudWatch Logs.

  3. Conecte a fonte de entrega ao destino da entrega:

    aws logs create-delivery --region region \ --delivery-source-name cluster-logs-source \ --delivery-destination-arn destination-arn

    Substitua:

    • region— O Região da AWS, como us-east-1

    • cluster-logs-source— O nome da sua fonte de entrega

    • destination-arn— O ARN do seu destino de entrega

    Para obter mais informações, consulte CreateDeliverya Referência da API Amazon CloudWatch Logs.

Caminhos e nomes do fluxo de registros do agendador

O caminho e o nome dos registros do agendador AWS PCS dependem do tipo de destino.

  • CloudWatch Logs

    • Um stream de CloudWatch registros segue essa convenção de nomenclatura.

      AWSLogs/PCS/${cluster_id}/${log_name}_${scheduler_major_version}.log
      exemplo
      AWSLogs/PCS/abcdef0123/slurmctld_24.05.log
  • S3 bucket

    • Um caminho de saída do bucket S3 segue esta convenção de nomenclatura:

      AWSLogs/${account-id}/PCS/${region}/${cluster_id}/${log_name}/${scheduler_major_version}/yyyy/MM/dd/HH/
      exemplo
      AWSLogs/111111111111/PCS/us-east-2/abcdef0123/slurmctld/24.05/2024/09/01/00.
    • Um nome de objeto S3 segue esta convenção:

      PCS_${log_name}_${scheduler_major_version}_#{expr date 'event_timestamp', format: "yyyy-MM-dd-HH"}_${cluster_id}_${hash}.log
      exemplo
      PCS_slurmctld_24.05_2024-09-01-00_abcdef0123_0123abcdef.log

Exemplo de registro de log do agendador

AWS Os registros do agendador PCS são estruturados. Eles incluem campos como identificador do cluster, tipo de agendador, versões principais e de patch, além da mensagem de log emitida pelo processo do controlador Slurm. Aqui está um exemplo.

{
    "resource_id": "s3431v9rx2",
    "resource_type": "PCS_CLUSTER",
    "event_timestamp": 1721230979,
    "log_level": "info",
    "log_name": "slurmctld",
    "scheduler_type": "slurm",
    "scheduler_major_version": "24.11",
    "scheduler_patch_version": "5",
    "node_type": "controller_primary",
    "message": "[2024-07-17T15:42:58.614+00:00] Running as primary controller\n"
}