El planificador inicia sesión en AWS PCS - AWS PCS

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

El planificador inicia sesión en AWS PCS

Puede configurar AWS PCS para que envíe datos de registro detallados desde el programador de clústeres a Amazon CloudWatch Logs, Amazon Simple Storage Service (Amazon S3) y Amazon Data Firehose. Esto puede ayudar con la supervisión y la solución de problemas.

Requisitos previos

El director de IAM que administra el clúster de AWS PCS debe permitir la pcs:AllowVendedLogDeliveryForResource acción.

El siguiente ejemplo de política de IAM concede los permisos necesarios.

{ "Version": "2012-10-17", "Statement": [ { "Sid": "PcsAllowVendedLogsDelivery", "Effect": "Allow", "Action": ["pcs:AllowVendedLogDeliveryForResource"], "Resource": [ "arn:aws:pcs:::cluster/*" ] } ] }

Configura los registros del programador

Puede configurar los registros del planificador para su clúster de AWS PCS con la AWS Management Console tecla o. AWS CLI

AWS Management Console
Para configurar los registros del programador con la consola
  1. Abra la consola AWS PCS.

  2. En el panel de navegación, seleccione Clusters (Clústeres).

  3. Elija el clúster en el que desee añadir los registros del programador.

  4. En la página de detalles del clúster, selecciona la pestaña Registros.

  5. En Scheduler Logs, selecciona Añadir para añadir hasta 3 destinos de entrega de CloudWatch registros de entre Logs, Amazon S3 y Firehose.

  6. Selecciona Actualizar entregas de registros.

AWS CLI
Para configurar los registros del programador con AWS CLI
  1. Cree un destino de entrega de registros:

    aws logs put-delivery-destination --region region \ --name pcs-logs-destination \ --delivery-destination-configuration \ destinationResourceArn=resource-arn

    Reemplace:

    • region— El Región de AWS lugar en el que desea crear el destino, por ejemplo us-east-1

    • pcs-logs-destination— Un nombre para el destino

    • resource-arn— El nombre de recurso de Amazon (ARN) de un grupo de CloudWatch registros de Logs, un bucket de S3 o una transmisión de entrega de Firehose.

    Para obtener más información, consulta PutDeliveryDestinationla referencia de la API CloudWatch de Amazon Logs.

  2. Configure el clúster de PCS como fuente de entrega de registros:

    aws logs put-delivery-source --region region \ --name cluster-logs-source-name \ --resource-arn cluster-arn \ --log-type PCS_SCHEDULER_LOGS

    Reemplace:

    • region— El Región de AWS de su clúster, como us-east-1

    • cluster-logs-source-name— Un nombre para la fuente

    • cluster-arn— el ARN de su AWS clúster PCS

    Para obtener más información, consulta PutDeliverySourcela referencia de la API CloudWatch de Amazon Logs.

  3. Conecta la fuente de entrega al destino de entrega:

    aws logs create-delivery --region region \ --delivery-source-name cluster-logs-source \ --delivery-destination-arn destination-arn

    Reemplace:

    • region— Los Región de AWS, como us-east-1

    • cluster-logs-source— El nombre de su fuente de entrega

    • destination-arn— El ARN de su destino de entrega

    Para obtener más información, consulta CreateDeliveryla referencia de la API CloudWatch de Amazon Logs.

Rutas y nombres de las transmisiones de registros del programador

La ruta y el nombre de los registros del programador de AWS PCS dependen del tipo de destino.

  • CloudWatch Registros

    • Un flujo CloudWatch de registros sigue esta convención de nomenclatura.

      AWSLogs/PCS/${cluster_id}/${log_name}_${scheduler_major_version}.log
      ejemplo
      AWSLogs/PCS/abcdef0123/slurmctld_24.05.log
  • S3 bucket

    • La ruta de salida de un bucket de S3 sigue esta convención de nomenclatura:

      AWSLogs/${account-id}/PCS/${region}/${cluster_id}/${log_name}/${scheduler_major_version}/yyyy/MM/dd/HH/
      ejemplo
      AWSLogs/111111111111/PCS/us-east-2/abcdef0123/slurmctld/24.05/2024/09/01/00.
    • El nombre de un objeto de S3 sigue esta convención:

      PCS_${log_name}_${scheduler_major_version}_#{expr date 'event_timestamp', format: "yyyy-MM-dd-HH"}_${cluster_id}_${hash}.log
      ejemplo
      PCS_slurmctld_24.05_2024-09-01-00_abcdef0123_0123abcdef.log

Ejemplo de registro del programador

AWS Los registros del programador de PCS están estructurados. Incluyen campos como el identificador del clúster, el tipo de programador y las versiones principales y de parche, además del mensaje de registro emitido por el proceso del controlador Slurm. A continuación se muestra un ejemplo.

{
    "resource_id": "s3431v9rx2",
    "resource_type": "PCS_CLUSTER",
    "event_timestamp": 1721230979,
    "log_level": "info",
    "log_name": "slurmctld",
    "scheduler_type": "slurm",
    "scheduler_major_version": "24.11",
    "scheduler_patch_version": "5",
    "node_type": "controller_primary",
    "message": "[2024-07-17T15:42:58.614+00:00] Running as primary controller\n"
}