Log penjadwal di AWS PCS - AWS PCS

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Log penjadwal di AWS PCS

Anda dapat mengonfigurasi AWS PCS untuk mengirim data pencatatan terperinci dari penjadwal klaster ke Amazon CloudWatch Logs, Amazon Simple Storage Service (Amazon S3), dan Amazon Data Firehose. Ini dapat membantu pemantauan dan pemecahan masalah.

Prasyarat

Prinsipal IAM yang mengelola cluster AWS PCS harus memungkinkan pcs:AllowVendedLogDeliveryForResource tindakan.

Contoh berikut kebijakan IAM memberikan izin yang diperlukan.

{ "Version": "2012-10-17", "Statement": [ { "Sid": "PcsAllowVendedLogsDelivery", "Effect": "Allow", "Action": ["pcs:AllowVendedLogDeliveryForResource"], "Resource": [ "arn:aws:pcs:::cluster/*" ] } ] }

Siapkan log penjadwal

Anda dapat mengatur log penjadwal untuk klaster AWS PCS Anda dengan AWS Management Console atau AWS CLI.

AWS Management Console
Untuk mengatur log penjadwal dengan konsol
  1. Buka konsol AWS PCS.

  2. Pada panel navigasi, silakan pilih Klaster.

  3. Pilih cluster tempat Anda ingin menambahkan log penjadwal.

  4. Pada halaman detail cluster, pilih tab Log.

  5. Di bawah Log Penjadwal, pilih Tambahkan untuk menambahkan hingga 3 tujuan pengiriman log dari antara CloudWatch Log, Amazon S3, dan Firehose.

  6. Pilih Perbarui pengiriman log.

AWS CLI
Untuk mengatur log penjadwal dengan AWS CLI
  1. Buat tujuan pengiriman log:

    aws logs put-delivery-destination --region region \ --name pcs-logs-destination \ --delivery-destination-configuration \ destinationResourceArn=resource-arn

    Ganti:

    • region— Wilayah AWS Tempat Anda ingin membuat tujuan, seperti us-east-1

    • pcs-logs-destination— Nama untuk tujuan

    • resource-arn— Nama Sumber Daya Amazon (ARN) dari grup CloudWatch log Log, bucket S3, atau aliran pengiriman Firehose.

    Untuk informasi selengkapnya, lihat PutDeliveryDestinationdi Referensi API Amazon CloudWatch Logs.

  2. Tetapkan cluster PCS sebagai sumber pengiriman log:

    aws logs put-delivery-source --region region \ --name cluster-logs-source-name \ --resource-arn cluster-arn \ --log-type PCS_SCHEDULER_LOGS

    Ganti:

    • region— Wilayah AWS Cluster Anda, seperti us-east-1

    • cluster-logs-source-name— Nama untuk sumbernya

    • cluster-arn— ARN dari cluster PCS Anda AWS

    Untuk informasi selengkapnya, lihat PutDeliverySourcedi Referensi API Amazon CloudWatch Logs.

  3. Hubungkan sumber pengiriman ke tujuan pengiriman:

    aws logs create-delivery --region region \ --delivery-source-name cluster-logs-source \ --delivery-destination-arn destination-arn

    Ganti:

    • region— yang Wilayah AWS, seperti us-east-1

    • cluster-logs-source— Nama sumber pengiriman Anda

    • destination-arn— ARN tujuan pengiriman Anda

    Untuk informasi selengkapnya, lihat CreateDeliverydi Referensi API Amazon CloudWatch Logs.

Jalur dan nama aliran log penjadwal

Jalur dan nama untuk log penjadwal AWS PCS bergantung pada jenis tujuan.

  • CloudWatch Log

    • Aliran CloudWatch Log mengikuti konvensi penamaan ini.

      AWSLogs/PCS/${cluster_id}/${log_name}_${scheduler_major_version}.log
      contoh
      AWSLogs/PCS/abcdef0123/slurmctld_24.05.log
  • Ember S3

    • Jalur keluaran bucket S3 mengikuti konvensi penamaan ini:

      AWSLogs/${account-id}/PCS/${region}/${cluster_id}/${log_name}/${scheduler_major_version}/yyyy/MM/dd/HH/
      contoh
      AWSLogs/111111111111/PCS/us-east-2/abcdef0123/slurmctld/24.05/2024/09/01/00.
    • Nama objek S3 mengikuti konvensi ini:

      PCS_${log_name}_${scheduler_major_version}_#{expr date 'event_timestamp', format: "yyyy-MM-dd-HH"}_${cluster_id}_${hash}.log
      contoh
      PCS_slurmctld_24.05_2024-09-01-00_abcdef0123_0123abcdef.log

Contoh catatan log penjadwal

AWS Log penjadwal PCS terstruktur. Mereka termasuk bidang seperti pengidentifikasi cluster, jenis penjadwal, versi mayor dan patch, selain pesan log yang dipancarkan dari proses pengontrol Slurm. Inilah contohnya.

{
    "resource_id": "s3431v9rx2",
    "resource_type": "PCS_CLUSTER",
    "event_timestamp": 1721230979,
    "log_level": "info",
    "log_name": "slurmctld",
    "scheduler_type": "slurm",
    "scheduler_major_version": "24.11",
    "scheduler_patch_version": "5",
    "node_type": "controller_primary",
    "message": "[2024-07-17T15:42:58.614+00:00] Running as primary controller\n"
}