Penemuan dan manajemen sumber data - CloudWatch Log Amazon
Apa itu Sumber Data CloudWatch Log?Cara memulaiBidang sistemMengakses Sumber DataHubungan dengan grup log

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Penemuan dan manajemen sumber data

CloudWatch Log secara otomatis menemukan dan mengkategorikan data log Anda berdasarkan sumber dan jenis data, sehingga lebih mudah untuk memahami dan mengelola log Anda dalam skala besar. Fitur ini menyediakan penemuan skema untuk sumber yang AWS dijual seperti Amazon VPC Flow Logs,, dan Route 53 CloudTrail, serta alat keamanan pihak ketiga.

Konsol Manajemen Log menyediakan tampilan tingkat tinggi dari log Anda yang diatur berdasarkan sumber dan jenis data, bukan hanya grup log. Organisasi ini membantu Anda:

  • Lihat log yang dikategorikan berdasarkan AWS layanan, sumber pihak ketiga (seperti Okta atau CrowdStrike), dan sumber kustom

  • Memahami skema dan struktur data log Anda secara otomatis

  • Buat kebijakan indeks bidang berdasarkan bidang skema yang ditemukan

  • Kelola log dengan lebih efisien di berbagai sumber data

  • Log kueri oleh sumber data yang berbeda

Saat Anda mengaktifkan pencatatan CloudWatch Log untuk AWS layanan yang didukung, CloudWatch Log secara otomatis menerapkan skema yang sesuai ke log Anda. Aplikasi skema otomatis ini membantu menjaga konsistensi dan memberikan wawasan langsung ke dalam struktur log Anda.

Apa itu Sumber Data CloudWatch Log?

CloudWatch Sumber Data Log adalah fitur yang menyediakan cara baru untuk mengatur dan mengkategorikan data log Anda berdasarkan sumber yang menghasilkan log. Sementara CloudWatch Log secara tradisional menggunakan grup log untuk mengatur log, Sumber Data menawarkan lapisan organisasi tambahan yang mengelompokkan log berdasarkan layanan asal dan jenis log mereka.

Bagaimana Sumber Data bekerja

Sumber Data menyediakan organisasi log berbasis layanan dan penemuan yang disederhanakan di seluruh infrastruktur Anda AWS . Anda dapat dengan mudah menemukan log dari layanan tertentu dan memfilter berdasarkan jenis log tanpa perlu mengetahui nama atau struktur grup log individu.

Untuk sumber pihak ketiga dan opsional untuk sumber log aplikasi, Sumber Data bekerja dengan CloudWatch pipeline untuk mengkategorikan log Anda. Saat mengonfigurasi pipeline untuk menyerap dan mengubah log, Anda menentukan nama dan jenis sumber data. CloudWatch Log kemudian secara otomatis mengkategorikan semua log yang diproses pipa. Untuk informasi selengkapnya, lihat CloudWatch saluran pipa di Panduan CloudWatch Pengguna Amazon.

Sumber Data mengkategorikan log menggunakan dua pengidentifikasi kunci:

  • Nama Sumber Data: AWS Layanan, sumber pihak ketiga, atau aplikasi yang menghasilkan log (misalnya, Route 53, Amazon VPC, Okta SSO CloudTrail, atau Falcon). CrowdStrike

  • Jenis Sumber Data: Jenis log spesifik yang dihasilkan oleh layanan tersebut.

Skema mendefinisikan struktur data log, termasuk bidang apa yang ada dan bagaimana informasi diatur. Sumber data tunggal dapat menghasilkan beberapa jenis log dengan skema dan tujuan yang berbeda. Misalnya, sumber AWS CloudTrail data memiliki dua jenis: peristiwa manajemen (yang melacak operasi bidang kontrol seperti membuat atau menghapus sumber daya) dan peristiwa data (yang melacak operasi bidang data seperti akses objek S3). Setiap jenis memiliki skema yang berbeda karena mereka menangkap berbagai jenis informasi.

Cara memulai

CloudWatch Log mengkategorikan log Anda ke sumber data berdasarkan asalnya. Metode ini tergantung pada jenis log yang Anda kerjakan:

Layanan AWS log

Log dari Layanan AWS yang didukung secara otomatis dikelompokkan berdasarkan sumber data tanpa konfigurasi apa pun yang diperlukan. CloudWatch Log mengenali log ini dan menerapkan nama dan jenis sumber data yang sesuai berdasarkan layanan asal.

Log pihak ketiga

Log pihak ketiga memerlukan saluran pipa untuk kategorisasi sumber data. Saat mengonfigurasi pipeline untuk menyerap log dari sumber pihak ketiga yang didukung seperti Microsoft Office 365, Okta CrowdStrike, atau Palo Alto Networks, Anda menentukan nama sumber data dan ketik dalam konfigurasi pipeline. CloudWatch Log secara otomatis mengkategorikan semua log yang diproses pipeline menggunakan pengidentifikasi tersebut.

Pipelines secara opsional dapat mengubah log pihak ketiga menjadi format Open Cybersecurity Schema Framework (OCSF) untuk analisis peristiwa keamanan standar. Ketika transformasi OCSF diaktifkan, nama dan jenis sumber data secara otomatis ditentukan berdasarkan pemetaan skema OCSF. Tanpa transformasi OCSF, Anda menentukan nama sumber data dan mengetik konfigurasi pipeline.

Log aplikasi

Untuk log aplikasi kustom, Anda dapat mengkategorikannya berdasarkan sumber data menggunakan salah satu metode berikut:

  • Tag grup log - Tambahkan tag ke grup log Anda menggunakan kunci cw:datasource:name dan cw:datasource:type untuk menentukan nama dan jenis sumber data masing-masing untuk semua log yang dicerna dalam grup log. Nilai tag dapat mencapai 64 karakter dan mungkin hanya berisi huruf kecil, angka dan garis bawah. Mereka harus mulai dengan huruf atau angka dan mereka mungkin tidak mengandung garis bawah ganda (__).

  • Konfigurasi saluran pipa - Konfigurasikan informasi sumber data melalui pipeline pemrosesan log saat menelan log aplikasi Anda.

catatan

Nama sumber data tidak dapat dimulai dengan “aws” atau “amazon” untuk menghindari konflik dengan log AWS layanan.

Bidang sistem

CloudWatch Log secara otomatis menambahkan tiga bidang sistem ke log yang dikategorikan berdasarkan sumber data. Bidang ini berfungsi sebagai aspek default:

  • @data_source_name- Berisi nama sumber data, atau “Tidak Diketahui” jika tidak ditentukan

  • @data_source_type- Berisi jenis sumber data, atau “Tidak Diketahui” jika tidak ditentukan

  • @data_format- Menunjukkan format data log

Ketika nama atau jenis sumber data tidak dapat ditentukan, bidang ini disetel ke “Tidak Diketahui”. Sumber data dengan nilai “Tidak Diketahui” masih terlihat dalam aspek dan di tabel sumber data di bawah “Manajemen Log” di Konsol, memungkinkan Anda mengidentifikasi log yang tidak dikategorikan dan dari grup log mana mereka berasal.

@data_formatBidang dapat berisi salah satu nilai berikut:

  • Default- Log tertelan tanpa modifikasi.

  • Custom- Log diproses melalui prosesor pipa atau log yang dicerna ke dalam grup log dengan name/type tag sumber data.

  • OCSF-<version>- Log diproses dengan prosesor OCSF (Open Cybersecurity Schema Framework) di pipeline.

  • AWS-OTEL-LOG-V<version>- OpenTelemetry log dicerna melalui titik akhir CloudWatch OTLP.

  • AWS-OTEL-TRACE-V<version>- OpenTelemetry jejak tertelan melalui titik akhir CloudWatch OTLP.

Bidang sistem ini memungkinkan Anda untuk memfilter dan menanyakan log Anda berdasarkan sumber dan formatnya, sehingga lebih mudah untuk bekerja dengan log dari berbagai asal dan saluran pemrosesan.

Mengakses Sumber Data

Konsol

Di konsol CloudWatch Log, Anda menggunakan tab Manajemen Log untuk mengakses sumber data Anda. CloudWatch Log secara otomatis mengkonsolidasikan data log Anda berdasarkan sumber dan tipe data, terus menemukan data yang baru dicerna. Dari daftar sumber data, Anda dapat membuat saluran pipa, menentukan indeks bidang dan aspek.

AWS CLI

Gunakan perintah berikut untuk membuat daftar sumber data dan jenis log yang berbeda di akun Anda:

aws logs list-aggregate-log-group-summaries --group-by DATA_SOURCE_NAME_AND_TYPE

Hubungan dengan grup log

Sumber data melengkapi daripada mengganti grup log. Log Anda terus disimpan dalam grup log seperti sebelumnya, tetapi sekarang mereka juga secara otomatis ditandai dengan informasi sumber data. Organisasi ganda ini memungkinkan Anda untuk:

  • Gunakan grup log untuk kebijakan kontrol akses dan penyimpanan berbutir halus

  • Gunakan sumber data untuk penemuan dan analisis log berbasis layanan

  • Log kueri menggunakan salah satu metode organisasi tergantung pada kebutuhan Anda

Sumber data membuatnya lebih mudah untuk bekerja dengan log dalam skala besar dengan memberikan tampilan layanan-sentris dari data log Anda di seluruh infrastruktur Anda. AWS