Inventarisasi AWS sumber daya secara otomatis di beberapa akun dan Wilayah - AWS Prescriptive Guidance
RingkasanPrasyarat dan batasanArsitekturAlatPraktik terbaikEpikPemecahan MasalahSumber daya terkait

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Inventarisasi AWS sumber daya secara otomatis di beberapa akun dan Wilayah

Matej Macek, Amazon Web Services

Ringkasan

Pola ini menguraikan pendekatan otomatis untuk mempertahankan inventaris AWS sumber daya yang komprehensif di beberapa akun dan Wilayah AWS. Ini dirancang untuk membantu insinyur infrastruktur dan keamanan meningkatkan praktik manajemen sumber daya mereka. Ini digunakan AWS Config untuk melacak perubahan sumber daya, Amazon Athena untuk kueri, dan Amazon QuickSight untuk dasbor interaktif. Anda menerapkan solusi ini dengan menerapkan AWS CloudFormation tumpukan.

Solusi ini mirip dengan yang disajikan dalam Visualisasi AWS Config data menggunakan Amazon Athena dan QuickSight AmazonAWS (posting blog). Pola ini memperluas solusi itu untuk mengatasi persyaratan umum berikut dan memberikan manfaat utama berikut:

  • Berfokus pada kepatuhan - Pendekatan ini dapat membantu Anda memenuhi persyaratan peraturan seperti PCI DSS, NIST SP 800-53, ISO/IEC 27001, HIPAA, GDPR, dan lainnya yang mengamanatkan inventaris aset yang akurat.

  • Kerangka kustomisasi - Ini memberikan dasar untuk membuat QuickSight dasbor untuk berbagai AWS sumber daya, sehingga Anda dapat menyesuaikan solusi dengan kebutuhan spesifik Anda.

  • Peningkatan yang digerakkan oleh pengguna — Pendekatan ini menggabungkan umpan balik dari kasus penggunaan dunia nyata dan menangani permintaan untuk solusi yang lebih komprehensif.

Tim infrastruktur, keamanan, dan keuangan sering menghadapi tantangan visibilitas dan kolaborasi di lingkungan dinamis, multi-akun, atau Multi-wilayah. Solusi ini dirancang untuk mengatasi tantangan tersebut dan secara signifikan mengurangi waktu dan upaya yang diperlukan untuk membuat dan memelihara inventaris sumber daya. Hasilnya adalah pandangan terpusat sumber daya yang membantu Anda meningkatkan keputusan alokasi sumber daya, mengidentifikasi dan mengurangi risiko, mengoptimalkan biaya, dan meningkatkan visibilitas dan kolaborasi secara keseluruhan. Pendekatan ini menjembatani kesenjangan antara solusi konseptual dan kebutuhan implementasi dunia nyata untuk tujuan keamanan, kepatuhan, dan operasional.

Prasyarat dan batasan

Prasyarat

  • Berikut ini aktif Akun AWS:

    • Akun manajemen - Akun terpusat untuk penagihan, membuat akun, dan mengendalikan akses di seluruh organisasi

    • Akun audit — Hub terpusat untuk pemantauan keamanan, pemeriksaan kepatuhan, dan pemberitahuan drift

    • Akun arsip log — Akun terpusat untuk menyimpan dan menganalisis data yang dikumpulkan

  • Di akun audit, AWS Config agregator yang mengumpulkan dan mengumpulkan data konfigurasi dari akun target dan Wilayah

  • Di akun arsip log, siapkan yang berikut ini:

    • Bucket Amazon Simple Storage Service (Amazon S3) tempat Anda menyimpan data dari agregator AWS Config

    • QuickSight Langganan Amazon

    • Koneksi resmi antara QuickSight dan Amazon Athena

    • Izin untuk mengakses bucket Amazon S3 melalui kueri Athena

  • AWS Command Line Interface (AWS CLI), diinstal dan dikonfigurasi

  • Izin untuk menerapkan CloudFormation tumpukan yang menyediakan sumber daya berikut:

    • Sebuah AWS Lambda fungsi

    • Konfigurasi notifikasi Amazon S3

    • Database Athena, tabel, dan tampilan

    • QuickSight kumpulan data dan sumber data

  • Izin untuk menjalankan otomatisasi di AWS Systems Manager

  • Izin untuk mengakses QuickSight

Batasan

  • Solusinya bergantung pada AWS Config. AWS Config biasanya mencatat perubahan konfigurasi ke sumber daya Anda tepat setelah perubahan terdeteksi, atau pada frekuensi yang Anda tentukan. Namun, ini adalah upaya terbaik dan kadang-kadang bisa memakan waktu lebih lama.

  • Solusi ini hanya melacak jenis sumber daya yang AWS Config mendukung.

  • Solusinya tidak melacak inventaris sumber daya di penyedia cloud lain atau lingkungan lokal.

  • Beberapa Layanan AWS tidak tersedia di semua Wilayah AWS. Untuk ketersediaan Wilayah, lihat halaman titik akhir dan kuota Layanan di AWS dokumentasi, dan pilih tautan untuk layanan.

Arsitektur

Diagram berikut menunjukkan proses yang efisien untuk mengumpulkan, mengatur, menganalisis, dan memvisualisasikan konfigurasi dan data kepatuhan di beberapa akun dalam suatu AWS organisasi.

Mengumpulkan dan memvisualisasikan data konfigurasi dan kepatuhan di seluruh organisasi.

Diagram menunjukkan alur kerja berikut:

  1. Pada jadwal berkala, AWS Config agregator mengumpulkan data konfigurasi dan kepatuhan tentang sumber daya di akun target dan Wilayah dan kemudian mengirimkan data ke bucket Amazon S3 di akun arsip log.

  2. Menambahkan AWS Config data baru ke bucket Amazon S3 akan memanggil fungsi. AWS Lambda

  3. Fungsi Lambda mempartisi data dengan mengonfigurasi kunci dengan nilai yang sesuai dengan Wilayah dan tanggal setiap file snapshot. Ini membantu AWS Glue secara efisien menanyakan dan memproses konfigurasi dan data kepatuhan.

  4. Amazon Athena menggunakan AWS Glue skema untuk menjalankan kueri SQL terhadap data yang disimpan di bucket Amazon S3. Ini menggunakan metadata skema dari AWS Glue untuk memahami struktur data.

  5. Tampilan di Athena menentukan dan mengekstrak kumpulan data target.

  6. Dasbor di Amazon QuickSight membantu Anda memvisualisasikan dan menganalisis kumpulan data.

Alat

Layanan AWS

  • Amazon Athena adalah layanan kueri interaktif yang membantu Anda menganalisis data secara langsung di Amazon S3 dengan menggunakan SQL standar.

  • AWS CloudFormationmembantu Anda menyiapkan AWS sumber daya, menyediakannya dengan cepat dan konsisten, dan mengelolanya sepanjang siklus hidupnya di seluruh Akun AWS dan. Wilayah AWS

  • AWS Configmemberikan tampilan rinci tentang sumber daya di Anda Akun AWS dan bagaimana mereka dikonfigurasi. Ini membantu Anda mengidentifikasi bagaimana sumber daya terkait satu sama lain dan bagaimana konfigurasinya telah berubah dari waktu ke waktu. AWS Config Agregator mengumpulkan data AWS Config konfigurasi dan kepatuhan dari beberapa Akun AWS dan Wilayah.

  • AWS Glueadalah layanan ekstrak, transformasi, dan beban (ETL) yang dikelola sepenuhnya. Ini membantu Anda mengkategorikan, membersihkan, memperkaya, dan memindahkan data dengan andal antara penyimpanan data dan aliran data. Pola ini menggunakan AWS Glue Data Catalog dan Schema registry.

  • AWS Lambdaadalah layanan komputasi yang membantu Anda menjalankan kode tanpa perlu menyediakan atau mengelola server. Ini menjalankan kode Anda hanya bila diperlukan dan skala secara otomatis, jadi Anda hanya membayar untuk waktu komputasi yang Anda gunakan.

  • AWS Organizationsadalah layanan manajemen akun yang membantu Anda mengkonsolidasikan beberapa Akun AWS ke dalam organisasi yang Anda buat dan kelola secara terpusat.

  • Amazon QuickSight adalah layanan intelijen bisnis skala cloud (BI) yang membantu Anda memvisualisasikan, menganalisis, dan melaporkan data Anda dalam satu dasbor.

  • Amazon Simple Storage Service (Amazon S3) adalah layanan penyimpanan objek berbasis cloud yang membantu Anda menyimpan, melindungi, dan mengambil sejumlah data.

  • AWS Systems Managermembantu Anda mengelola aplikasi dan infrastruktur yang berjalan di AWS Cloud. Ini menyederhanakan aplikasi dan manajemen sumber daya, mempersingkat waktu untuk mendeteksi dan menyelesaikan masalah operasional, dan membantu Anda mengelola AWS sumber daya Anda dengan aman dalam skala besar. AWS Systems Manager Otomasi menyederhanakan tugas pemeliharaan, penyebaran, dan remediasi umum bagi banyak orang. Layanan AWS

Repositori kode

AWS CloudFormation Template untuk pola ini tersedia di GitHub repositori AWS Config visualisasi. CloudFormation Template ini menyebarkan runbook AWS Systems Manager otomatisasi yang disiapkan AWS Config untuk digunakan dengan Amazon Athena. Otomatisasi ini bersiap AWS Glue untuk terhubung dengan bucket Amazon S3 yang ditunjuk, membuat tampilan di Amazon Athena, dan mengonfigurasi Amazon untuk visualisasi dasbor. QuickSight

Praktik terbaik

Epik

TugasDeskripsiKeterampilan yang dibutuhkan

Unduh CloudFormation template.

Unduh template Config- QuickSight CloudFormation -Visualization-SSM-Automation.yaml.

Administrator AWS, administrator Cloud, DevOps insinyur

Ubah CloudFormation template.

Selesaikan langkah ini hanya jika Anda menggunakan AWS Control Towerdan AWS Config dikelola oleh AWS Control Tower. Anda perlu memodifikasi CloudFormation template.

  1. Masuk ke akun manajemen.

  2. Buka konsol AWS Organizations.

  3. Arahkan ke halaman Pengaturan. Halaman ini menampilkan detail tentang organisasi, termasuk ID organisasi.

  4. Salin ID organisasi.

  5. Di editor teks pilihan Anda, buka file Config- QuickSight -Visualization-SSM-Automation.yaml.

  6. Temukan baris berikut:

    return re.match('^AWSLogs/(\d+)/Config/([\w-]+)/(\d+)/(\d+)/(\d+)/ConfigSnapshot/[^\\\]+$', object_key)

  7. Ganti baris ini dengan yang berikut, di <ORGANIZATION_ID> mana ID yang sebelumnya Anda salin:

    return re.match('^<ORGANIZATION_ID>/AWSLogs/(\d+)/Config/([\w-]+)/(\d+)/(\d+)/(\d+)/ConfigSnapshot/[^\\\]+$', object_key)

  8. Simpan dan tutup file Config- QuickSight -Visualization-SSM-Automation.yaml.

DevOps insinyur, administrator AWS

Buat CloudFormation tumpukan.

Ikuti petunjuk di Buat tumpukan dari CloudFormation konsol. Perhatikan hal berikut:

  1. Pilih Unggah file templat, lalu pilih file YAMG yang Anda unduh.

  2. Untuk Nama tumpukan, masukkan Config-QuickSight-Visualization-SSM-Automation.

  3. Pilih Kirim.

Administrator AWS, administrator Cloud, DevOps insinyur
TugasDeskripsiKeterampilan yang dibutuhkan

Temukan nama QuickSight pengguna Anda.

  1. Buka konsol QuickSight .

  2. Buka menu profil.

  3. Catat nama pengguna. Anda membutuhkan nilai ini nanti.

Administrator AWS, administrator Cloud, DevOps insinyur

Temukan nama saluran pengiriman dan nama bucket Amazon S3.

  1. Di AWS CLI, masukkan perintah berikut:

    aws configservice describe-delivery-channels

  2. Catat nama bucket Amazon S3 dan nama saluran AWS Config pengiriman Anda. Anda membutuhkan nilai-nilai ini nanti.

Administrator AWS, administrator Cloud, DevOps insinyur

Jalankan otomatisasi di Systems Manager.

  1. Buka konsol AWS Systems Manager.

  2. Di panel navigasi, pilih Dokumen.

  3. Pilih yang dimiliki oleh saya.

  4. Pilih Config- QuickSight -Visualization.

  5. Pilih Eksekusi otomatisasi.

  6. Di bagian Parameter input, masukkan nilai Anda untuk parameter berikut:

    • ConfigDeliveryChannelName— Masukkan nama saluran AWS Config pengiriman Anda. Parameter ini diperlukan.

    • ConfigS3BucketLocation— Masukkan nama bucket Amazon S3 tempat Anda menyimpan data AWS Config konfigurasi. Parameter ini diperlukan.

    • QuickSightUserName— Masukkan nama pengguna yang memiliki akses administratif ke QuickSight. Parameter ini diperlukan.

    • AutomationAssumeRole— Nama Sumber Daya Amazon (ARN) dari peran AWS Identity and Access Management (IAM) yang memungkinkan Otomasi Systems Manager untuk melakukan tindakan atas nama Anda. Parameter ini bersifat opsional. Biarkan parameter ini kosong.

    • DeleteConfigVisualization— Pilihfalse.

  7. Pilih Eksekusi.

Administrator AWS, administrator Cloud, DevOps insinyur
TugasDeskripsiKeterampilan yang dibutuhkan

Segarkan data.

Untuk menjadwalkan penyegaran kumpulan data sesuai dengan kebutuhan spesifik Anda, ikuti petunjuk di Menyegarkan data SPICE.

Administrator AWS, DevOps insinyur, administrator Cloud

Buat analisis.

Untuk membuat dasbor QuickSight yang membantu Anda memvisualisasikan sumber daya, ikuti petunjuk di Memulai analisis di Amazon QuickSight.

QuickSight administrator

Buat dasbor.

  1. Setelah Anda selesai memodifikasi QuickSight analisis, ikuti petunjuk di dasbor Penerbitan untuk membuat dasbor. Dasbor adalah analisis yang dapat Anda bagikan dengan QuickSight pengguna lain.

  2. Ikuti petunjuk dalam Memberikan akses ke dasbor untuk berbagi dasbor dengan QuickSight pengguna target Anda.

QuickSight administrator
TugasDeskripsiKeterampilan yang dibutuhkan

Hapus sumber daya yang dibuat oleh otomatisasi Systems Manager.

  1. Buka konsol AWS Systems Manager.

  2. Di panel navigasi, pilih Dokumen.

  3. Pilih yang dimiliki oleh saya.

  4. Pilih Config- QuickSight -Visualization.

  5. Pilih Eksekusi otomatisasi.

  6. Di bagian Parameter input, untuk DeleteConfigVisualization parameter, masukkantrue.

  7. Pilih Eksekusi.

Administrator AWS, administrator Cloud, DevOps insinyur

Hapus CloudFormation tumpukan.

Untuk menghapus sumber daya di Config-QuickSight-Visualization-SSM-Automation tumpukan, ikuti petunjuk di Hapus tumpukan dari CloudFormation konsol.

Administrator AWS, administrator Cloud, DevOps insinyur

Pemecahan Masalah

IsuSolusi

Amazon QuickSight mencoba untuk terhubung ke us-east-1 Wilayah AWS, tetapi penciptaan sumber daya di Wilayah itu tidak diizinkan.

Kebijakan kontrol layanan membatasi langganan Anda ke Amazon QuickSight di Wilayah ini. Dalam kebijakan kontrol layanan, tentukan target secara manual Wilayah AWS. Ganti <REGION_ID> dengan pengenal Wilayah yang sesuai:

https://<REGION_ID>.quicksight.aws.amazon.com/sn/start/dashboards

Berikut ini adalah contohnya:

https://eu-central-1.quicksight.aws.amazon.com/sn/start/dashboards

Di Amazon Athena, Anda menemukan pesan berikut:

Before you run your first query, you need to set up a query result location in Amazon S3.

Pastikan Anda telah menyiapkan ember Amazon S3 tempat Anda akan menyimpan hasil kueri dari Amazon Athena. Kemudian ikuti petunjuk di Tentukan lokasi hasil kueri menggunakan konsol Amazon Athena.

Sumber daya terkait

AWS dokumentasi

AWS posting blog

Sumber daya lainnya