Analisis dan visualisasikan data JSON bersarang dengan Amazon Athena dan Amazon QuickSight - AWS Prescriptive Guidance
RingkasanPrasyarat dan batasanArsitekturAlatEpikSumber daya terkait

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Analisis dan visualisasikan data JSON bersarang dengan Amazon Athena dan Amazon QuickSight

Anoop Singh, Amazon Web Services

Ringkasan

Pola ini menjelaskan cara menerjemahkan struktur data berformat JSON yang bersarang ke dalam tampilan tabel dengan menggunakan Amazon Athena, dan kemudian memvisualisasikan data di Amazon. QuickSight

Anda dapat menggunakan data berformat JSON untuk umpan data yang didukung API dari sistem operasional untuk membuat produk data. Data ini juga dapat membantu Anda memahami pelanggan Anda dan interaksi mereka dengan produk Anda dengan lebih baik, sehingga Anda dapat menyesuaikan pengalaman pengguna dan memprediksi hasil.

Prasyarat dan batasan

Prasyarat

  • Aktif Akun AWS

  • File JSON yang mewakili struktur data bersarang (pola ini menyediakan file sampel)

Keterbatasan:

  • Fitur JSON terintegrasi dengan baik dengan fungsi berorientasi SQL yang ada di Athena. Namun, mereka tidak kompatibel dengan ANSI SQL, dan file JSON diharapkan membawa setiap catatan pada baris terpisah. Anda mungkin perlu menggunakan ignore.malformed.json properti di Athena untuk menunjukkan apakah catatan JSON yang salah bentuk harus diubah menjadi karakter nol atau menghasilkan kesalahan. Untuk informasi selengkapnya, lihat Praktik terbaik untuk membaca data JSON di dokumentasi Athena.

  • Pola ini hanya mempertimbangkan data berformat JSON dalam jumlah sederhana dan kecil. Jika Anda ingin menggunakan konsep-konsep ini dalam skala besar, pertimbangkan untuk menerapkan partisi data dan mengkonsolidasikan data Anda ke dalam file yang lebih besar.

Arsitektur

Diagram berikut menunjukkan arsitektur dan alur kerja untuk pola ini. Struktur data bersarang disimpan di Amazon Simple Storage Service (Amazon S3) Simple Storage Service (Amazon S3) dalam format JSON. Di Athena, data JSON dipetakan ke struktur data Athena. Anda kemudian membuat tampilan untuk menganalisis data, dan memvisualisasikan struktur data di QuickSight.

Menganalisis dan memvisualisasikan data JSON bersarang di AWS

Alat

Layanan AWS

  • Amazon Simple Storage Service (Amazon S3) adalah layanan penyimpanan objek berbasis cloud yang membantu Anda menyimpan, melindungi, dan mengambil sejumlah data. Pola ini menggunakan Amazon S3 untuk menyimpan file JSON.

  • Amazon Athena adalah layanan kueri interaktif yang membantu Anda menganalisis data secara langsung di Amazon S3 dengan menggunakan SQL standar. Pola ini menggunakan Athena untuk query dan mengubah data JSON. Dengan beberapa tindakan di dalamnya AWS Management Console, Anda dapat mengarahkan Athena ke data Anda di Amazon S3 dan menggunakan SQL standar untuk menjalankan kueri satu kali. Athena tanpa server, jadi tidak ada infrastruktur untuk mengatur atau mengelola, dan Anda hanya membayar untuk kueri yang Anda jalankan. Athena menskalakan secara otomatis dan menjalankan kueri secara paralel, sehingga hasilnya cepat, bahkan dengan kumpulan data besar dan kueri yang kompleks.     

  • Amazon QuickSight adalah layanan intelijen bisnis skala cloud (BI) yang membantu Anda memvisualisasikan, menganalisis, dan melaporkan data Anda di satu dasbor. QuickSight memungkinkan Anda dengan mudah membuat dan mempublikasikan dasbor interaktif yang menyertakan wawasan pembelajaran mesin (ML). Anda dapat mengakses dasbor ini dari perangkat apa pun, dan menyematkannya ke aplikasi, portal, dan situs web Anda.

Contoh kode

File JSON berikut menyediakan struktur data bersarang yang dapat Anda gunakan dalam pola ini.

{
  "symbol": "AAPL",
  "financials": [
    {
      "reportDate": "2017-03-31",
      "grossProfit": 20591000000,
      "costOfRevenue": 32305000000,
      "operatingRevenue": 52896000000,
      "totalRevenue": 52896000000,
      "operatingIncome": 14097000000,
      "netIncome": 11029000000,
      "researchAndDevelopment": 2776000000,
      "operatingExpense": 6494000000,
      "currentAssets": 101990000000,
      "totalAssets": 334532000000,
      "totalLiabilities": 200450000000,
      "currentCash": 15157000000,
      "currentDebt": 13991000000,
      "totalCash": 67101000000,
      "totalDebt": 98522000000,
      "shareholderEquity": 134082000000,
      "cashChange": -1214000000,
      "cashFlow": 12523000000,
      "operatingGainsLosses": null
    }
  ]
}

Epik

TugasDeskripsiKeterampilan yang dibutuhkan

Buat ember S3.

Untuk membuat bucket untuk menyimpan file JSON, masuk ke AWS Management Console, buka konsol Amazon S3, lalu pilih Buat bucket. Untuk informasi selengkapnya, lihat Membuat bucket di dokumentasi Amazon S3. 

Administrator sistem

Tambahkan data JSON bersarang.

Unggah file JSON Anda ke bucket S3. Untuk contoh file JSON, lihat bagian sebelumnya. Untuk petunjuk, lihat Mengunggah objek dalam dokumentasi Amazon S3.

Administrator sistem
TugasDeskripsiKeterampilan yang dibutuhkan

Buat tabel untuk memetakan data JSON.

  1. Buka konsol Athena.

  2. Buat database dengan mengikuti petunjuk dalam dokumentasi Athena.

  3. Dari menu Database, pilih database yang Anda buat.

  4. Di editor kueri, masukkan CREATE TABLE pernyataan seperti berikut ini:

    CREATE EXTERNAL TABLE financials_json (
    symbol string,
    financials array<
        struct<reportdate: string,
             grossprofit: bigint,
             totalrevenue: bigint,
             totalcash: bigint,
             totaldebt: bigint, 
             researchanddevelopment: bigint>>
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe' LOCATION 's3://s3bucket-for-athena/'

    dimana LOCATION menentukan lokasi bucket S3 yang berisi file JSON.

  5. Pilih Jalankan untuk membuat tabel.

Untuk informasi selengkapnya tentang membuat tabel, lihat dokumentasi Athena.

Developer

Buat tampilan untuk analisis data.

  1. Buka konsol Athena.

  2. Buat database dengan mengikuti petunjuk dalam dokumentasi Athena.

  3. Dari menu Database, pilih database yang Anda buat.

  4. Di editor kueri, masukkan CREATE VIEW pernyataan seperti berikut ini:

    CREATE OR REPLACE VIEW financial_json_view AS 
  SELECT 
  symbol, 
  financials[1].reportdate one_report_date, -- indexes start with 1 
  financials[1].totalrevenue one_total_revenue, 
  financials[1].reportdate another_report_date,
  financials[1].totalrevenue another_total_revenue 
FROM financials_json where symbol='AAPL' 
ORDER BY 
  1

  5. Pilih Jalankan untuk membuat tampilan.

Untuk informasi selengkapnya tentang membuat tampilan, lihat dokumentasi Athena.

Developer

Menganalisis dan memvalidasi data.

  1. Buka konsol Athena.

  2. Di editor kueri, jalankan kueri dengan menggunakan tampilan yang Anda buat di langkah sebelumnya.

  3. Validasi data terhadap file JSON, untuk mengonfirmasi bahwa nama kolom dan tipe data dipetakan dengan benar.

Developer
TugasDeskripsiKeterampilan yang dibutuhkan

Siapkan Athena sebagai sumber data di. QuickSight

  1. Buka konsol QuickSight .

  2. Pilih Datasets, New Dataset.

  3. Pilih Athena sebagai sumber data.

  4. Pilih database yang menyertakan tampilan yang Anda buat.

  5. Pilih tampilan yang ingin Anda buat dataset.

  6. Pada halaman pembuatan kumpulan data Selesai, pilih Kueri data Anda secara langsung.

  7. Pilih Visualisasikan.

Administrator sistem

Visualisasikan data dalam QuickSight.

  1. Setelah Anda memvisualisasikan kumpulan data, pilih visual dari panel kiri, dan pilih bidang untuk kumpulan data. Untuk informasi lebih lanjut, lihat tutorial dalam QuickSight dokumentasi.

  2. Simpan perubahan pada analisis.

  3. Pilih Publikasikan dasbor untuk mempublikasikan visual yang Anda buat.

Analis data

Sumber daya terkait