Daftarkan katalog bucket tabel S3 dan kueri Tabel dari Athena - Amazon Athena
Pertimbangan dan batasanKueri Tabel S3 dari Athena Buat Tabel S3 di AthenaDaftarkan katalog bucket tabel S3 sebagai sumber data AthenaCTAS untuk Tabel S3

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Daftarkan katalog bucket tabel S3 dan kueri Tabel dari Athena

Bucket tabel Amazon S3 adalah jenis bucket di Amazon S3 yang dibuat khusus untuk menyimpan data tabular di tabel Apache Iceberg. Bucket tabel mengotomatiskan tugas manajemen tabel seperti pemadatan, manajemen snapshot, dan pengumpulan sampah untuk terus mengoptimalkan kinerja kueri dan meminimalkan biaya. Baik Anda baru memulai, atau memiliki ribuan tabel di lingkungan Gunung Es Anda, bucket tabel menyederhanakan data lake pada skala apa pun. Untuk informasi selengkapnya, lihat Bucket tabel.

Pertimbangan dan batasan

  • Semua operasi DDL yang didukung untuk tabel Iceberg didukung untuk Tabel S3 dengan pengecualian berikut:

    • ALTER TABLE RENAME,CREATE VIEW, dan ALTER DATABASE tidak didukung.

    • OPTIMIZEdan VACUUM - Anda dapat mengelola manajemen pemadatan dan snapshot di S3. Untuk informasi selengkapnya, lihat dokumentasi pemeliharaan Tabel S3.

  • Kueri DDL pada Tabel S3 yang terdaftar sebagai sumber data Athena tidak didukung.

  • Penggunaan kembali hasil kueri tidak didukung.

  • Dalam kelompok kerja dengan SSE-KMS, enkripsi CSE-KMS diaktifkan, Anda tidak dapat menjalankan operasi tulis sepertiINSERT,,, atau pada Tabel S3. UPDATE DELETE MERGE

  • Dalam kelompok kerja dengan opsi S3 Requester Pays diaktifkan, Anda tidak dapat menjalankan operasi DMLpada Tabel S3.

Kueri Tabel S3 dari Athena

Selesaikan langkah-langkah prasyarat ini sebelum Anda menanyakan Tabel S3 di Athena

  1. Buat ember meja S3. Untuk informasi selengkapnya, lihat Membuat bucket tabel di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.

  2. Pastikan integrasi bucket tabel Anda dengan dan berhasil dengan mengikuti Prasyarat untuk integrasi AWS Glue Data Catalog dan AWS Lake Formation Mengintegrasikan bucket tabel dengan layanan AWS analitik di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.

    catatan

    Jika Anda mengaktifkan integrasi saat membuat bucket tabel S3 dari konsol S3 di Langkah 1, Anda dapat melewati langkah ini.

  3. Untuk prinsipal yang Anda gunakan untuk menjalankan kueri dengan Athena, berikan izin Lake Formation pada katalog Tabel S3, baik melalui konsol Lake Formation atau. AWS CLI

    AWS Management Console

    1. Buka AWS Lake Formation konsol di https://console.aws.amazon.com/lakeformation/ dan masuk sebagai administrator danau data. Untuk informasi selengkapnya tentang cara membuat administrator data lake, lihat Membuat administrator data lake.

    2. Di panel navigasi, pilih Izin data lalu pilih Hibah.

    3. Pada halaman Izin Hibah, di bawah Prinsipal, pilih prinsipal yang ingin Anda gunakan untuk mengirimkan kueri dari Athena.

    4. Di bawah LF-tag atau sumber katalog, pilih Sumber daya Katalog Data Bernama.

    5. Untuk Katalog, pilih katalog data lem yang Anda buat dari integrasi bucket meja Anda. Misalnya <accoundID> ,:s3tablescatalog/. amzn-s3-demo-bucket

    6. Untuk izin Katalog, pilih Super.

    7. PilihIzin.

    AWS CLI

    Jalankan perintah berikut dengan peran administrator danau data Lake Formation untuk memberikan akses ke kepala sekolah yang Anda gunakan untuk mengirimkan kueri dari Athena. 

    aws lakeformation grant-permissions \
--region <region (Example,us-east-1)> \
--cli-input-json \
'{
    "Principal": {
        "DataLakePrincipalIdentifier": "<user or role ARN (Example, arn:aws:iam::<Account ID>:role/ExampleRole>"
    },
    "Resource": {
        "Catalog": {
            "Id":"<Account ID>:s3tablescatalog/amzn-s3-demo-bucket"
        }
    },
    "Permissions": ["ALL"]
}'
Kirim kueri untuk Tabel S3

  1. Kirim CREATE DATABASE kueri dari Athena dengan pengguna/peran yang diberikan di atas. Dalam contoh ini, s3tablescatalog adalah Katalog Data Glue induk yang dibuat dari integrasi dan s3tablescatalog/amzn-s3-demo-bucket merupakan Katalog Data Glue anak yang dibuat untuk setiap bucket tabel S3. Ada dua cara di mana Anda dapat menanyakan.

    Option 1

    Tentukan anak Glue Data Catalog (s3tablescatalog/amzn-s3-demo-bucket) langsung dari konsol atau AWS CLI.

    Menggunakan AWS Management Console

    1. Buka konsol Athena di https://console.aws.amazon.com/athena/.

    2. Di navigasi kiri, untuk nama sumber data, pilih AwsDataCatalog.

    3. Untuk Katalog, pilih amzn-s3-demo-buckets3tablescatalog/.

    4. Di editor kueri, masukkan kueri sepertiCREATE DATABASE test_namespace.

    Menggunakan AWS CLI

    Jalankan perintah berikut.

    aws athena start-query-execution \ 
--query-string 'CREATE DATABASE `test_namespace`' \ 
--query-execution-context '{"Catalog": "s3tablescatalog/amzn-s3-demo-bucket"}' \
--work-group "primary"
    Option 2

    Buat katalog data Athena dari Katalog Data Glue anak di konsol Athena dan tentukan sebagai katalog dalam kueri. Untuk informasi selengkapnya, lihat Daftarkan katalog bucket tabel S3 sebagai sumber data Athena.

  2. Dengan database yang Anda buat pada langkah sebelumnya, gunakan CREATE TABLE untuk membuat tabel. Contoh berikut membuat tabel dalam test_namespace database yang sebelumnya Anda buat di katalog s3tablescatalog/amzn-s3-demo-bucket Glue.

    AWS Management Console

    1. Di navigasi kiri, untuk nama sumber data, pilih AwsDataCatalog.

    2. Untuk Katalog, pilih amzn-s3-demo-buckets3tablescatalog/.

    3. Untuk Database, pilih test_namespace.

    4. Di editor kueri, jalankan kueri berikut.

      CREATE TABLE daily_sales (
        sale_date date,
        product_category
        string, sales_amount double)
PARTITIONED BY (month(sale_date))
TBLPROPERTIES ('table_type' = 'iceberg')
    AWS CLI

    Jalankan perintah berikut.

    aws athena start-query-execution \
--query-string "CREATE TABLE daily_sales (
        sale_date date,
        product_category
        string, sales_amount double)
PARTITIONED BY (month(sale_date))
TBLPROPERTIES ('table_type' = 'iceberg')" \
--query-execution-context '{"Catalog": "s3tablescatalog/amzn-s3-demo-bucket", "Database":"test_namespace"}' \
--work-group "primary"

  3. Masukkan data ke dalam tabel yang Anda buat pada langkah sebelumnya.

    AWS Management Console

    1. Di navigasi kiri, untuk nama sumber data, pilih AwsDataCatalog.

    2. Untuk Katalog, pilih amzn-s3-demo-buckets3tablescatalog/.

    3. Untuk Database, pilih test_namespace.

    4. Di editor kueri, jalankan kueri berikut.

      INSERT INTO daily_sales
VALUES 
    (DATE '2024-01-15', 'Laptop', 900.00),
    (DATE '2024-01-15', 'Monitor', 250.00),
    (DATE '2024-01-16', 'Laptop', 1350.00),
    (DATE '2024-02-01', 'Monitor', 300.00);
    AWS CLI

    Jalankan perintah berikut.

    aws athena start-query-execution \
--query-string "INSERT INTO \"s3tablescatalog/amzn-s3-demo-bucket\".test_namespace.daily_sales
VALUES 
(DATE '2024-01-15', 'Laptop', 900.00),
(DATE '2024-01-15', 'Monitor', 250.00),
(DATE '2024-01-16', 'Laptop', 1350.00),
(DATE '2024-02-01', 'Monitor', 300.00)"\ 
--work-group "primary"

  4. Setelah memasukkan data ke dalam tabel, Anda dapat menanyakannya.

    AWS Management Console

    1. Di navigasi kiri, untuk nama sumber data, pilih AwsDataCatalog.

    2. Untuk Katalog, pilih amzn-s3-demo-buckets3tablescatalog/.

    3. Untuk Database, pilih test_namespace.

    4. Di editor kueri, jalankan kueri berikut.

      SELECT
    product_category,
    COUNT(*) AS units_sold,
    SUM(sales_amount) AS total_revenue,
    AVG(sales_amount) AS average_price
FROM
    daily_sales
WHERE
    sale_date BETWEEN DATE '2024-02-01' 
                 AND DATE '2024-02-29'
GROUP BY
    product_category
ORDER BY
    total_revenue DESC
    AWS CLI

    Jalankan perintah berikut.

    aws athena start-query-execution \
--query-string "SELECT product_category,
    COUNT(*) AS units_sold,
    SUM(sales_amount) AS total_revenue,
    AVG(sales_amount) AS average_price
FROM \"s3tablescatalog/amzn-s3-demo-bucket\".test_namespace.daily_sales
WHERE sale_date BETWEEN DATE '2024-02-01' AND DATE '2024-02-29'
GROUP BY product_category
ORDER BY total_revenue DESC"\
--work-group "primary"

Buat Tabel S3 di Athena

Athena mendukung pembuatan tabel di ruang nama Tabel S3 yang ada atau ruang nama yang dibuat di Athena dengan pernyataan. CREATE DATABASE Untuk membuat Tabel S3 dari Athena, sintaksnya sama seperti saat Anda membuat tabel Iceberg biasa kecuali Anda tidak menentukan, seperti yang ditunjukkan LOCATION pada contoh berikut.

CREATE TABLE
[db_name.]table_name (col_name data_type [COMMENT col_comment] [, ...] )
[PARTITIONED BY (col_name | transform, ... )]
[TBLPROPERTIES ([, property_name=property_value] )]

Anda juga dapat membuat Tabel S3 menggunakan pernyataan CREATE TABLE AS SELECT (CTAS). Untuk informasi selengkapnya, lihat CTAS untuk Tabel S3.

Daftarkan katalog bucket tabel S3 sebagai sumber data Athena

Untuk mendaftarkan katalog bucket tabel S3 dengan konsol Athena, lakukan langkah-langkah berikut.

  1. Buka konsol Athena di https://console.aws.amazon.com/athena/.

  2. Di panel navigasi, pilih Sumber data dan katalog.

  3. Pada halaman Sumber data dan katalog, pilih Buat sumber data.

  4. Untuk Pilih sumber data, pilih Amazon S3 -. AWS Glue Data Catalog

  5. Di AWS Glue Data Catalogbagian ini, untuk Akun sumber data, pilih AWS Glue Data Catalog di akun ini.

  6. Untuk Buat tabel atau daftarkan katalog, pilih Daftarkan AWS Glue Katalog baru.

  7. Di bagian Rincian sumber data, untuk nama sumber data, masukkan nama yang ingin Anda gunakan untuk menentukan sumber data dalam kueri SQL Anda atau gunakan nama default yang dihasilkan.

  8. Untuk Katalog, pilih Jelajahi untuk mencari daftar AWS Glue katalog di akun yang sama. Jika Anda tidak melihat katalog yang ada, buat katalog di AWS Glue konsol.

  9. Dalam kotak dialog Jelajahi AWS Glue katalog, pilih katalog yang ingin Anda gunakan, lalu pilih Pilih.

  10. (Opsional) Untuk Tag, masukkan key/value pasangan apa pun yang ingin Anda kaitkan dengan sumber data.

  11. Pilih Berikutnya.

  12. Pada halaman Tinjau dan buat, verifikasi bahwa informasi yang Anda masukkan sudah benar, lalu pilih Buat sumber data.

CTAS untuk Tabel S3

Amazon Athena sekarang mendukung operasi CREATE TABLE AS SELECT (CTAS) untuk Tabel S3. Fitur ini memungkinkan Anda membuat Tabel S3 baru berdasarkan hasil kueri SELECT.

Saat membuat kueri CTAS untuk Tabel S3, ada beberapa perbedaan penting dibandingkan dengan tabel Athena standar:

  • Anda harus menghilangkan properti lokasi karena Tabel S3 secara otomatis mengelola lokasi penyimpanannya sendiri.

  • table_typeProperti defaultnyaICEBERG, jadi Anda tidak perlu menentukannya secara eksplisit dalam kueri Anda.

  • Jika Anda tidak menentukan format, sistem secara otomatis menggunakan PARQUET sebagai format default untuk data Anda.

  • Semua properti lainnya mengikuti sintaks yang sama seperti tabel Iceberg biasa.

Sebelum Anda membuat Tabel S3 menggunakan CTAS, pastikan Anda memiliki izin yang diperlukan yang dikonfigurasi. AWS Lake Formation Secara khusus, Anda memerlukan izin untuk membuat tabel di katalog Tabel S3. Tanpa izin ini, operasi CTAS Anda akan gagal.

catatan

Jika kueri CTAS gagal, Anda mungkin harus menghapus tabel menggunakan API Tabel S3 sebelum mencoba menjalankan kembali kueri Anda. Anda tidak dapat menggunakan DROP TABLE pernyataan Athena untuk menghapus tabel yang sebagian dibuat oleh kueri.

Contoh

CREATE TABLE "s3tablescatalog/amzn-s3-demo-bucket"."namespace"."s3-table-name"
WITH (
    format = 'PARQUET'
)
AS SELECT *
FROM source_table;