View a markdown version of this page

BigQuery koneksi - AWS Lem
Mengonfigurasi BigQueryBaca dari BigQueryMenulis ke BigQueryBigQuery referensi opsi koneksiMenggunakan menulis tidak langsung dengan Google BigQuery

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

BigQuery koneksi

Anda dapat menggunakan AWS Glue for Spark untuk membaca dan menulis ke tabel di Google BigQuery di AWS Glue 4.0 dan versi yang lebih baru. Anda dapat membaca dari BigQuery dengan kueri Google SQL. Anda terhubung dengan BigQuery menggunakan kredenSIAL yang disimpan AWS Secrets Manager melalui koneksi AWS Glue.

Untuk informasi selengkapnya tentang Google BigQuery, lihat BigQuery situs web Google Cloud.

Mengkonfigurasi BigQuery koneksi

Untuk terhubung ke Google BigQuery dari AWS Glue, Anda harus membuat dan menyimpan kredenSIAL Google Cloud Platform Anda secara AWS Secrets Manager rahasia, lalu mengaitkan rahasia itu dengan koneksi Google BigQuery AWS Glue.

Untuk mengkonfigurasi koneksi ke BigQuery:

  1. Di Google Cloud Platform, buat dan identifikasi sumber daya yang relevan:

  2. Di Google Cloud Platform, buat dan ekspor kredenSIAL akun layanan:

    Anda dapat menggunakan wizard BigQuery kredenSIAL untuk mempercepat langkah ini: Buat kredenSIAL.

    Untuk membuat akun layanan di GCP, ikuti tutorial yang tersedia di Buat akun layanan.

    • Saat memilih proyek, pilih proyek yang berisi BigQuery tabel Anda.

    • Saat memilih peran GCP IAM untuk akun layanan Anda, tambahkan atau buat peran yang akan memberikan izin yang sesuai untuk menjalankan BigQuery pekerjaan untuk membaca, menulis, atau membuat BigQuery tabel.

    Untuk membuat kredenSIAL untuk akun layanan Anda, ikuti tutorial yang tersedia di Buat kunci akun layanan.

    • Saat memilih jenis kunci, pilih JSON.

    Anda sekarang seharusnya mengunduh file JSON dengan kredenSIAL untuk akun layanan Anda. Itu terlihat serupa dengan yang berikut ini:

    {
  "type": "service_account",
  "project_id": "*****",
  "private_key_id": "*****",
  "private_key": "*****",
  "client_email": "*****",
  "client_id": "*****",
  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
  "token_uri": "https://oauth2.googleapis.com/token",
  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
  "client_x509_cert_url": "*****",
  "universe_domain": "googleapis.com"
}

  3. Unggah file JSON kredensional Anda ke lokasi Amazon S3 yang aman dengan tepat. Pertahankan jalur ke file, s3secretpath untuk langkah selanjutnya.

  4. Di AWS Secrets Manager, buat rahasia menggunakan kredenSIAL Google Cloud Platform Anda. Untuk membuat rahasia di Secrets Manager, ikuti tutorial yang tersedia di Buat AWS Secrets Manager rahasia dalam AWS Secrets Manager dokumentasi. Setelah membuat rahasia, simpan nama Rahasia, secretName untuk langkah selanjutnya.

    Saat membuat Key/value pasangan, tentukan kunci dan nilai sebagai berikut:

    • Untuk client_id kunci token_uriclient_x509_cert_url,private_key_id,project_id,universe_domain,,auth_provider_x509_cert_url,auth_uri,client_email,private_key,type,,, tentukan nilai yang sesuai dalam file JSON yang diunduh.

    • Untuk spark.hadoop.google.cloud.auth.service.account.json.keyfile kunci, tentukans3secretpath.

  5. Di Katalog Data AWS Glue, buat koneksi dengan mengikuti langkah-langkah diMenambahkan AWS Glue koneksi. Setelah membuat koneksi, simpan nama koneksi,connectionName, untuk langkah selanjutnya.

    • Saat memilih jenis koneksi, pilih Google BigQuery.

    • Saat memilih AWS Rahasia, berikansecretName.

  6. Berikan peran IAM yang terkait dengan izin pekerjaan AWS Glue Anda untuk membacasecretName.

  7. Dalam konfigurasi pekerjaan AWS Glue Anda, berikan connectionName sebagai koneksi jaringan tambahan.

Membaca dari BigQuery tabel

Prasyarat:

  • BigQuery Tabel yang ingin Anda baca. Anda akan memerlukan nama BigQuery tabel dan dataset, dalam formulir[dataset].[table]. Mari kita sebut initableName.

  • Proyek penagihan untuk BigQuery tabel. Anda akan membutuhkan nama proyek,parentProject. Jika tidak ada proyek induk penagihan, gunakan proyek yang berisi tabel.

  • BigQuery informasi otentikasi. Selesaikan langkah-langkah Untuk mengelola kredenSIAL koneksi Anda dengan AWS Glue untuk mengonfigurasi informasi autentikasi Anda. Anda akan membutuhkan nama koneksi AWS Glue,connectionName.

Contoh: 

bigquery_read = glueContext.create_dynamic_frame.from_options(
    connection_type="bigquery",
    connection_options={
        "connectionName": "connectionName",
        "parentProject": "parentProject",
        "sourceType": "table",
        "table": "tableName",
    }

Anda juga dapat memberikan kueri, untuk memfilter hasil yang dikembalikan ke Anda DynamicFrame. Anda perlu mengkonfigurasiquery,sourceType, viewsEnabled danmaterializationDataset.

Contoh:

Prasyarat tambahan:

Anda perlu membuat atau mengidentifikasi BigQuery dataset,materializationDataset, di mana BigQuery dapat menulis tampilan yang terwujud untuk kueri Anda.

Anda harus memberikan izin GCP IAM yang sesuai ke akun layanan Anda untuk membuat tabel. materializationDataset

glueContext.create_dynamic_frame.from_options(
            connection_type="bigquery",
            connection_options={
                "connectionName": "connectionName",
                "materializationDataset": materializationDataset,
                "parentProject": "parentProject",
                "viewsEnabled": "true",
                "sourceType": "query",
                "query": "select * from bqtest.test"
            }
        )

Menulis ke BigQuery tabel

Contoh ini menulis langsung ke BigQuery layanan. BigQuery juga mendukung metode penulisan “tidak langsung”. Untuk informasi selengkapnya tentang mengkonfigurasi penulisan tidak langsung, lihatMenggunakan menulis tidak langsung dengan Google BigQuery.

Prasyarat:

  • Me BigQuery ja yang ingin Anda tulis. Anda akan memerlukan nama BigQuery tabel dan dataset, dalam formulir[dataset].[table]. Anda juga dapat memberikan nama tabel baru yang akan dibuat secara otomatis. Mari kita sebut initableName.

  • Proyek penagihan untuk BigQuery tabel. Anda akan membutuhkan nama proyek,parentProject. Jika tidak ada proyek induk penagihan, gunakan proyek yang berisi tabel.

  • BigQuery informasi otentikasi. Selesaikan langkah-langkah Untuk mengelola kredenSIAL koneksi Anda dengan AWS Glue untuk mengonfigurasi informasi autentikasi Anda. Anda akan membutuhkan nama koneksi AWS Glue,connectionName.

Contoh: 

bigquery_write = glueContext.write_dynamic_frame.from_options(
    frame=frameToWrite,
    connection_type="bigquery",
    connection_options={
        "connectionName": "connectionName",
        "parentProject": "parentProject",
        "writeMethod": "direct",
        "table": "tableName",
    }
)

BigQuery referensi opsi koneksi

  • project— Default: default akun layanan Google Cloud. Digunakan untuk Read/Write. Nama proyek Google Cloud yang terkait dengan tabel Anda.

  • table— (Diperlukan) Digunakan untuk Read/Write. Nama BigQuery tabel Anda dalam format[[project:]dataset.].

  • dataset— Diperlukan bila tidak ditentukan melalui table opsi. Digunakan untuk Read/Write. Nama dataset yang berisi BigQuery tabel Anda.

  • parentProject— Default: default akun layanan Google Cloud. Digunakan untuk Read/Write. Nama proyek Google Cloud yang terkait dengan project digunakan untuk penagihan.

  • sourceType— Digunakan untuk membaca. Diperlukan saat membaca. Nilai yang Valid:table, query Menginformasikan AWS Glue apakah Anda akan membaca berdasarkan tabel atau dengan kueri.

  • materializationDataset— Digunakan untuk membaca. Nilai yang Valid: string. Nama BigQuery dataset yang digunakan untuk menyimpan materialisasi untuk tampilan.

  • viewsEnabled— Digunakan untuk membaca. Default: false. Nilai yang Valid: benar, salah. Mengkonfigurasi apakah BigQuery akan menggunakan tampilan.

  • query— Digunakan untuk membaca. Digunakan ketika viewsEnabled itu benar. Kueri GoogleSQL DQL.

  • temporaryGcsBucketDigunakan untuk menulis. Diperlukan saat writeMethod diatur ke default (indirect). Nama bucket Google Cloud Storage yang digunakan untuk menyimpan bentuk perantara data Anda saat menulis ke BigQuery.

  • writeMethod— Default:indirect. Nilai yang Valid:direct,indirect. Digunakan untuk menulis. Menentukan metode yang digunakan untuk menulis data Anda.

    • Jika disetel kedirect, konektor Anda akan menulis menggunakan BigQuery Storage Write API.

    • Jika diset indirect el ke, konektor Anda akan menulis ke Google Cloud Storage, lalu mentransfer BigQuery nya menggunakan operasi beban. Akun layanan Google Cloud Anda akan memerlukan izin GCS yang sesuai.

Menggunakan menulis tidak langsung dengan Google BigQuery

Contoh ini menggunakan penulisan tidak langsung, yang menulis data ke Google Cloud Storage dan menyalinnya ke Google BigQuery.

Prasyarat:

Anda akan memerlukan bucket Google Cloud Storage sementara,temporaryBucket.

Peran GCP IAM untuk AWS akun layanan GCP Glue akan memerlukan izin GCS yang sesuai untuk mengakses. temporaryBucket

Konfigurasi Tambahan:

Untuk mengkonfigurasi penulisan tidak langsung dengan BigQuery:

  1. Nilai Mengkonfigurasi BigQuery koneksi dan cari atau unduh ulang file JSON kredenSIAL GCP Anda. Identi secretName fikasi, AWS Secrets Manager rahasia untuk koneksi Google BigQuery AWS Glue yang digunakan dalam pekerjaan Anda.

  2. Unggah file JSON kredensional Anda ke lokasi Amazon S3 yang aman dengan tepat. Pertahankan jalur ke file, s3secretpath untuk langkah selanjutnya.

  3. EditsecretName, menambahkan spark.hadoop.google.cloud.auth.service.account.json.keyfile kunci. Atur nilai ke s3secretpath.

  4. Berikan izin akses s3secretpath Amazon S3 IAM untuk pekerjaan AWS Glue Anda.

Anda sekarang dapat memberikan lokasi bucket GCS sementara ke metode penulisan Anda. Anda tidak perlu memberikanwriteMethod, seperti yang secara histor indirect is merupakan default.

bigquery_write = glueContext.write_dynamic_frame.from_options(
    frame=frameToWrite,
    connection_type="bigquery",
    connection_options={
        "connectionName": "connectionName",
        "parentProject": "parentProject",
        "temporaryGcsBucket": "temporaryBucket",
        "table": "tableName",
    }
)