Herstellen einer Verbindung mit BigQuery

So konfigurieren Sie eine Verbindung zu BigQuery:

1. Erstellen und identifizieren Sie in der Google Cloud Platform relevante Ressourcen:

   • Erstellen oder identifizieren Sie ein GCP-Projekt mit BigQuery-Tabellen, zu dem Sie eine Verbindung herstellen möchten.

   • Aktivieren Sie die BigQuery-API. Weitere Informationen finden Sie unter Verwenden der API BigQuery Storage Read zum Lesen von Tabellendaten.

2. Erstellen und exportieren Sie in Google Cloud Platform Anmeldeinformationen für ein Dienstkonto:

   Sie können den Assistenten für Anmeldedaten in BigQuery verwenden, um diesen Schritt zu beschleunigen: Anmeldeinformationen erstellen.

   Folgen Sie der Anleitung unter Dienstkonten erstellen, um ein Dienstkonto in GCP zu erstellen.

   • Wählen Sie bei der Auswahl eines Projekts das Projekt aus, das Ihre BigQuery-Tabelle enthält.

   • Wenn Sie GCP-IAM-Rollen für Ihr Dienstkonto auswählen, erstellen oder fügen Sie eine Rolle hinzu, die entsprechende Berechtigungen zum Ausführen von BigQuery-Aufträgen zum Lesen, Schreiben oder Erstellen von BigQuery-Tabellen gewährt.

   Folgen Sie der Anleitung unter Einen Dienstkontoschlüssel erstellen, um Anmeldeinformationen für Ihr Dienstkonto zu erstellen.

   • Wählen Sie für den Schlüsseltyp JSON aus.

   Sie sollten jetzt eine JSON-Datei mit Anmeldeinformationen für Ihr Dienstkonto heruntergeladen haben. Das sollte bei Ihnen ähnlich wie im folgenden Bild aussehen:

   {
     "type": "service_account",
     "project_id": "*****",
     "private_key_id": "*****",
     "private_key": "*****",
     "client_email": "*****",
     "client_id": "*****",
     "auth_uri": "https://accounts.google.com/o/oauth2/auth",
     "token_uri": "https://oauth2.googleapis.com/token",
     "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
     "client_x509_cert_url": "*****",
     "universe_domain": "googleapis.com"
   }

3. Erstellen Sie in AWS Secrets Manager mit Ihren heruntergeladenen Anmeldeinformationen ein Geheimnis. Sie können die Registerkarte Klartext auswählen und den Inhalt der Datei im JSON-Format einfügen. Um ein Geheimnis im Secrets Manager zu erstellen, befolgen Sie das Tutorial unter Erstellen eines AWS Secrets Manager-Secrets in der AWS Secrets Manager-Dokumentation. Behalten Sie nach dem Erstellen des Secrets den Namen des Secrets, secretName für den nächsten Schritt bei.

4. Stellen Sie im AWS Glue-Data-Catalog eine Verbindung her, indem Sie die Schritte unter https://docs.aws.amazon.com/glue/latest/dg/console-connections.html befolgen. Behalten Sie nach dem Erstellen der Verbindung den Verbindungsnamen connectionName für den nächsten Schritt bei.

   • Wählen Sie für den Verbindungstyp Google BigQuery aus.

   • Geben Sie als AWS-Secret die Option secretName an.

5. Erteilen Sie der mit Ihrem AWS Glue-Auftrag verknüpften IAM-Rolle die Berechtigung, secretName zu lesen.

6. Geben Sie in der Konfiguration Ihres AWS Glue-Auftrags connectionName als zusätzliche Netzwerkverbindung an.