Erstellen eines BigQuery-Zielknotens
Voraussetzungen
Eine AWS Glue-Data-Catalog-Verbindung vom Typ BigQuery
Ein AWS Secrets Manager-Secret für Ihre Google BigQuery-Anmeldeinformationen, das von der Verbindung verwendet wird.
Entsprechende Berechtigungen für Ihren Auftrag zum Lesen des von der Verbindung verwendeten Secrets.
Der Name und der Datensatz der Tabelle und des entsprechenden Google Cloud-Projekts, in die geschrieben werden soll.
Hinzufügen eines BigQuery-Datenziels
So fügen Sie einen Knoten Datenziel – BigQuery hinzu:
-
Wählen Sie die Verbindung für Ihr BigQuery-Datenziel. Da Sie sie erstellt haben, sollte sie in der Dropdown-Liste verfügbar sein. Wenn Sie eine Verbindung erstellen müssen, wählen Sie BigQuery-Verbindung erstellen. Weitere Informationen finden Sie unter Übersicht über die Verwendung von Konnektoren und Verbindungen.
Nachdem Sie eine Verbindung ausgewählt haben, können Sie die Verbindungseigenschaften anzeigen, indem Sie auf Eigenschaften anzeigen klicken.
Identifizieren Sie, in welche BigQuery-Tabelle geschrieben werden soll, und wählen Sie dann eine Schreibmethode.
Direkt – schreibt mithilfe der BigQuery Storage Write API direkt in BigQuery.
Indirekt – schreibt in Google Cloud Storage und kopiert dann zu BigQuery.
Wenn Sie indirekt schreiben möchten, geben Sie einen GCS-Zielort mit einem temporären GCS-Bucket an. Dafür müssen Sie Ihre AWS Glue-Verbindung zusätzlich konfigurieren. Weitere Informationen finden Sie unter Verwenden von indirektem Schreiben mit Google BigQuery.
-
Beschreiben Sie die Daten, die gelesen werden sollen
(Erforderlich) Geben Sie als Übergeordnetes Projekt das Projekt, das Ihre Tabelle enthält, oder, falls relevant, ein übergeordnetes Fakturierungsprojekt an.
Wenn Sie eine einzelne Tabelle ausgewählt haben, legen Sie für Tabelle den Namen einer Google BigQuery-Tabelle im folgenden Format fest:
[dataset].[table]
