Erstellen eines BigQuery-Quellknotens - AWS Glue
VoraussetzungenHinzufügen einer BigQuery-Datenquelle

Erstellen eines BigQuery-Quellknotens

Voraussetzungen

  • Eine AWS Glue-Data-Catalog-Verbindung vom Typ BigQuery

  • Ein AWS Secrets Manager-Secret für Ihre Google BigQuery-Anmeldeinformationen, das von der Verbindung verwendet wird.

  • Entsprechende Berechtigungen für Ihren Auftrag zum Lesen des von der Verbindung verwendeten Secrets.

  • Der Name und der Datensatz der Tabelle und des entsprechenden Google Cloud-Projekts, das gelesen werden soll.

Hinzufügen einer BigQuery-Datenquelle

So fügen Sie einen Knoten Datenquelle – BigQuery hinzu:

  1. Wählen Sie die Verbindung für Ihre BigQuery-Datenquelle. Da Sie sie erstellt haben, sollte sie in der Dropdown-Liste verfügbar sein. Wenn Sie eine Verbindung erstellen müssen, wählen Sie BigQuery-Verbindung erstellen. Weitere Informationen finden Sie unter Übersicht über die Verwendung von Konnektoren und Verbindungen.

    Nachdem Sie eine Verbindung ausgewählt haben, können Sie die Verbindungseigenschaften anzeigen, indem Sie auf Eigenschaften anzeigen klicken.

  2. Identifizieren Sie, welche BigQuery-Daten gelesen werden sollen, und wählen Sie dann eine Option für die BigQuery-Quelle.

    • Einzelne Tabelle auswählen – ermöglicht es Ihnen, alle Daten aus einer Tabelle abzurufen.

    • Benutzerdefinierte Abfrage eingeben – ermöglicht Ihnen, durch Angabe einer Abfrage anzupassen, welche Daten abgerufen werden.

  3. Beschreiben Sie die Daten, die gelesen werden sollen

    (Erforderlich) Geben Sie als Übergeordnetes Projekt das Projekt, das Ihre Tabelle enthält, oder, falls relevant, ein übergeordnetes Fakturierungsprojekt an.

    Wenn Sie eine einzelne Tabelle ausgewählt haben, legen Sie für Tabelle den Namen einer Google BigQuery-Tabelle im folgenden Format fest: [dataset].[table]

    Wenn Sie eine Abfrage ausgewählt haben, tun Sie dies für Abfrage. Verweisen Sie in Ihrer Abfrage mit ihrem vollständig qualifizierten Tabellennamen im folgenden Format auf Tabellen: [project].[dataset].[tableName].

  4. Geben Sie BigQuery-Eigenschaften an

    Wenn Sie eine einzelne Tabelle ausgewählt haben, müssen Sie keine zusätzlichen Eigenschaften angeben.

    Wenn Sie eine Abfrage ausgewählt haben, müssen Sie die folgenden benutzerdefinierten Google BigQuery-Eigenschaften angeben:

    • Setzen Sie viewsEnabled auf „true“.

    • Legen Sie materializationDataset auf einen Datensatz fest. Der GCP-Prinzipal, der anhand der über die AWS Glue-Verbindung bereitgestellten Anmeldeinformationen authentifiziert wurde, muss in der Lage sein, in diesem Datensatz Tabellen zu erstellen.