Créer une connexion BigQuery

Pour configurer une connexion à BigQuery :

1. Dans Google Cloud Platform, créez et identifiez les ressources pertinentes :

   • Créez ou identifiez un projet GCP contenant des tables BigQuery auxquelles vous souhaitez vous connecter.

   • Activez l’API BigQuery. Pour plus d’informations, consultez la section Use the BigQuery Storage Read API to read table data.

2. Dans Google Cloud Platform, créez et exportez les informations d’identification du compte de service :

   Vous pouvez utiliser l’assistant relatif aux informations d’identification BigQuery pour accélérer l’étape de création des informations d’identification.

   Pour créer un compte de service dans GCP, suivez le didacticiel disponible dans la section Créer des comptes de service.

   • Lorsque vous sélectionnez un projet, choisissez celui qui contient votre table BigQuery.

   • Lorsque vous sélectionnez des rôles IAM GCP pour votre compte de service, ajoutez ou créez un rôle qui accordera les autorisations appropriées pour exécuter des tâches BigQuery afin de lire, écrire ou créer des tables BigQuery.

   Pour créer des informations d’identification pour votre compte de service, suivez le didacticiel disponible dans la section Créer une clé de compte de service.

   • Lorsque vous sélectionnez le type de clé, sélectionnez JSON.

   Vous devriez maintenant avoir téléchargé un fichier JSON contenant les informations d’identification de votre compte de service. Il doit ressembler à l’exemple ci-dessous.

   {
     "type": "service_account",
     "project_id": "*****",
     "private_key_id": "*****",
     "private_key": "*****",
     "client_email": "*****",
     "client_id": "*****",
     "auth_uri": "https://accounts.google.com/o/oauth2/auth",
     "token_uri": "https://oauth2.googleapis.com/token",
     "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
     "client_x509_cert_url": "*****",
     "universe_domain": "googleapis.com"
   }

3. Dans AWS Secrets Manager, créez un secret à l’aide de votre fichier d’informations d’identification téléchargé. Vous pouvez choisir l’onglet Texte brut et coller le contenu du fichier au format JSON. Pour créer un secret dans Secrets Manager, suivez le didacticiel disponible dans la section Créer un secret AWS Secrets Manager dans la documentation AWS Secrets Manager. Après avoir créé le secret, conservez le nom du secret, secretName, pour l’étape suivante.

4. Dans le catalogue de données AWS Glue, créez une connexion en suivant les étapes décrites dans https://docs.aws.amazon.com/glue/latest/dg/console-connections.html. Après avoir créé la connexion, conservez le nom de la connexion, connectionName, pour l’étape suivante.

   • Lorsque vous sélectionnez un Type de connexion, sélectionnez Google BigQuery.

   • Lorsque vous sélectionnez un Secret AWS, fournissez secretName.

5. Accordez au rôle IAM associé à votre tâche AWS Glue l’autorisation de lire secretName.

6. Dans la configuration de votre tâche AWS Glue, indiquez connectionName en tant que Connexion réseau supplémentaire.