Lecture à partir d’entités Google Sheets - AWS Glue

Lecture à partir d’entités Google Sheets

Prérequis

  • Une feuille de calcul Google à partir de laquelle vous souhaitez lire. Vous aurez besoin de l’ID de feuille de calcul et de l’élément tabName de la feuille de calcul.

Détails des entités et des champs Google Sheets :

Entité Type de données Opérateurs pris en charge
Feuille de calcul Chaîne N/A (le filtre n’est pas pris en charge)

Exemple 

googleSheets_read = glueContext.create_dynamic_frame.from_options(
    connection_type="googlesheets",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "{SpreadSheetID}#{SheetTabName}",
        "API_VERSION": "v4"
    }

Requêtes de partitionnement

Pour Record Base Partitioning uniquement, vous pouvez fournir NUM_PARTITIONS en tant qu’options Spark supplémentaires si vous souhaitez utiliser la simultanéité dans Spark. Avec ce paramètre, la requête d’origine serait divisée en NUM_PARTITIONS nombres de sous-requêtes pouvant être exécutées simultanément par les tâches Spark.

Exemple avec NUM_PARTITIONS 

googlesheets_read = glueContext.create_dynamic_frame.from_options(
    connection_type="googlesheets",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "{SpreadSheetID}#{SheetTabName}",
        "API_VERSION": "v4",
        "NUM_PARTITIONS": "10"
    }