Lecture à partir d’entités Freshsales - AWS Glue
Requêtes de partitionnement

Lecture à partir d’entités Freshsales

Prérequis

Un objet Freshsales à partir duquel vous souhaitez lire. Vous aurez besoin du nom de l’objet.

Entités prises en charge pour la source :

Entité Peut être filtré Limit prise en charge Order by prise en charge Select prise en charge* Partitionnement pris en charge
Comptes Oui Oui Oui Oui Oui
Contacts Oui Oui Oui Oui Oui

Exemple :

freshSales_read = glueContext.create_dynamic_frame.from_options(
     connection_type="freshsales",
     connection_options={
         "connectionName": "connectionName",
         "ENTITY_NAME": "entityName",
         "API_VERSION": "v1.0"
     }

Détails des entités et des champs Freshsales :

Freshsales fournit des points de terminaison permettant de récupérer les métadonnées de manière dynamique pour les entités prises en charge. Par conséquent, la prise en charge des opérateurs est capturée au niveau du type de données.

Entité Type de données Opérateurs pris en charge
Entités Freshsale (toutes) Entier !=,=,<,<=,>,>=,BETWEEN
Chaîne Like, =, !=
BigInteger !=,=,<,<=,>,>=,BETWEEN
Booléen =
Double !=,=,<,<=,>,>=,BETWEEN
BigDecimal !=,=,<,<=,>,>=,BETWEEN
Date !=,=,<,<=,>,>=,BETWEEN
DateTime !=,=,<,<=,>,>=,BETWEEN
Struct N/A
Liste N/A

Requêtes de partitionnement

Partitionnement basé sur des filtres :

Vous pouvez indiquer les options Spark supplémentaires PARTITION_FIELD, LOWER_BOUND, UPPER_BOUND et NUM_PARTITIONS si vous souhaitez utiliser la simultanéité dans Spark. Avec ces paramètres, la requête d’origine serait divisée en NUM_PARTITIONS nombres de sous-requêtes pouvant être exécutées simultanément par les tâches Spark.

  • PARTITION_FIELD : le nom du champ à utiliser pour partitionner la requête.

  • LOWER_BOUND : une valeur limite inférieure inclusive du champ de partition choisi.

    Pour le champ Datetime, nous acceptons la valeur au format ISO.

    Exemples de valeurs valides :

    "2024-09-30T01:01:01.000Z"

  • UPPER_BOUND : une valeur limite supérieure exclusive du champ de partition choisi.

  • NUM_PARTITIONS : le nombre de partitions.

Exemple :

freshSales_read = glueContext.create_dynamic_frame.from_options(
     connection_type="freshsales",
     connection_options={
         "connectionName": "connectionName",
         "ENTITY_NAME": "entityName",
         "API_VERSION": "v1",
         "PARTITION_FIELD": "Created_Time"
         "LOWER_BOUND": " 2024-10-15T21:16:25Z"
         "UPPER_BOUND": " 2024-10-20T21:25:50Z"
         "NUM_PARTITIONS": "10"
     }