Lecture à partir d’entités Pendo - AWS Glue
Requêtes de partitionnement

Lecture à partir d’entités Pendo

Prérequis

Un objet Pendo à partir duquel vous souhaitez lire. Reportez-vous au tableau des entités prises en charge ci-dessous pour vérifier les entités disponibles.

Entités prises en charge

Entité Peut être filtré Limit prise en charge Order by prise en charge Select prise en charge* Partitionnement pris en charge
Fonctionnalité Non Non Non Oui Non
Guide Non Non Non Oui Non
Page Non Non Non Oui Non
Rapport Non Non Non Oui Non
Report Data Non Non Non Oui Non
Visitor (Aggregation API) Oui Non Oui Oui Non
Account (Aggregation API) Oui Non Oui Oui Non
Event (Aggregation API) Oui Non Oui Oui Non
Feature Event (Aggregation API) Oui Non Oui Oui Oui
Guide Event (Aggregation API) Oui Non Oui Oui Oui
Account (Aggregation API) Oui Non Oui Oui Oui
Page Event (Aggregation API) Oui Non Oui Oui Oui
Poll Event (Aggregation API) Oui Non Oui Oui Oui
Track Event (Aggregation API) Oui Non Oui Oui Oui

Exemple 

Pendo_read = glueContext.create_dynamic_frame.from_options(
    connection_type="glue.spark.Pendo",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "feature",
        "API_VERSION": "v1",
        "INSTANCE_URL": "instanceUrl"
    }

Requêtes de partitionnement

Vous pouvez indiquer les options Spark supplémentaires PARTITION_FIELD, LOWER_BOUND, UPPER_BOUND et NUM_PARTITIONS si vous souhaitez utiliser la simultanéité dans Spark. Avec ces paramètres, la requête d’origine serait divisée en NUM_PARTITIONS nombres de sous-requêtes pouvant être exécutées simultanément par les tâches Spark.

  • PARTITION_FIELD : le nom du champ à utiliser pour partitionner la requête.

  • LOWER_BOUND : une valeur limite inférieure inclusive du champ de partition choisi.

    Pour le champ DateTime, nous acceptons la valeur au format ISO.

    Exemple de valeur valide :

    "2024-07-01T00:00:00.000Z"

  • UPPER_BOUND : une valeur limite supérieure exclusive du champ de partition choisi.

  • NUM_PARTITIONS : le nombre de partitions.

Le tableau suivant décrit les détails de prise en charge dans les champs de partitionnement d’entités :

Nom de l’entité
Event

Feature Event
Guide Event
Page Event
Poll Event
Track Event

Exemple :

pendo_read = glueContext.create_dynamic_frame.from_options(
    connection_type="glue.spark.pendo",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "event",
        "API_VERSION": "v1",
        "INSTANCE_URL": "instanceUrl"
        "NUM_PARTITIONS": "10",
        "PARTITION_FIELD": "appId"
        "LOWER_BOUND": "4656"
        "UPPER_BOUND": "7788"
    }