Lecture à partir d’entités PayPal - AWS Glue
Requêtes de partitionnement

Lecture à partir d’entités PayPal

Prérequis

Un objet PayPal à partir duquel vous souhaitez lire. Vous aurez besoin du nom de l’objet, transaction.

Entités prises en charge pour la source :

Entité Peut être filtré Limit prise en charge Order by prise en charge Select prise en charge* Partitionnement pris en charge
transaction Oui Oui Non Oui Oui

Exemple :

paypal_read = glueContext.create_dynamic_frame.from_options(
    connection_type="paypal",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "transaction",
        "API_VERSION": "v1",
        "INSTANCE_URL": "https://api-m.paypal.com"
    }

Détails des entités et des champs PayPal :

Entités avec métadonnées statiques :

Entité Champ Type de données Opérateurs pris en charge
transaction transaction_initiation_date DateTime Entre
last_refreshed_datetime Chaîne N/A
payment_instrument_type Chaîne =
balance_affecting_records_only Chaîne =
store_id Chaîne =
terminal_id Chaîne =
transaction_currency Chaîne =
transaction_id Chaîne N/A
transaction_status Chaîne N/A
transaction_type Chaîne N/A
transaction_info Struct N/A
payer_info Struct N/A
shipping_info Struct N/A
cart_info Struct N/A
store_info Struct N/A
auction_info Struct N/A
incentive_info Struct N/A

Requêtes de partitionnement

Vous pouvez indiquer les options Spark supplémentaires PARTITION_FIELD, LOWER_BOUND, UPPER_BOUND et NUM_PARTITIONS si vous souhaitez utiliser la simultanéité dans Spark. Avec ces paramètres, la requête d’origine serait divisée en NUM_PARTITIONS nombres de sous-requêtes pouvant être exécutées simultanément par les tâches Spark.

  • PARTITION_FIELD : le nom du champ à utiliser pour partitionner la requête.

  • LOWER_BOUND : une valeur limite inférieure inclusive du champ de partition choisi.

    Pour le champ Datetime, nous acceptons la valeur au format ISO.

    Exemples de valeurs valides :

    "2024-07-01T00:00:00.000Z"

  • UPPER_BOUND : une valeur limite supérieure exclusive du champ de partition choisi.

  • NUM_PARTITIONS : le nombre de partitions.

Le champ suivant est pris en charge pour le partitionnement par entité :

Nom de l’entité Champs de partitionnement Type de données
transaction transaction_initiation_date DateTime

Exemple :

paypal_read = glueContext.create_dynamic_frame.from_options(
    connection_type="paypal",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "transaction",
        "API_VERSION": "v1",
        "PARTITION_FIELD": "transaction_initiation_date"
        "LOWER_BOUND": "2024-07-01T00:00:00.000Z"
        "UPPER_BOUND": "2024-07-02T00:00:00.000Z"
        "NUM_PARTITIONS": "10"
    }