Lesen aus PayPal-Entitäten - AWS Glue
Partitionierung von Abfragen

Lesen aus PayPal-Entitäten

Voraussetzung

Ein PayPal-Objekt, aus dem gelesen werden soll. Sie benötigen den Objektnamen, transaction.

Unterstützte Entitäten für Quelle:

Entität Kann gefiltert werden Unterstützt Limit Unterstützt „Sortieren nach“ Unterstützt „* auswählen“ Unterstützt Partitionierung
Transaktion Ja Ja Nein Ja Ja

Beispiel:

paypal_read = glueContext.create_dynamic_frame.from_options(
    connection_type="paypal",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "transaction",
        "API_VERSION": "v1",
        "INSTANCE_URL": "https://api-m.paypal.com"
    }

PayPal-Entitäts- und Felddetails

Entitäten mit statischen Metadaten:

Entität Feld Datentyp Unterstützte Operatoren
Transaktion transaction_initiation_date DateTime Between
last_refreshed_datetime String N/A
payment_instrument_type String =
balance_affecting_records_only String =
store_id String =
terminal_id String =
transaction_currency String =
transaction_id String N/A
transaction_status String N/A
transaction_type String N/A
transaction_info Struct N/A
payer_info Struct N/A
shipping_info Struct N/A
cart_info Struct N/A
store_info Struct N/A
auction_info Struct N/A
incentive_info Struct N/A

Partitionierung von Abfragen

Sie können die zusätzlichen Spark-Optionen PARTITION_FIELD,LOWER_BOUND, UPPER_BOUND und NUM_PARTITIONS angeben, wenn Sie Parallelität in Spark nutzen möchten. Mit diesen Parametern würde die ursprüngliche Abfrage in NUM_PARTITIONS Unterabfragen aufgeteilt, die von Spark-Aufgaben gleichzeitig ausgeführt werden können.

  • PARTITION_FIELD: der Name des Feldes, das zur Partitionierung der Abfrage verwendet werden soll.

  • LOWER_BOUND: ein inklusiver Untergrenzwert des ausgewählten Partitionsfelds.

    Für das DateTime-Feld akzeptieren wir den Wert im ISO-Format.

    Beispiele für gültigen Wert:

    "2024-07-01T00:00:00.000Z"

  • UPPER_BOUND: ein exklusiver Obergrenzwert des ausgewählten Partitionsfelds.

  • NUM_PARTITIONS: die Anzahl der Partitionen.

Das folgende Feld wird für die entitätsweise Partitionierung unterstützt:

Entity-Name Partitionierung von Feldern Datentyp
Transaktion transaction_initiation_date DateTime

Beispiel:

paypal_read = glueContext.create_dynamic_frame.from_options(
    connection_type="paypal",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "transaction",
        "API_VERSION": "v1",
        "PARTITION_FIELD": "transaction_initiation_date"
        "LOWER_BOUND": "2024-07-01T00:00:00.000Z"
        "UPPER_BOUND": "2024-07-02T00:00:00.000Z"
        "NUM_PARTITIONS": "10"
    }