Leitura de entidades do PayPal - AWS Glue
Consultas de particionamento

Leitura de entidades do PayPal

Pré-requisito

Um objeto do PayPal do qual você deseja ler. Você precisará do nome do objeto, transaction.

Entidades compatíveis quanto à origem:

Entidade Pode ser filtrada Oferece suporte a limite Oferece suporte a Ordenar por Oferece suporte a Selecionar * Oferece suporte a particionamento
transaction Sim Sim Não Sim Sim

Exemplo:

paypal_read = glueContext.create_dynamic_frame.from_options(
    connection_type="paypal",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "transaction",
        "API_VERSION": "v1",
        "INSTANCE_URL": "https://api-m.paypal.com"
    }

Detalhes de entidade e campo do PayPal:

Entidades com metadados estáticos:

Entidade Campo Tipo de dados Operadores compatíveis
transaction transaction_initiation_date DateTime Entre
last_refreshed_datetime String N/D
payment_instrument_type String =
balance_affecting_records_only String =
store_id String =
terminal_id String =
transaction_currency String =
transaction_id String N/D
transaction_status String N/D
transaction_type String N/D
transaction_info Struct N/D
payer_info Struct N/D
shipping_info Struct N/D
cart_info Struct N/D
store_info Struct N/D
auction_info Struct N/D
incentive_info Struct N/D

Consultas de particionamento

É possível fornecer as opções adicionais do Spark PARTITION_FIELD, LOWER_BOUND, UPPER_BOUND e NUM_PARTITIONS se quiser utilizar a simultaneidade no Spark. Com esses parâmetros, a consulta original seria dividida em NUM_PARTITIONS subconsultas, que poderiam ser executadas pelas tarefas do Spark simultaneamente.

  • PARTITION_FIELD: o nome do campo a ser usado para particionar a consulta.

  • LOWER_BOUND: um valor limite inferior inclusivo do campo de partição escolhido.

    Para o campo Datetime, aceitamos o valor no formato ISO.

    Exemplos de valores válidos:

    "2024-07-01T00:00:00.000Z"

  • UPPER_BOUND: um valor limite superior exclusivo do campo de partição escolhido.

  • NUM_PARTITIONS: o número de partições.

Há suporte para o campo a seguir para particionamento por entidade:

Nome da entidade Campos de particionamento Tipo de dados
transaction transaction_initiation_date DateTime

Exemplo:

paypal_read = glueContext.create_dynamic_frame.from_options(
    connection_type="paypal",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "transaction",
        "API_VERSION": "v1",
        "PARTITION_FIELD": "transaction_initiation_date"
        "LOWER_BOUND": "2024-07-01T00:00:00.000Z"
        "UPPER_BOUND": "2024-07-02T00:00:00.000Z"
        "NUM_PARTITIONS": "10"
    }