PayPal 엔터티에서 읽기 - AWS Glue
쿼리 파티셔닝

PayPal 엔터티에서 읽기

사전 조건

읽으려는 PayPal 객체입니다. 객체 이름, transaction이 필요합니다.

소스에 대해 지원되는 엔터티:

개체 필터링 가능 제한 지원 정렬 기준 지원 Select * 지원 분할 지원
transaction 예 예 아니요 예 예

예시:

paypal_read = glueContext.create_dynamic_frame.from_options(
    connection_type="paypal",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "transaction",
        "API_VERSION": "v1",
        "INSTANCE_URL": "https://api-m.paypal.com"
    }

PayPal 엔터티 및 필드 세부 정보:

정적 메타데이터를 포함하는 엔터티:

개체 필드 데이터 유형 지원되는 연산자
transaction transaction_initiation_date DateTime Between
last_refreshed_datetime String 해당 사항 없음
payment_instrument_type String =
balance_affecting_records_only String =
store_id String =
terminal_id String =
transaction_currency String =
transaction_id String 해당 사항 없음
transaction_status String 해당 사항 없음
transaction_type String 해당 사항 없음
transaction_info Struct N/A
payer_info Struct N/A
shipping_info Struct N/A
cart_info Struct N/A
store_info Struct N/A
auction_info Struct N/A
incentive_info Struct N/A

쿼리 파티셔닝

Spark에서 동시성을 활용하려는 경우 추가 Spark 옵션(PARTITION_FIELD, LOWER_BOUND, UPPER_BOUND, NUM_PARTITIONS)을 제공할 수 있습니다. 이러한 파라미터를 사용하면 Spark 작업에서 동시에 실행할 수 있는 NUM_PARTITIONS개의 하위 쿼리로 원래 쿼리가 분할됩니다.

  • PARTITION_FIELD: 쿼리 분할에 사용할 필드의 이름입니다.

  • LOWER_BOUND: 선택한 파티션 필드의 하한 값(경계 포함).

    Datetime 필드의 경우 ISO 형식의 값이 허용됩니다.

    유효한 값의 예제:

    "2024-07-01T00:00:00.000Z"

  • UPPER_BOUND: 선택한 파티션 필드의 상한 값(경계 제외).

  • NUM_PARTITIONS: 파티션 수.

엔터티별 분할에는 다음 필드가 지원됩니다.

엔터티 이름 분할 필드 데이터 유형
transaction transaction_initiation_date DateTime

예시:

paypal_read = glueContext.create_dynamic_frame.from_options(
    connection_type="paypal",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "transaction",
        "API_VERSION": "v1",
        "PARTITION_FIELD": "transaction_initiation_date"
        "LOWER_BOUND": "2024-07-01T00:00:00.000Z"
        "UPPER_BOUND": "2024-07-02T00:00:00.000Z"
        "NUM_PARTITIONS": "10"
    }