Pipedrive 엔터티에서 읽기 - AWS Glue
분할 쿼리

Pipedrive 엔터티에서 읽기

사전 조건

  • 읽으려는 Pipedrive 객체. 사용 가능한 엔터티를 확인하려면 아래 지원되는 엔터티 테이블을 참조하세요.

지원되는 엔터티

개체 필터링 가능 제한 지원 정렬 기준 지원 Select * 지원 분할 지원
Activities 예 예 아니요 예 예
Activity Type 아니요 아니요 아니요 예 아니요
Call Logs 아니요 아니요 아니요 예 아니요
Currencies 예 예 아니요 예 아니요
Deals 예 예 예 예 예
Leads 예 예 예 예 아니요
Lead Sources 아니요 예 아니요 예 아니요
Lead Labels 아니요 아니요 아니요 아니요 아니요
Notes 예 예 예 예 예
Organization 예 예 아니요 예 예
Permission Sets 예 아니요 아니요 예 아니요
Persons 예 예 예 예 예
Pipelines 아니요 예 아니요 예 아니요
Products 예 예 아니요 예 예
Roles 아니요 예 아니요 예 아니요
Stages 예 예 아니요 예 아니요
Users 아니요 아니요 아니요 예 아니요

예제 

pipedrive_read= glueContext.create_dynamic_frame.from_options(
    connection_type="PIPEDRIVE",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "activites",
        "API_VERSION": "v1"
    }

Pipedrive 엔터티 및 필드 세부 정보

엔터티 목록:

개체 데이터 형식 지원되는 연산자
Activities, Deals, Notes, Organization, Persons 및 Products. 날짜 '='
Integer '='
String '='
부울 '='

분할 쿼리

Pipedrive에서는 Activities 엔터티의 필드 하나(due_date)만 필드 기반 분할을 지원합니다. 이 필드는 Date 필드입니다.

Spark에서 동시성을 활용하려는 경우 추가 Spark 옵션(PARTITION_FIELD, LOWER_BOUND, UPPER_BOUND, NUM_PARTITIONS)을 제공할 수 있습니다. 이러한 파라미터를 사용하면 Spark 태스크에서 동시에 실행할 수 있는 NUM_PARTITIONS개의 하위 쿼리로 원본 쿼리가 분할됩니다.

  • PARTITION_FIELD: 쿼리 분할에 사용할 필드의 이름입니다.

  • LOWER_BOUND: 선택한 파티션 필드의 하한 값(경계 포함).

    날짜의 경우 Spark SQL 쿼리에 사용된 Spark 날짜 형식을 허용합니다. 유효한 값의 예제: "2024-02-06".

  • UPPER_BOUND: 선택한 파티션 필드의 상한 값(경계 제외).

  • NUM_PARTITIONS: 파티션 수.

예제 

pipedrive_read = glueContext.create_dynamic_frame.from_options(
    connection_type="PIPEDRIVE",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "activites",
        "API_VERSION": "v1",
        "PARTITION_FIELD": "due_date"
        "LOWER_BOUND": "2023-09-07T02:03:00.000Z"
        "UPPER_BOUND": "2024-05-07T02:03:00.000Z"
        "NUM_PARTITIONS": "10"
    }