Membaca dari Salesforce - AWS Glue
Mempartisi kueriOpsi FILTER_PREDICATE

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membaca dari Salesforce

Prasyarat

Salesforce SoBject yang ingin Anda baca. Anda akan membutuhkan nama objek seperti Account atau Case atauOpportunity.

Contoh:

salesforce_read = glueContext.create_dynamic_frame.from_options(
    connection_type="salesforce",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "Account",
        "API_VERSION": "v60.0"
    }
)

Mempartisi kueri

Anda dapat memberikan opsi Spark tambahanPARTITION_FIELD,, LOWER_BOUNDUPPER_BOUND, dan NUM_PARTITIONS jika Anda ingin memanfaatkan konkurensi di Spark. Dengan parameter ini, kueri asli akan dibagi menjadi NUM_PARTITIONS sejumlah sub-kueri yang dapat dijalankan oleh tugas Spark secara bersamaan.

  • PARTITION_FIELD: nama bidang yang akan digunakan untuk mempartisi kueri.

  • LOWER_BOUND: nilai batas bawah inklusif dari bidang partisi yang dipilih.

    Untuk bidang Tanggal atau Timestamp, konektor menerima format stempel waktu Spark yang digunakan dalam kueri Spark SQL.

    Contoh nilai yang valid:

    "TIMESTAMP \"1707256978123\""
"TIMESTAMP '2018-01-01 00:00:00.000 UTC'"
"TIMESTAMP \"2018-01-01 00:00:00 Pacific/Tahiti\"" 
"TIMESTAMP \"2018-01-01 00:00:00\""
"TIMESTAMP \"-123456789\" Pacific/Tahiti"
"TIMESTAMP \"1702600882\""

  • UPPER_BOUND: nilai batas atas eksklusif dari bidang partisi yang dipilih.

  • NUM_PARTITIONS: jumlah partisi.

  • TRANSFER_MODE: mendukung dua mode: SYNC danASYNC. Default-nya adalah SYNC. Ketika diatur keASYNC, Bulk API 2.0 Query akan digunakan untuk pemrosesan.

Contoh:

salesforce_read = glueContext.create_dynamic_frame.from_options(
    connection_type="salesforce",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "Account",
        "API_VERSION": "v60.0",
        "PARTITION_FIELD": "SystemModstamp",
        "LOWER_BOUND": "TIMESTAMP '2021-01-01 00:00:00 Pacific/Tahiti'",
        "UPPER_BOUND": "TIMESTAMP '2023-01-10 00:00:00 Pacific/Tahiti'",
        "NUM_PARTITIONS": "10",
        "TRANSFER_MODE": "ASYNC" 
    }
)

Opsi FILTER_PREDICATE

FILTER_PREDICATE: Ini adalah parameter opsional. Opsi ini digunakan untuk filter kueri.

Contoh FILTER_PREDICATE:

     Case 1: FILTER_PREDICATE with single criterion
     Examples: 	
       LastModifiedDate >= TIMESTAMP '2025-04-01 00:00:00 Pacific/Tahiti'
       LastModifiedDate <= TIMESTAMP "2025-04-01 00:00:00"
       LastModifiedDate >= TIMESTAMP '2018-01-01 00:00:00.000 UTC'
       LastModifiedDate <= TIMESTAMP "-123456789 Pacific/Tahiti"
       LastModifiedDate <= TIMESTAMP "1702600882"

     Case 2: FILTER_PREDICATE with multiple criteria
     Examples: 
       LastModifiedDate >= TIMESTAMP '2025-04-01 00:00:00 Pacific/Tahiti' AND Id = "0012w00001CotGiAAJ"
       LastModifiedDate >= TIMESTAMP "1702600882" AND Id = "001gL000002i26MQAQ"

     Case 3: FILTER_PREDICATE single criterion with LIMIT
     Examples: 
       LastModifiedDate >= TIMESTAMP "1702600882" LIMIT 2

     Case 4: FILTER_PREDICATE with LIMIT
     Examples: 
       LIMIT 2