从 Freshsales 实体读取内容 - AWS Glue
对查询进行分区

从 Freshsales 实体读取内容

先决条件

要从中读取内容的 Freshsales 对象。您将需要对象名称。

源支持的实体：

实体 可以筛选 支持限制 支持排序依据 支持 Select * 支持分区
账户 支持 是 是 是 是
联系人 支持 是 是 是 是

示例：

freshSales_read = glueContext.create_dynamic_frame.from_options(
     connection_type="freshsales",
     connection_options={
         "connectionName": "connectionName",
         "ENTITY_NAME": "entityName",
         "API_VERSION": "v1.0"
     }

Freshsales 实体和字段详细信息：

Freshsales 提供了端点，用于为所支持实体动态获取元数据。因此，可在数据类型级别捕获运算符支持。

实体 数据类型 支持的运算符
Freshsale 实体（全部） 整数 !=、=、<、<=、>、>=、BETWEEN
字符串 Like, =, !=
BigInteger !=、=、<、<=、>、>=、BETWEEN
布尔值 =
双精度 !=、=、<、<=、>、>=、BETWEEN
BigDecimal !=、=、<、<=、>、>=、BETWEEN
日期 !=、=、<、<=、>、>=、BETWEEN
日期时间 !=、=、<、<=、>、>=、BETWEEN
结构体 不适用
列表 不适用

对查询进行分区

基于筛选器的分区：

如果您想在 Spark 中利用并发，可以提供其他 Spark 选项：PARTITION_FIELD、LOWER_BOUND、UPPER_BOUND 和 NUM_PARTITIONS。使用这些参数，原始查询将被拆分为 NUM_PARTITIONS 个子查询，这些子查询可以由 Spark 任务同时执行。

  • PARTITION_FIELD：用于对查询进行分区的字段的名称。

  • LOWER_BOUND：所选分区字段的包含下限值。

    对于“日期时间”字段，我们接受 ISO 格式的值。

    有效值示例：

    "2024-09-30T01:01:01.000Z"

  • UPPER_BOUND：所选分区字段的排除上限值。

  • NUM_PARTITIONS：分区的数量。

示例：

freshSales_read = glueContext.create_dynamic_frame.from_options(
     connection_type="freshsales",
     connection_options={
         "connectionName": "connectionName",
         "ENTITY_NAME": "entityName",
         "API_VERSION": "v1",
         "PARTITION_FIELD": "Created_Time"
         "LOWER_BOUND": " 2024-10-15T21:16:25Z"
         "UPPER_BOUND": " 2024-10-20T21:25:50Z"
         "NUM_PARTITIONS": "10"
     }