從 Slack 實體中讀取 - AWS Glue

從 Slack 實體中讀取

先決條件

  • 您要從中讀取的 Slack 物件。

支援的實體

實體 可以篩選 支援限制 支援排序依據 支援選取 * 支援分區
對話

範例

slack_read = glueContext.create_dynamic_frame.from_options( connection_type="slack", connection_options={ "connectionName": "connectionName", "ENTITY_NAME": "conversations/C058W38R5J8" } )

Slack 實體和欄位詳細資訊

實體 欄位 資料類型 支援的運算子
對話附件清單NA
對話bot_idStringNA
對話blocks清單NA
對話client_msg_idStringNA
對話is_starredBooleanNA
對話last_readStringNA
對話latest_replyStringNA
對話反應清單NA
對話回應清單NA
對話reply_countIntegerNA
對話reply_users清單NA
對話reply_users_countIntegerNA
對話已訂閱BooleanNA
對話子類型StringNA
對話textStringNA
對話團隊StringNA
對話thread_tsStringNA
對話tsStringEQUAL_TO, BETWEEN, LESS_THAN, LESS_THAN_OR_EQUAL_TO, GREATER_THAN, GREATER_THAN_OR_EQUAL_TO
對話typeStringNA
對話使用者StringNA
對話邀請者StringNA
對話StructNA
對話is_lockedBooleanNA
對話files清單NA
對話房間StructNA
對話上傳BooleanNA
對話display_as_botBooleanNA
對話通道StringNA
對話no_notificationsBooleanNA
對話permalinkStringNA
對話pinned_to清單NA
對話pinned_infoStructNA
對話editedStructNA
對話app_idStringNA
對話bot_profileStructNA
對話中繼資料StructNA

分區查詢

如果想要在 Spark 中使用並行,可以提供其他 Spark 選項 PARTITION_FIELDLOWER_BOUNDUPPER_BOUNDNUM_PARTITIONS。使用這些參數,原始查詢會分區為可由 Spark 任務並行執行的子查詢的 NUM_PARTITIONS 數目。

  • PARTITION_FIELD:用來分區查詢的欄位名稱。

  • LOWER_BOUND:所選分區欄位的包含下限值。

    對於日期,我們接受 Spark SQL 查詢中使用的 Spark 日期格式。有效值範例:"2024-07-01T00:00:00.000Z"

  • UPPER_BOUND:所選分區欄位的唯一上限值。

  • NUM_PARTITIONS:分區數目。

實體分區欄位支援詳細資訊如下表所示。

實體名稱 分區欄位 資料類型
對話 ts String

範例

slack_read = glueContext.create_dynamic_frame.from_options( connection_type="slack", connection_options={ "connectionName": "connectionName", "ENTITY_NAME": "conversations/C058W38R5J8", "PARTITION_FIELD": "ts" "LOWER_BOUND": "2022-12-01T00:00:00.000Z" "UPPER_BOUND": "2024-09-23T15:00:00.000Z" "NUM_PARTITIONS": "2" } )