Slack エンティティからの読み取り - AWS Glue

Slack エンティティからの読み取り

前提条件

  • 読み取り元の Slack オブジェクト。

サポートされているエンティティ

エンティティ フィルタリング可能 制限をサポートする Order By をサポートする Select * をサポートする パーティション分割をサポートする
会話 はい あり なし あり あり

slack_read = glueContext.create_dynamic_frame.from_options( connection_type="slack", connection_options={ "connectionName": "connectionName", "ENTITY_NAME": "conversations/C058W38R5J8" } )

Slack エンティティとフィールドの詳細

エンティティ フィールド データタイプ サポートされている演算子
会話attachmentsリストNA
会話bot_id文字列NA
会話blocksリストNA
会話client_msg_id文字列NA
会話is_starredブール値NA
会話last_read文字列NA
会話latest_reply文字列NA
会話reactionsリストNA
会話repliesリストNA
会話reply_count整数NA
会話reply_usersリストNA
会話reply_users_count整数NA
会話subscribedブール値NA
会話subtype文字列NA
会話text文字列NA
会話team文字列NA
会話thread_ts文字列NA
会話ts文字列EQUAL_TO、FORE, LESS_THAN, LESS_THAN_OR_EQUAL_TO, GREATER_THAN, GREATER_THAN_OR_EQUAL_TO
会話type文字列NA
会話ユーザー文字列NA
会話inviter文字列NA
会話ルートStructNA
会話is_lockedブール値NA
会話ファイルリストNA
会話部屋StructNA
会話アップロードブール値NA
会話display_as_botブール値NA
会話チャンネル文字列NA
会話no_notificationsブール値NA
会話permalink文字列NA
会話pinned_toリストNA
会話pinned_infoStructNA
会話editedStructNA
会話app_id文字列NA
会話bot_profileStructNA
会話metadataStructNA

パーティショニングクエリ

Spark で同時実行を使用する場合は、追加の Spark オプション PARTITION_FIELDLOWER_BOUNDUPPER_BOUND、および NUM_PARTITIONS を指定できます。これらのパラメータを使用すると、元のクエリは Spark タスクで同時に実行できるサブクエリの NUM_PARTITIONS の数に分割されます。

  • PARTITION_FIELD: クエリのパーティション化に使用するフィールドの名前。

  • LOWER_BOUND: 選択したパーティションフィールドの包括的な下限値。

    日付については、Spark SQL クエリで使用される Spark の日付形式を受け入れます。有効な値の例: "2024-07-01T00:00:00.000Z"

  • UPPER_BOUND: 選択したパーティションフィールドの排他的上限値。

  • NUM_PARTITIONS: パーティション数。

エンティティごとのパーティション分割フィールドのサポートの詳細は、以下の表にまとめられています。

エンティティ名 Partitioning Field データタイプ
会話 ts 文字列

slack_read = glueContext.create_dynamic_frame.from_options( connection_type="slack", connection_options={ "connectionName": "connectionName", "ENTITY_NAME": "conversations/C058W38R5J8", "PARTITION_FIELD": "ts" "LOWER_BOUND": "2022-12-01T00:00:00.000Z" "UPPER_BOUND": "2024-09-23T15:00:00.000Z" "NUM_PARTITIONS": "2" } )