Lesen aus Slack-Entitäten - AWS Glue

Lesen aus Slack-Entitäten

Voraussetzungen

  • Ein Slack-Objekt, aus dem gelesen werden soll.

Unterstützte Entitäten

Entität Kann gefiltert werden Unterstützt Limit Unterstützt „Sortieren nach“ Unterstützt „* auswählen“ Unterstützt Partitionierung
Konversationen Ja Ja Nein Ja Ja

Beispiel 

slack_read = glueContext.create_dynamic_frame.from_options(
    connection_type="slack",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "conversations/C058W38R5J8"
    }
)

Slack-Entitäts- und Felddetails

Entität Feld Datentyp Unterstützte Operatoren
KonversationenAnlagenAuflistenN/A
Konversationenbot_idStringN/A
KonversationenblocksAuflistenN/A
Konversationenclient_msg_idStringN/A
Konversationenis_starredBooleschN/A
Konversationenlast_readStringN/A
Konversationenlatest_replyStringN/A
KonversationenReaktionenAuflistenN/A
KonversationenAntwortenAuflistenN/A
Konversationenreply_countGanzzahlN/A
Konversationenreply_usersAuflistenN/A
Konversationenreply_users_countGanzzahlN/A
KonversationenabonniertBooleschN/A
KonversationenSubtypStringN/A
KonversationentextStringN/A
KonversationenTeamStringN/A
Konversationenthread_tsStringN/A
KonversationentsStringEQUAL_TO, BETWEEN, LESS_THAN, LESS_THAN_OR_EQUAL_TO, GREATER_THAN, GREATER_THAN_OR_EQUAL_TO
KonversationenTypStringN/A
KonversationenuserStringN/A
KonversationenEinladungsabsenderStringN/A
KonversationenRootStructN/A
Konversationenis_lockedBooleschN/A
KonversationenfilesAuflistenN/A
KonversationenRaumStructN/A
KonversationenHochladenBooleschN/A
Konversationendisplay_as_botBooleschN/A
KonversationenchannelStringN/A
Konversationenno_notificationsBooleschN/A
KonversationenPermalinkStringN/A
Konversationenpinned_toAuflistenN/A
Konversationenpinned_infoStructN/A
KonversationenbearbeitetStructN/A
Konversationenapp_idStringN/A
Konversationenbot_profileStructN/A
KonversationenMetadatenStructN/A

Partitionierung von Abfragen

Die zusätzlichen Spark-Optionen PARTITION_FIELD,LOWER_BOUND, UPPER_BOUND und NUM_PARTITIONS können angegeben werden, wenn Sie Parallelität in Spark nutzen möchten. Mit diesen Parametern würde die ursprüngliche Abfrage in NUM_PARTITIONS Unterabfragen aufgeteilt, die von Spark-Aufgaben gleichzeitig ausgeführt werden können.

  • PARTITION_FIELD: der Name des Feldes, das zur Partitionierung der Abfrage verwendet werden soll.

  • LOWER_BOUND: ein inklusiver Untergrenzwert des ausgewählten Partitionsfelds.

    Als Datum akzeptieren wir das Spark-Datumsformat, das in Spark-SQL-Abfragen verwendet wird. Beispiel für gültigen Wert: "2024-07-01T00:00:00.000Z".

  • UPPER_BOUND: ein exklusiver Obergrenzwert des ausgewählten Partitionsfelds.

  • NUM_PARTITIONS: Anzahl der Partitionen.

Details zur Unterstützung von Feldern für die entitätsbezogene Partitionierung sind in der folgenden Tabelle aufgeführt.

Entity Name Partitionierungsfeld Datentyp
Konversationen ts String

Beispiel 

slack_read = glueContext.create_dynamic_frame.from_options(
    connection_type="slack",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "conversations/C058W38R5J8",
        "PARTITION_FIELD": "ts"
        "LOWER_BOUND": "2022-12-01T00:00:00.000Z"
        "UPPER_BOUND": "2024-09-23T15:00:00.000Z"
        "NUM_PARTITIONS": "2"
    }
)