Lesen aus Pipedrive-Entitäten - AWS Glue
Partitionierung von Abfragen

Lesen aus Pipedrive-Entitäten

Voraussetzungen

  • Ein Pipedrive-Objekt, aus dem gelesen werden soll. In der folgenden Tabelle mit unterstützten Entitäten können Sie die verfügbaren Entitäten überprüfen.

Unterstützte Entitäten

Entität Kann gefiltert werden Unterstützt Limit Unterstützt „Sortieren nach“ Unterstützt „* auswählen“ Unterstützt Partitionierung
Aktivitäten Ja Ja Nein Ja Ja
Aktivitätstyp Nein Nein Nein Ja Nein
Anrufprotokolle Nein Nein Nein Ja Nein
Währungen Ja Ja Nein Ja Nein
Geschäfte Ja Ja Ja Ja Ja
Leads Ja Ja Ja Ja Nein
Leadquellen Nein Ja Nein Ja Nein
Leadbezeichnungen Nein Nein Nein Nein Nein
Hinweise Ja Ja Ja Ja Ja
Organisation Ja Ja Nein Ja Ja
Berechtigungssätze Ja Nein Nein Ja Nein
Personen Ja Ja Ja Ja Ja
Pipelines Nein Ja Nein Ja Nein
Produkte Ja Ja Nein Ja Ja
Rollen Nein Ja Nein Ja Nein
Stufen Ja Ja Nein Ja Nein
Benutzer Nein Nein Nein Ja Nein

Beispiel 

pipedrive_read= glueContext.create_dynamic_frame.from_options(
    connection_type="PIPEDRIVE",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "activites",
        "API_VERSION": "v1"
    }

Pipedrive-Entitäts- und Felddetails

Liste der Entitäten:

Entität Datentyp Unterstützte Operatoren
Aktivitäten, Geschäfte, Hinweise, Organisation, Personen und Produkte. Datum '='
Ganzzahl '='
String '='
Boolesch '='

Partitionierung von Abfragen

In Pipedrive unterstützt nur ein Feld (due_date) in der Aktivitätenentität die feldbasierte Partitionierung. Es ist ein Datumsfeld.

Die zusätzlichen Spark-Optionen PARTITION_FIELD,LOWER_BOUND, UPPER_BOUND und NUM_PARTITIONS können angegeben werden, wenn Sie Parallelität in Spark nutzen möchten. Mit diesen Parametern würde die ursprüngliche Abfrage in NUM_PARTITIONS Unterabfragen aufgeteilt, die von Spark-Aufgaben gleichzeitig ausgeführt werden können.

  • PARTITION_FIELD: der Name des Feldes, das zur Partitionierung der Abfrage verwendet werden soll.

  • LOWER_BOUND: ein inklusiver Untergrenzwert des ausgewählten Partitionsfelds.

    Als Datum akzeptieren wir das Spark-Datumsformat, das in Spark-SQL-Abfragen verwendet wird. Beispiel für gültige Werte: "2024-02-06".

  • UPPER_BOUND: ein exklusiver Obergrenzwert des ausgewählten Partitionsfelds.

  • NUM_PARTITIONS: Anzahl der Partitionen.

Beispiel 

pipedrive_read = glueContext.create_dynamic_frame.from_options(
    connection_type="PIPEDRIVE",
    connection_options={
        "connectionName": "connectionName",
        "ENTITY_NAME": "activites",
        "API_VERSION": "v1",
        "PARTITION_FIELD": "due_date"
        "LOWER_BOUND": "2023-09-07T02:03:00.000Z"
        "UPPER_BOUND": "2024-05-07T02:03:00.000Z"
        "NUM_PARTITIONS": "10"
    }