Streaming-Daten in Amazon Data Firehose partitionieren

Mit der dynamischen Partitionierung können Sie Streaming-Daten in Firehose kontinuierlich partitionieren, indem Sie Schlüssel innerhalb von Daten verwenden (z. B. customer_id odertransaction_id) und dann die nach diesen Schlüsseln gruppierten Daten in die entsprechenden Amazon Simple Storage Service (Amazon S3) -Präfixe übertragen. Dies macht es einfacher, leistungsstarke und kosteneffiziente Analysen von Streaming-Daten in Amazon S3 mithilfe verschiedener Dienste wie Amazon Athena, Amazon EMR, Amazon Redshift Spectrum und Amazon durchzuführen. QuickSight Darüber hinaus kann AWS Glue anspruchsvollere Extraktions-, Transformations- und Ladeaufträge (ETL) ausführen, nachdem die dynamisch partitionierten Streaming-Daten an Amazon S3 geliefert wurden, in Anwendungsfällen, in denen zusätzliche Verarbeitung erforderlich ist.

Durch die Partitionierung Ihrer Daten wird die Menge der gescannten Daten minimiert, die Leistung optimiert und die Kosten Ihrer Analyseabfragen auf Amazon S3 gesenkt. Es verbessert auch den granulierten Zugriff auf Ihre Daten. Firehose-Streams werden traditionell verwendet, um Daten zu erfassen und in Amazon S3 zu laden. Um einen Streaming-Datensatz für Amazon S3-based Analytics zu partitionieren, müssten Sie Partitionierungsanwendungen zwischen Amazon S3 S3-Buckets ausführen, bevor Sie die Daten für die Analyse verfügbar machen können, was kompliziert oder kostspielig werden könnte.

Mit dynamischer Partitionierung gruppiert Firehose fortlaufend übertragene Daten mithilfe dynamisch oder statisch definierter Datenschlüssel und liefert die Daten nach Schlüsseln an einzelne Amazon S3 S3-Präfixe. Dadurch wird die Zeit bis zur Gewinnung von Erkenntnissen um Minuten oder Stunden reduziert. Es reduziert auch die Kosten und vereinfacht Architekturen.