Streaming-Daten in Amazon Data Firehose partitionieren

Dynamische Partitionierung ermöglicht es Ihnen, Streaming-Daten in Firehose kontinuierlich zu partitionieren, indem Sie Schlüssel innerhalb von Daten verwenden (z. B. customer_id odertransaction_id) und dann die nach diesen Schlüsseln gruppierten Daten in den entsprechenden Amazon Simple Storage Service (Amazon S3) -Präfixen bereitstellen. Dies macht es einfacher, leistungsstarke und kosteneffiziente Analysen von Streaming-Daten in Amazon S3 mithilfe verschiedener Dienste wie Amazon Athena, Amazon EMR, Amazon Redshift Spectrum und Amazon durchzuführen. QuickSight Darüber hinaus kann AWS Glue anspruchsvollere Extraktions-, Transformations- und Ladeaufträge (ETL) ausführen, nachdem die dynamisch partitionierten Streaming-Daten an Amazon S3 geliefert wurden, in Anwendungsfällen, in denen zusätzliche Verarbeitung erforderlich ist.

Durch die Partitionierung Ihrer Daten wird die Menge der gescannten Daten minimiert, die Leistung optimiert und die Kosten Ihrer Analyseabfragen auf Amazon S3 gesenkt. Es verbessert auch den granulierten Zugriff auf Ihre Daten. Firehose-Streams werden traditionell verwendet, um Daten zu erfassen und in Amazon S3 zu laden. Um einen Streaming-Datensatz für Amazon-S3-basierte Analysen zu partitionieren, müssten Sie Partitionierungsanwendungen zwischen Amazon-S3-Buckets ausführen, bevor Sie die Daten für Analysen verfügbar machen können, was kompliziert oder kostspielig werden könnte.

Mit dynamischer Partitionierung gruppiert Firehose fortlaufend übertragene Daten mithilfe dynamisch oder statisch definierter Datenschlüssel und liefert die Daten nach Schlüsseln an einzelne Amazon S3 S3-Präfixe. Dies reduziert time-to-insight sich um Minuten oder Stunden. Es reduziert auch die Kosten und vereinfacht Architekturen.