Speichern exportierter Daten in Amazon S3

Amazon Monitron bietet eine vordefinierte AWS CloudFormation Vorlage, mit der Firehose schnell eingerichtet werden kann, um Daten aus einem Kinesis-Datenstream an den Amazon S3 S3-Bucket zu übertragen. Diese Vorlage ermöglicht dynamische Partitionierung und die gelieferten Amazon S3 S3-Objekte verwenden das folgende von Amazon Monitron empfohlene Schlüsselformat: /project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}

1. Loggen Sie sich in Ihr AWS Konto ein.

2. Öffnen Sie einen neuen Browser-Tab mit der folgenden URL:

   https://console.aws.amazon.com/cloudformation/home?region=us-east-1#/stacks/create/review?templateURL=https://s3.us-east-1.amazonaws.com/monitron-cloudformation-templates-us-east-1/monitron_kinesis_data_export.yaml&stackName=monitron-kinesis-live-data-export

3. Wählen Sie auf der sich öffnenden AWS CloudFormation Seite in der oberen rechten Ecke die Region aus, in der Sie Amazon Monitron verwenden.

4. Standardmäßig erstellt die Vorlage einen neuen Kinesis-Datenstream und einen neuen S3-Bucket zusammen mit anderen Ressourcen, die für die Bereitstellung von Daten an Amazon S3 benötigt werden. Sie können die Parameter ändern, um vorhandene Ressourcen zu verwenden.

5. Markieren Sie das Kästchen mit der Aufschrift Ich bestätige, dass AWS CloudFormation möglicherweise IAM-Ressourcen erstellt werden.

6. Wählen Sie Stack erstellen aus.

7. Wählen Sie auf der nächsten Seite so oft Sie möchten das Aktualisierungssymbol aus, bis der Status des Stacks CREATE_COMPLETE lautet.

1. Melden Sie sich bei der AWS Management Console an und öffnen Sie die Kinesis-Konsole unter https://console.aws.amazon.com /kinesis.

2. Wählen Sie im Navigationsbereich Delivery Streams aus.

3. Wählen Sie Create Delivery Stream (Bereitstellungs-Stream erstellen) aus.

4. Wählen Sie als Quelle Amazon Kinesis Data Streams aus.

5. Wählen Sie als Ziel Amazon S3 aus.

6. Geben Sie unter Quelleinstellungen, Kinesis-Datenstrom den ARN Ihres Kinesis-Datenstroms ein.

7. Geben Sie unter Delivery Stream Name den Namen Ihres Kinesis-Datenstreams ein.

8. Wählen Sie unter Zieleinstellungen einen Amazon S3 S3-Bucket aus oder geben Sie einen Bucket-URI ein.

9. (optional) Aktivieren Sie die dynamische Partitionierung mithilfe von Inline-Parsing für JSON. Diese Option ist geeignet, wenn Sie Streaming-Messdaten auf der Grundlage von Quellinformationen und Zeitstempel partitionieren möchten. Zum Beispiel:

   • Wählen Sie Aktiviert für dynamische Partitionierung.

   • Wählen Sie für Neues Zeilentrennzeichen die Option Aktiviert aus.

   • Wählen Sie Aktiviert für Inline-Parsing für JSON.

   • Fügen Sie unter Dynamische Partitionierungsschlüssel Folgendes hinzu:

     Tastenname	JQ-Ausdruck
     project	. projectDisplayName| „Projekt=\ (.)“
     site	. siteDisplayName| „site=\ (.)“
     time	.timestamp| sub („[0-9] {2}: [0-9] {2}: [0-9] {2}. [0-9] {3} $“; "00:00:00 „) | „time=\ (.)“

10. Wählen Sie Apply dynamic partitioning keys und vergewissern Sie sich, dass das generierte Amazon S3 S3-Bucket-Präfix aktiviert ist!{partitionKeyFromQuery:project}/!{partitionKeyFromQuery:site}/!{partitionKeyFromQuery:time}/.

11. In Amazon S3 verwenden Objekte das folgende Schlüsselformat:/project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}.

12. Wählen Sie Create Delivery Stream (Bereitstellungs-Stream erstellen) aus.

13. (optional) Verwenden Sie einen detaillierteren Pfad.

    Wenn Sie sich für eine dynamische Partition entschieden haben, verwenden Sie das vorherige Amazon S3 S3-Schlüsselformat, wenn Sie beabsichtigen, die Daten mit Athena abzufragen. AWS Glue Sie können auch ein feineres Schlüsselformat wählen, aber die Amazon Athena Athena-Abfrage ist nicht effizient. Hier ist ein Beispiel für die Einrichtung eines feineren Amazon S3 S3-Schlüsselpfads.

    Fügen Sie unter Dynamische Partitionierungsschlüssel Folgendes hinzu:

    Tastenname	JQ-Ausdruck
    project	. projectDisplayName| „Projekt=\ (.)“
    site	. siteDisplayName| „site=\ (.)“
    Komponente	. assetDisplayName| „Vermögenswert=\ (.)“
    position	. sensorPositionDisplayName| „position=\ (.)“
    Sensor	.sensor.PhysicalId | „sensor=\ (.)“
    date	.timestamp| sub (“ [0-9] {2}: [0-9] {2}: [0-9] {2}. [0-9] {3} $“; „“) | „date=\ (.)“

    In Amazon S3 verwenden Objekte das folgende Schlüsselformat: /project={projectName}/site={siteName}/asset={assetName}/position={positionName}/sensor={sensorId}/date={yyyy-mm-dd}/time={HH:MM:SS}/{filename}