Verarbeiten von Amazon Kinesis Data Streams-Datensätzen mit Lambda - AWS Lambda
Erstellen einer -EreignisquellenzuweisungAbfrage und Startposition des StreamsKontenübergreifende Zuordnungen

Verarbeiten von Amazon Kinesis Data Streams-Datensätzen mit Lambda

Um Amazon-Kinesis-Data-Streams-Datensätze mit Lambda zu verarbeiten, erstellen Sie eine Lambda-Zuordnung von Ereignisquellen. Sie können eine Lambda-Funktion zu einem Standard-Iterator oder zu einem Konsumenten für das erweiterte Rundsenden zuweisen. Weitere Informationen finden Sie unter Abfragen und Stapeln von Streams.

Erstellen einer Zuordnung von Ereignisquellen für Kinesis

Um Ihre Lambda-Funktion mit Datensätzen aus Ihrem Datenstrom aufzurufen, erstellen Sie eine Zuordnung von Ereignisquellen. Sie können mehrere Ereignisquellenzuordnungen erstellen, um gleiche Daten mit mehreren Lambda-Funktionen oder Elemente aus mehreren Daten-Streams mit nur einer Funktion zu verarbeiten. Bei der Verarbeitung von Elementen aus mehreren Datenströmen enthält jeder Batch Datensätze aus nur einem einzigen Shard oder Stream.

Sie können Zuordnungen von Ereignisquellen konfigurieren, um Datensätze aus einem Stream in einem anderen AWS-Konto zu verarbeiten. Weitere Informationen hierzu finden Sie unter Erstellen einer kontoübergreifenden Zuordnung von Ereignisquellen.

Bevor Sie ein Zuordnung von Ereignisquellen erstellen, müssen Sie Ihrer Lambda-Funktion die Berechtigung zum Lesen aus einem Kinesis-Datenstrom erteilen. Lambda benötigt die folgenden Berechtigungen zum Verwalten von Ressourcen, die zu Ihrem Kinesis-Datenstrom gehören:

Die AWS-verwaltete Richtlinie AWSLambdaKinesisExecutionRole enthält diese Berechtigungen. Fügen Sie diese verwaltete Richtlinie zu Ihrer Funktion hinzu, wie im folgenden Verfahren beschrieben.

Anmerkung

  • Sie benötigen keine kinesis:ListStreams-Berechtigung, um Zuordnungen von Ereignisquellen für Kinesis zu erstellen und zu verwalten. Wenn Sie jedoch eine Zuordnung von Ereignisquellen in der Konsole erstellen und nicht über diese Berechtigung verfügen, können Sie keinen Kinesis-Stream aus einer Dropdown-Liste auswählen und die Konsole zeigt einen Fehler an. Um die Zuordnung von Ereignisquellen zu erstellen, müssen Sie den Amazon-Ressourcennamen (ARN) Ihres Streams manuell eingeben.

  • Lambda ruft die APIs kinesis:GetRecords und kinesis:GetShardIterator auf, wenn fehlgeschlagene Aufrufe erneut versucht werden.

AWS-Managementkonsole
So fügen Sie Kinesis-Berechtigungen zu Ihrer Funktion hinzu

  1. Öffnen Sie die Funktionsseite der Lambda-Konsole und wählen Sie Ihre Funktion aus.

  2. Klicken Sie in der Registerkarte Konfiguration auf die Option Berechtigungen.

  3. Wählen Sie im Bereich Ausführungsrolle unter Rollenname den Link zur Ausführungsrolle Ihrer Funktion aus. Dieser Link öffnet die Seite für diese Rolle in der IAM-Konsole.

  4. Unter Berechtigungsrichtlinien im Abschnitt Berechtigungen hinzufügen wählen Sie dann Richtlinien anfügen aus.

  5. Geben Sie im Suchfeld ein AWSLambdaKinesisExecutionRole.

  6. Aktivieren Sie das Kontrollkästchen neben der Richtlinie und wählen Sie Berechtigung hinzufügen.

AWS CLI
So fügen Sie Kinesis-Berechtigungen zu Ihrer Funktion hinzu

  • Führen Sie den folgenden CLI-Befehl aus, um die AWSLambdaKinesisExecutionRole-Richtlinie zur Ausführungsrolle Ihrer Funktion hinzuzufügen:

    aws iam attach-role-policy \
--role-name MyFunctionRole \
--policy-arn arn:aws:iam::aws:policy/service-role/AWSLambdaKinesisExecutionRole
AWS SAM
So fügen Sie Kinesis-Berechtigungen zu Ihrer Funktion hinzu

  • Fügen Sie die Policies-Eigenschaft wie im folgenden Beispiel gezeigt in der Definition Ihrer Funktion hinzu:

    Resources:
  MyFunction:
    Type: AWS::Serverless::Function
    Properties:
      CodeUri: ./my-function/
      Handler: index.handler
      Runtime: nodejs22.x
      Policies:
        - AWSLambdaKinesisExecutionRole

Nachdem Sie die erforderlichen Berechtigungen konfiguriert haben, erstellen Sie die Zuordnung von Ereignisquellen.

AWS-Managementkonsole
So erstellen Sie die Kinesis-Zuordnung von Ereignisquellen

  1. Öffnen Sie die Funktionsseite der Lambda-Konsole und wählen Sie Ihre Funktion aus.

  2. Wählen Sie im Bereich Function overview (Funktionsübersicht) die Option Add trigger (Auslöser hinzufügen).

  3. Wählen Sie unter Trigger-Konfiguration als Quelle die Option Kinesis aus.

  4. Wählen Sie den Kinesis-Stream, für den Sie die Zuordnung von Ereignisquellen erstellen möchten und optional einen Konsumenten Ihres Streams.

  5. (Optional) Bearbeiten Sie die Batch-Größe, die Startposition und das Batch-Fenster für Ihre Zuordnung von Ereignisquellen.

  6. Wählen Sie Hinzufügen aus.

Wenn Sie die Zuordnung von Ereignisquellen von der Konsole aus erstellen, muss Ihre IAM-Rolle über die Berechtigungen kinesis:ListStreams und kinesis:ListStreamConsumers verfügen.

AWS CLI
So erstellen Sie die Kinesis-Zuordnung von Ereignisquellen

  • Führen Sie den folgenden CLI-Befehl aus, um eine Kinesis-Zuordnung von Ereignisquellen zu erstellen. Wählen Sie Ihre eigene Batch-Größe und Startposition entsprechend Ihrem Anwendungsfall.

    aws lambda create-event-source-mapping \
--function-name MyFunction \
--event-source-arn arn:aws:kinesis:us-east-2:123456789012:stream/lambda-stream \
--starting-position LATEST \
--batch-size 100

Um ein Batching-Fenster anzugeben, fügen Sie die --maximum-batching-window-in-seconds-Option hinzu. Weitere Informationen zur Verwendung dieses und anderer Parameter finden Sie unter create-event-source-mapping in der AWS CLI Befehlsreferenz.

AWS SAM
So erstellen Sie die Kinesis-Zuordnung von Ereignisquellen

  • Fügen Sie die KinesisEvent-Eigenschaft wie im folgenden Beispiel gezeigt in der Definition Ihrer Funktion hinzu:

    Resources:
  MyFunction:
    Type: AWS::Serverless::Function
    Properties:
      CodeUri: ./my-function/
      Handler: index.handler
      Runtime: nodejs22.x
      Policies:
        - AWSLambdaKinesisExecutionRole
      Events:
        KinesisEvent:
          Type: Kinesis
          Properties:
            Stream: !GetAtt MyKinesisStream.Arn
            StartingPosition: LATEST
            BatchSize: 100

  MyKinesisStream:
    Type: AWS::Kinesis::Stream
    Properties:
      ShardCount: 1

Weitere Informationen zum Erstellen einer Zuordnung von Ereignisquellen für Kinesis Data Streams in AWS SAM finden Sie im AWS Serverless Application Model Entwicklerhandbuch zu Kinesis.

Abfrage und Startposition des Streams

Beachten Sie, dass die Stream-Abfrage bei der Erstellung und Aktualisierung der Zuordnung von Ereignisquellen letztendlich konsistent ist.

  • Bei der Erstellung der Zuordnung von Ereignisquellen kann es mehrere Minuten dauern, bis mit der Abfrage von Ereignissen aus dem Stream begonnen wird.

  • Bei Aktualisierungen der Zuordnung von Ereignisquellen kann es mehrere Minuten dauern, bis die Abfrage von Ereignissen aus dem Stream gestoppt und neu gestartet wird.

Dieses Verhalten bedeutet, dass, wenn Sie LATEST als Startposition für den Stream angeben, die Zuordnung von Ereignisquellen bei der Erstellung oder Aktualisierung möglicherweise Ereignisse übersieht. Um sicherzustellen, dass keine Ereignisse übersehen werden, geben Sie die Startposition des Streams als TRIM_HORIZON oder AT_TIMESTAMP an.

Erstellen einer kontoübergreifenden Zuordnung von Ereignisquellen

Amazon Kinesis Data Streams unterstützt ressourcenbasierte Richtlinien. Aus diesem Grund können Sie Daten, die in einem AWS-Konto in einen Stream aufgenommen wurden, mit einer Lambda-Funktion in einem anderen Konto verarbeiten.

Um eine Zuordnung von Ereignisquellen für Ihre Lambda-Funktion zu erstellen, die einen Kinesis-Stream in einem anderen AWS-Konto verwendet, müssen Sie den Stream mithilfe einer ressourcenbasierten Richtlinie konfigurieren, um Ihrer Lambda-Funktion die Berechtigung zum Lesen von Elementen zu erteilen. Wie Sie Ihren Stream so konfigurieren, dass er kontoübergreifenden Zugriff zulässt, erfahren Sie unter Gemeinsamer Zugriff mit kontoübergreifenden AWS Lambda-Funktionen im Amazon Kinesis Streams Developer Guide.

Sobald Sie Ihren Stream mit einer ressourcenbasierten Richtlinie konfiguriert haben, die Ihrer Lambda-Funktion die erforderlichen Berechtigungen erteilt, erstellen Sie die Zuordnung von Ereignisquellen mit einer der im vorherigen Abschnitt beschriebenen Methoden.

Wenn Sie Ihre Zuordnung von Ereignisquellen über die Lambda-Konsole erstellen möchten, fügen Sie den ARN Ihres Streams direkt in das Eingabefeld ein. Wenn Sie einen Verbraucher für Ihren Stream angeben möchten, wird durch Einfügen der ARN des Verbrauchers automatisch das Stream-Feld ausgefüllt.