Lambda용 Amazon MSK 이벤트 소스 구성

Amazon MSK 클러스터를 Lambda 함수의 이벤트 소스로 사용하려면 두 리소스를 연결하는 이벤트 소스 매핑을 생성합니다. 이 페이지에서는 Amazon MSK에 대한 이벤트 소스 매핑을 생성하는 방법을 설명합니다.

이 페이지에서는 MSK 클러스터와 해당 클러스터가 있는 Amazon Virtual Private Cloud(VPC)를 이미 올바르게 구성했다고 가정합니다. 클러스터나 VPC를 설정해야 하는 경우 Lambda를 위한 Amazon MSK 클러스터 및 Amazon VPC 네트워크 구성 섹션을 참조하세요.

Amazon MSK 클러스터를 이벤트 소스로 사용

Apache Kafka 또는 Amazon MSK 클러스터를 Lambda 함수의 트리거로 추가하면 해당 클러스터가 이벤트 소스로 사용됩니다.

Lambda는 사용자가 지정한 시작 위치를 기반으로 CreateEventSourceMapping 요청에서 Topics로 지정한 Kafka 주제에서 이벤트 데이터를 읽습니다. 성공적인 처리 후, Kafka 토픽은 Kafka 클러스터에 커밋됩니다.

Lambda는 각 Kafka 주제 파티션에 대해 순차적으로 메시지를 읽습니다. 단일 Lambda 페이로드에는 여러 파티션의 메시지가 포함될 수 있습니다. 사용 가능한 레코드가 더 있는 경우 Lambda는 함수가 주제를 따라잡을 때까지 CreateEventSourceMapping 요청에서 지정한 BatchSize 값을 기반으로 배치로 레코드를 계속 처리합니다.

Lambda는 각 배치를 처리한 후 해당 배치에 있는 메시지의 오프셋을 커밋합니다. 함수가 배치의 어떤 메시지에 대해 오류를 반환하면 Lambda는 처리가 성공하거나 메시지가 만료될 때까지 전체 메시지 배치를 다시 시도합니다. 모든 재시도에 실패한 레코드를 실패 시 대상으로 전송하여 나중에 처리하도록 할 수 있습니다.