Amazon MSK - Amazon Timestream
Managed Service for Apache Flink 사용Kafka Connect 사용

Amazon Timestream for LiveAnalytics와 유사한 기능을 원하는 경우 Amazon Timestream for InfluxDB를 고려해 보세요. 간소화된 데이터 수집과 실시간 분석을 위한 10밀리초 미만의 쿼리 응답 시간을 제공합니다. 여기에서 자세히 알아보세요.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon MSK

Managed Service for Apache Flink를 사용하여 Timestream for LiveAnalytics로 Amazon MSK 데이터 전송

Managed Service for Apache Flink용 샘플 Timestream 데이터 커넥터와 유사한 데이터 커넥터를 구축하여 Amazon MSK에서 Timestream으로 데이터를 전송할 수 있습니다. 자세한 내용은 Amazon Managed Service for Apache Flink 섹션을 참조하세요.

Kafka Connect를 사용하여 Timestream for LiveAnalytics로 Amazon MSK 데이터 전송

Kafka Connect를 사용하여 Amazon MSK의 시계열 데이터를 Timestream for LiveAnalytics로 직접 수집할 수 있습니다.

Timestream을 위한 샘플 Kafka Sink Connector를 생성했습니다. 또한 Kafka 토픽에 데이터를 게시하기 위한 샘플 Apache jMeter 테스트 계획을 생성했습니다. 이를 통해 데이터가 토픽에서 Timestream Kafka Sink Connector를 거쳐 Timestream for LiveAnalytics 테이블로 흐를 수 있습니다. 이러한 모든 아티팩트는 GitHub에서 사용할 수 있습니다.

참고

Timestream Kafka Sink Connector를 사용하려면 Java 11 버전을 사용하는 것이 좋습니다. 여러 Java 버전이 있는 경우 Java 11을 JAVA_HOME 환경 변수로 내보내야 합니다.

샘플 애플리케이션 생성

시작하려면 다음 절차를 따르세요.

  1. Timestream for LiveAnalytics에서 kafkastream이라는 이름의 데이터베이스를 생성합니다.

    자세한 지침은 데이터베이스 생성 절차를 참조하세요.

  2. Timestream for LiveAnalytics에서 purchase_history라는 이름의 데이터베이스를 생성합니다.

    자세한 지침은 테이블 생성 절차를 참조하세요.

  3. 공유된 지침을 따라 다음을 생성합니다.

    • Amazon MSK 클러스터

    • Kafka 생산자 클라이언트 머신으로 구성된 Amazon EC2 인스턴스

    • Kafka 주제

    자세한 지침은 kafka_ingestor 프로젝트의 전제 조건을 참조하세요.

  4. Timestream Kafka Sink Connector 리포지토리를 복제합니다.

    자세한 지침은 GitHub의 Cloning a repository를 참조하세요.

  5. 플러그인 코드를 컴파일합니다.

    자세한 지침은 GitHub의 Connector - Build from source를 참조하세요.

  6. 설명된 지침에 따라 S3 버킷에 다음 파일을 업로드합니다.

    • /target 디렉터리의 jar 파일(kafka-connector-timestream->VERSION<-jar-with-dependencies.jar)

    • 샘플 json 스키마 파일, purchase_history.json

    자세한 지침은 Amazon S3 사용 설명서의 객체 업로드를 참조하세요.

  7. 2개의 VPC 엔드포인트를 생성합니다. 이러한 엔드포인트는 MSK 커넥터에서 AWS PrivateLink를 사용하여 리소스에 액세스하는 데 사용됩니다.

    • 하나는 Amazon S3 버킷에 액세스하는 데 사용됩니다.

    • 하나는 Timestream for LiveAnalytics 테이블에 액세스하는 데 사용됩니다.

    자세한 지침은 VPC 엔드포인트를 참조하세요.

  8. 업로드된 jar 파일로 사용자 지정 플러그인을 생성합니다.

    자세한 지침은 Amazon MSK 개발자 안내서의 플러그인을 참조하세요.

  9. 설명된 지침에 따라 워커 구성 파라미터에 설명된 JSON 콘텐츠로 사용자 지정 워커 구성을 생성합니다.

    자세한 지침은 Amazon MSK 개발자 안내서의 사용자 지정 워커 구성 생성을 참조하세요.

  10. 서비스 실행 IAM 역할을 생성합니다.

    자세한 지침은 IAM 서비스 역할을 참조하세요.

  11. 이전 단계에서 생성된 사용자 지정 플러그인, 사용자 지정 워커 구성 및 서비스 실행 IAM 역할과 샘플 커넥터 구성을 사용하여 Amazon MSK 커넥터를 생성합니다.

    자세한 지침은 Amazon MSK 개발자 안내서의 커넥터 생성을 참조하세요.

    아래 구성 파라미터의 값을 해당 값으로 업데이트해야 합니다. 자세한 내용은 커넥터 구성 파라미터를 참조하세요.

    • aws.region

    • timestream.schema.s3.bucket.name

    • timestream.ingestion.endpoint

    커넥터 생성은 완료까지 5~10분이 소요됩니다. 상태가 Running(으)로 변경되면 파이프라인이 준비된 것입니다.

  12. 생성된 Kafka 주제에 데이터를 쓰기 위해 메시지의 연속 스트림을 게시합니다.

    자세한 지침은 사용 방법을 참조하세요.

  13. 하나 이상의 쿼리를 실행하여 데이터가 Amazon MSK에서 MSK Connect를 통해 Timestream for LiveAnalytics 테이블로 전송되고 있는지 확인합니다.

    자세한 지침은 쿼리 실행 절차를 참조하세요.

추가 리소스

블로그인 Kafka Connect를 사용하여 Kafka 클러스터에서 Timestream for LiveAnalytics로 실시간 서버리스 데이터 수집 구현에서는 Apache jMeter 테스트 계획을 사용하여 수천 개의 샘플 메시지를 Kafka 토픽에 게시하는 Kafka 생산자 클라이언트 머신부터 Timestream for LiveAnalytics 테이블에 수집된 레코드 확인까지 Timestream for LiveAnalytics Kafka Sink Connector를 사용하여 엔드 투 엔드 파이프라인을 설정하는 과정을 설명합니다.