Amazon Managed Service for Apache Flink(DataStream API) 시작하기 - Managed Service for Apache Flink
애플리케이션 구성 요소 검토필수 사전 조건 완료

Amazon Managed Service for Apache Flink(Amazon MSF)는 이전에 Amazon Kinesis Data Analytics for Apache Flink로 알려져 있었습니다.

Amazon Managed Service for Apache Flink(DataStream API) 시작하기

이 섹션에서는 Managed Service for Apache Flink의 기본 개념과 DataStream API를 사용해 Java로 애플리케이션을 구현하는 방법을 소개합니다. 애플리케이션 생성 및 테스트에 사용할 수 있는 옵션에 대해 설명합니다. 또한 이 가이드의 자습서를 완료하고 첫 번째 애플리케이션을 만드는 데 필요한 도구를 설치하는 방법에 대한 지침도 제공합니다.

주제

Managed Service for Apache Flink 애플리케이션 구성 요소 검토

참고

Amazon Managed Service for Apache Flink는 모든 Apache Flink API와 잠재적으로 모든 JVM 언어를 지원합니다. 자세한 내용은 Flink의 API를 참조하세요.

선택한 API에 따라 애플리케이션 구조와 구현 방식이 약간 달라집니다. 이 시작하기 자습서에서는 Java의 DataStream API를 사용하여 애플리케이션을 구현하는 방법을 다룹니다.

Managed Service for Apache Flink 애플리케이션은 데이터를 처리하기 위해 Apache Flink 런타임을 사용하여 입력을 처리하고 출력을 생성하는 Java 애플리케이션을 사용합니다.

일반적인 Managed Service for Apache Flink 애플리케이션은 다음 구성 요소로 이루어져 있습니다.

  • 런타임 속성: 런타임 속성을 사용하여 구성 파라미터를 애플리케이션에 전달해 코드를 수정하거나 다시 게시하지 않고도 값을 변경할 수 있습니다.

  • 소스: 애플리케이션은 하나 이상의 소스에서 데이터를 소비합니다. 소스는 커넥터를 사용하여 Kinesis 데이터 스트림 또는 Kafka 버킷과 같은 외부 시스템에서 데이터를 읽습니다. 자세한 내용은 스트리밍 데이터 소스 추가 섹션을 참조하세요.

  • 연산자: 애플리케이션은 하나 이상의 연산자를 사용하여 데이터를 처리합니다. 연산자는 데이터를 변환, 강화 또는 집계할 수 있습니다. 자세한 내용은 연산자 섹션을 참조하세요.

  • 싱크: 애플리케이션이 싱크를 통해 외부 소스로 데이터를 전송합니다. 싱크는 커넥터를 사용하여 Kinesis 데이터 스트림, Kafka 주제, Amazon S3 또는 관계형 데이터베이스 등으로 데이터를 전송합니다. 개발용으로만 출력을 인쇄하는 특수 커넥터도 사용할 수 있습니다. 자세한 내용은 싱크를 사용하여 데이터 쓰기 섹션을 참조하세요.

애플리케이션은 사용 중인 Flink 커넥터 또는 잠재적으로 Java 라이브러리와 같은 일부 외부 종속성이 필요합니다. Amazon Managed Service for Apache Flink에서 실행하려면 애플리케이션을 종속성과 함께 fat-jar로 패키징하고 Amazon S3 버킷에 업로드해야 합니다. 그런 다음 Managed Service for Apache Flink 애플리케이션을 생성합니다. 코드 패키지의 위치와 기타 필요한 런타임 구성 파라미터를 전달합니다.

이 자습서에서는 Apache Maven을 사용하여 애플리케이션을 패키징하는 방법과 선택한 IDE에서 애플리케이션을 로컬로 실행하는 방법을 보여줍니다.

연습 완료를 위한 필수 조건 충족

이 가이드의 단계를 완료하려면 다음이 필요합니다.

  • Git 클라이언트. 아직 설치하지 않았다면 Git 클라이언트를 설치합니다.

  • Java Development Kit(JDK) 버전 11. Java JDK 11을 설치하고 JAVA_HOME 환경 변수를 JDK 설치 경로로 설정합니다. JDK 11이 없는 경우 Amazon Coretto 11 또는 원하는 다른 표준 JDK를 사용할 수 있습니다.

    • JDK가 올바르게 설치되었는지 확인하려면 다음 명령을 실행합니다. Amazon Corretto가 아닌 JDK를 사용하는 경우 출력이 다를 수 있습니다. 버전이 11.x인지 확인하세요.

      $ java --version

openjdk 11.0.23 2024-04-16 LTS
OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS)
OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)

  • – Apache Maven Apache Maven를 아직 설치하지 않았다면 설치합니다. 설치 방법을 알아보려면 Apache Maven 설치를 참조하세요.

    • Apache Maven 설치를 테스트하려면 다음을 입력하십시오.

    $ mvn -version

  • 로컬 개발을 위한 IDE입니다. 애플리케이션을 개발하고 컴파일하려면 Eclipse Java Neon 또는 IntelliJ IDEA와 같은 개발 환경을 사용하는 것이 좋습니다.

    • Apache Maven 설치를 테스트하려면 다음을 입력하십시오.

    $ mvn -version

시작하려면 AWS 계정 설정 및 관리자 생성 섹션으로 이동하십시오.