Amazon Managed Service for Apache Flink 1.18 - Managed Service for Apache Flink
Apache Flink 1.15를 사용하는 Amazon Managed Service for Apache Flink의 변경 사항 구성 요소알려진 문제

Amazon Managed Service for Apache Flink(Amazon MSF)는 이전에 Amazon Kinesis Data Analytics for Apache Flink로 알려져 있었습니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Managed Service for Apache Flink 1.18

Managed Service for Apache Flink은 이제 Apache Flink 버전 1.18.1을 지원합니다. Managed Service for Apache Flink에서 Apache Flink 1.18.1을 지원하면서 도입된 주요 신규 기능과 변경 사항을 확인해 보세요.

참고

지원되는 이전 Apache Flink 버전을 사용 중이며 기존 애플리케이션을 Apache Flink 1.18.1로 업그레이드하려는 경우, 인플레이스 Apache Flink 버전 업그레이드를 사용하여 업그레이드할 수 있습니다. 인플레이스 버전 업그레이드를 사용하면 스냅샷, 로그, 지표, 태그, Flink 구성 등을 포함하여 Apache Flink 버전 전반에 걸쳐 단일 ARN을 기준으로 애플리케이션 추적성을 유지할 수 있습니다. 이 기능은 RUNNING 및 READY 상태에서 사용할 수 있습니다. 자세한 내용은 Apache Flink에 인플레이스 버전 업그레이드 사용 단원을 참조하십시오.

Apache Flink 설명서 참조로 지원되는 기능
지원 기능 설명 Apache Flink 설명서 참조
Opensearch 커넥터 이 커넥터에는 at-least-once 전달을 보장하는 싱크가 포함되어 있습니다. github: Opensearch 커넥터
Amazon DynamoDB 커넥터 이 커넥터에는 at-least-once 전달을 보장하는 싱크가 포함되어 있습니다. Amazon DynamoDB 싱크
MongoDB 커넥터 이 커넥터에는 at-least-once 전달을 보장하는 소스와 싱크가 포함되어 있습니다. MongoDB 커넥터
Hive와 Flink 플래너 분리

추가 JAR 교체 없이 Hive 방언을 직접 사용할 수 있습니다.

 FLINK-26603: Hive와 Flink 플래너 분리
기본적으로 RocksDBWriteBatchWrapper에서 WAL 비활성화

이렇게 하면 복구 시간이 단축됩니다.

 FLINK-32326: 기본적으로 RocksDBWriteBatchWrapper에서 WAL 비활성화

워터마크 정렬 활성화 시 워터마크 집계 성능 개선

워터마크 정렬을 사용하도록 하면 워터마크 집계 성능을 개선하고 관련 벤치마크를 추가합니다.

 FLINK-32524: 워터마크 집계 성능
프로덕션 환경 사용을 위한 워터마크 정렬 지원 대규모 작업이 JobManager를 과부하시킬 위험 제거 FLINK-32548: 워터마크 정렬 준비

비동기 싱크를 위한 구성 가능한 RateLimitingStrategy

RateLimitingStrategy를 사용하면 무엇을, 언제, 얼마나 규모 조정할지를 구성할 수 있습니다.

 FLIP-242: 비동기 싱크를 위한 구성 가능한 RateLimitingStrategy 도입

테이블 및 열 통계 대량 가져오기

 쿼리 성능이 개선되었습니다. FLIP-247: 지정된 파티션에 대한 표 및 열 통계 대량 가져오기

Apache Flink 1.18.1 릴리스 설명서는 Apache Flink 1.18.1 릴리스 발표를 참조하세요.

Pekko로 Akka 교체

Apache Flink는 Apache Flink 1.18에서 Akka를 Pekko로 교체했습니다. 이 변경 사항은 Apache Flink 1.18.1부터 Amazon Managed Service for Apache Flink에서 완전히 지원됩니다. 이 변경으로 인해 애플리케이션을 수정할 필요는 없습니다. 자세한 내용은 FLINK-32468: Akka를 Pekko로 대체를 참조하세요.

스레드 모드에서 PyFlink 런타임 실행 지원

이번 Apache Flink 변경 사항은 PyFlink 런타임 프레임워크에 새로운 실행 모드인 프로세스 모드를 도입합니다. 프로세스 모드에서는 별도의 프로세스가 아닌 동일한 스레드에서 Python 사용자 정의 함수를 실행할 수 있습니다.

백포트된 버그 수정

Amazon Managed Service for Apache Flink는 주요 문제를 해결하기 위해 Flink 커뮤니티에서 제공하는 버그 수정 사항을 백포트하고 있습니다. 따라서 런타임은 Apache Flink 1.18.1 원본 릴리스와 일부 다를 수 있습니다. 다음은 백포트된 버그 수정 목록입니다.

백포트된 버그 수정
Apache Flink JIRA 링크 설명
FLINK-33863 이 수정 사항은 압축된 스냅샷에서 상태 복원이 실패하는 문제를 해결합니다.
FLINK-34063 이 수정 사항은 스냅샷 압축을 활성화했을 때 소스 연산자가 스플릿을 잃어버리는 문제를 해결합니다. Apache Flink는 모든 체크포인트 및 저장점에 대해 선택적 압축 기능(기본값: 꺼짐)을 제공합니다. Apache Flink는 Flink 1.18.1에서 스냅샷 압축이 활성화된 경우 연산자 상태가 올바르게 복원되지 않는 버그를 확인했습니다. 이 문제는 데이터 손실 또는 체크포인트 복원 불가 상태로 이어질 수 있습니다.
FLINK-35069 이 수정 사항은 창 종료 시 타이머를 트리거하는 과정에서 Flink 작업이 멈추는 문제를 해결합니다.
FLINK-35097 이 수정 사항은 Table API Filesystem 커넥터에서 원시 형식을 사용할 때 중복 레코드가 생성되는 문제를 해결합니다.
FLINK-34379 이 수정 사항은 동적 테이블 필터링을 활성화했을 때 OutOfMemoryError가 발생하는 문제를 해결합니다.
FLINK-28693 이 수정 사항은 워터마크에 columnBy 표현식이 포함된 경우 Table API가 그래프를 생성하지 못하는 문제를 해결합니다.
FLINK-35217 이 수정 사항은 특정 Flink 작업 실패 모드에서 체크포인트가 손상되는 문제를 해결합니다.
구성 요소 버전
Java 11 (권장)
Scala

버전 1.15부터 Flink는 Scala에 구애받지 않습니다. 참조로 MSF Flink 1.18은 Scala 3.3(LTS)에 대해 검증되었습니다.
Managed Service for Apache Flink Flink Runtime (aws-kinesisanalytics-runtime) 1.2.0
AWS Kinesis Connector(flink-connector-kinesis)[소스] 4.2.0-1.18
AWS Kinesis Connector(flink-connector-kinesis)[싱크] 4.2.0-1.18
Apache Beam (빔 애플리케이션만 해당)

버전 2.57.0부터 지원됩니다. 자세한 내용은 Flink 버전 호환성을 참조하세요.

Amazon Managed Service for Apache Flink Studio

Studio는 Apache Zeppelin 노트북을 활용하여 Apache Flink 스트림 처리 애플리케이션을 개발하고 코드를 디버깅하고 실행하기 위한 단일 인터페이스 개발 환경을 제공합니다. Flink 1.18 지원을 위해서는 Zeppelin의 Flink 인터프리터를 업그레이드해야 합니다. 이 작업은 Zeppelin 커뮤니티와 함께 진행될 예정이며, 완료되는 대로 이 노트를 업데이트할 예정입니다. Amazon Managed Service for Apache Flink Studio에서는 Flink 1.15를 계속 사용할 수 있습니다. 자세한 내용은 Studio 노트북 생성을 참조하세요.

하위 작업이 역압될 때 워터마크 유휴 상태가 잘못 계산되는 문제

하위 작업이 역압될 때 워터마크 생성 과정에서 알려진 문제가 있으며, 이는 Flink 1.19부터 수정되었습니다. 이 문제는 Flink 작업 그래프가 역압될 때 지연 레코드 수가 급증하는 형태로 나타날 수 있습니다. 이 문제를 해결하려면 최신 Flink 버전으로 업그레이드할 것을 권장합니다. 자세한 내용은 하위 작업이 역압 및 차단되는 경우 잘못된 워터마크 유휴 시간 초과 기록을 참조하세요.