View a markdown version of this page

데이터 전송 개념 - Amazon Kinesis Data Streams
데이터 최신성스트리밍 테이블의 입력 형식범용 Amazon S3 버킷의 입력 형식스키마 적용채우기 없음전송당 새 테이블Dead Letter Queue(DLQ)인라인 압축전송 상태추가 전용 전송

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

데이터 전송 개념

이 주제를 사용하여 Amazon Kinesis Data Streams에서 테이블 스트리밍 및 Amazon S3 전송에 대한 주요 개념을 검토합니다. Amazon Kinesis

데이터 최신성

데이터 신선도는 Kinesis Data Streams가 수신 레코드를 대상으로 전송하기 전에 버퍼링하는 최대 시간(초)을 정의합니다. 300~900초(5~15분) 사이의 데이터 새로 고침을 구성할 수 있습니다. 기본 값은 300초입니다.

  • 낮은 값 - 더 작은 배치 크기로 대상에 더 빠르게 전송할 수 있습니다.

  • 값 높음 - 대상에 더 적고 큰 파일을 생성하는 더 효율적인 일괄 처리입니다.

스트리밍 테이블의 입력 형식

Apache Iceberg의 스트리밍 테이블로 전송할 때 데이터 전송은 다음과 같은 입력 레코드 형식을 지원합니다. 두 형식 모두 AWS Glue 스키마 레지스트리가 필요합니다.

  • JSON - 일반 JSON 레코드입니다. AWS Glue 스키마 레지스트리에 등록된 스키마를 참조하는 GSRSchemaARN ( AWS Glue 스키마 레지스트리 스키마의 )를 제공해야 합니다.

  • GSR_JSON(AWS Glue Schema Registry JSON) - 각 레코드에 스키마 ID가 포함된 JSON 레코드입니다. 스키마는 AWS Glue 스키마 레지스트리에서 자동으로 확인됩니다.

범용 Amazon S3 버킷의 입력 형식

범용 Amazon S3 버킷으로 전송할 때 데이터 전송은 다음과 같은 입력 레코드 형식을 지원합니다. 스키마 레지스트리는 필요하지 않습니다.

  • JSON - 일반 JSON 레코드입니다.

  • STRING - UTF-8 문자열 레코드입니다.

  • BYTE_ARRAY - 원시 바이너리 레코드입니다.

참고

범용 Amazon S3 버킷에는 GSR_JSON 형식이 지원되지 않습니다. Apache Iceberg의 스트리밍 테이블로만 전송할 수 있습니다.

스키마 적용

Apache Iceberg의 스트리밍 테이블의 경우 모든 레코드는 스키마 레지스트리에 등록된 스키 AWS Glue 마에 대해 검증됩니다. 스키마를 준수하지 않는 레코드는 스트리밍 테이블에 전달되지 않습니다. 실패 메타데이터는 문제 해결을 위해 배달 못한 편지 대기열에 기록됩니다. 데이터 전송은 스키마 진화를 지원하지 않습니다. 여기에는 새 필드 추가, 기존 필드 제거, 필드 이름 변경 또는 필드 데이터 유형 변경이 포함됩니다.

채우기 없음

대상은 스트리밍 테이블을 생성하거나 S3 전송을 구성한 후에 생성된 레코드만 수신합니다. 스트림의 기존 레코드는 백필되지 않습니다.

전송당 새 테이블

각 스트리밍 테이블 전송은 대상에 고유한 Iceberg 테이블을 생성합니다. 기존 테이블로의 전송은 지원되지 않습니다. 를 호출할 때 테이블 버킷 ARN, 네임스페이스 및 테이블 이름을 지정합니다CreateChannel.

Dead Letter Queue(DLQ)

배달 못한 편지 대기열은 성공적으로 전달되지 못한 레코드에 대한 정보를 캡처합니다.

  • Apache Iceberg의 스트리밍 테이블 - 배달 못한 편지 대기열이 필요합니다. 실패한 레코드에 대해 S3 버킷과 접두사를 지정해야 합니다.

  • 범용 Amazon S3 버킷 - 배달 못한 편지 대기열은 선택 사항입니다. 지정하지 않으면 기본적으로 오류 접두사가 있는 동일한 대상 버킷으로 설정됩니다.

배달 못한 편지 대기열에는 전체 레코드 페이로드가 아닌 레코드 식별자 및 오류 컨텍스트가 포함되어 있습니다.

인라인 압축

데이터 전송은 샤드 전반의 레코드를 최적의 크기의 파일로 집계하여 인라인 압축을 수행합니다. 이렇게 하면 대상의 작은 파일 수가 줄어들고 쿼리 성능이 향상됩니다.

전송 상태

전송은 수명 주기 동안 다음 상태를 통해 전환됩니다.

  • 생성 중 - 전송이 프로비저닝되고 있습니다.

  • ACTIVE - 전송이 레코드를 전송하고 있습니다.

  • 업데이트 중 - 구성 변경이 진행 중입니다.

  • 삭제 중 - 전송이 제거되고 있습니다.

  • 실패 - 전송에서 복구할 수 없는 오류가 발생했습니다.

추가 전용 전송

전송은 추가 전용입니다. 업데이트 및 업서트는 지원되지 않습니다. 스트림의 각 레코드는 대상에서 새 행으로 기록됩니다.