기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# Standard 브로커를 위한 계층형 스토리지
계층형 스토리지는 사실상 무제한 스토리지로 확장할 수 있어 스트리밍 데이터 애플리케이션을 비용 효율적으로 빌드할 수 있는 Amazon MSK의 저비용 스토리지 계층입니다.
성능과 비용의 균형을 맞추는 계층형 스토리지로 구성된 Amazon MSK 클러스터를 생성할 수 있습니다. Amazon MSK는 Apache Kafka 주제 보존 한도에 도달할 때까지 스트리밍 데이터를 성능에 최적화된 기본 스토리지 계층에 저장합니다. 그러면 Amazon MSK가 자동으로 데이터를 새로운 저비용 스토리지 계층으로 이동합니다.
애플리케이션이 계층형 스토리지에서 데이터를 읽기 시작하면 처음 몇 바이트 동안 읽기 지연 시간이 늘어날 수 있습니다. 저비용 계층에서 나머지 데이터를 순차적으로 읽기 시작하면 기본 스토리지 계층과 비슷한 수준의 지연 시간을 예상할 수 있습니다. 저비용 계층형 스토리지를 위해 스토리지를 프로비저닝하거나 인프라를 관리할 필요가 없습니다. 원하는 만큼만 데이터를 저장하고 사용한 만큼만 비용을 지불할 수 있습니다. 이 기능은 [KIP-405: Kafka 계층화된 스토리지](https://cwiki.apache.org/confluence/display/KAFKA/KIP-405%3A+Kafka+Tiered+Storage)에 도입된 API와 호환됩니다.
MSK 계층형 스토리지 클러스터의 규모 조정, 모니터링 및 최적화에 대한 자세한 내용은 [Amazon MSK 계층형 스토리지를 사용하여 프로덕션 워크로드를 실행하는 모범 사례](https://aws.amazon.com/blogs/big-data/best-practices-for-running-production-workloads-using-amazon-msk-tiered-storage/)를 참조하세요.
다음은 계층형 스토리지의 몇 가지 기능입니다.
+ 스토리지 규모를 거의 무제한으로 조정할 수 있습니다. Apache Kafka 인프라의 규모를 조정하는 방법을 추측할 필요가 없습니다.
+ 브로커 수를 늘리지 않고도 Apache Kafka 주제에 데이터를 더 오래 보관하거나 주제 저장 공간을 늘릴 수 있습니다.
+ 예기치 않은 처리 지연을 처리하기 위해 더 긴 기간의 안전 버퍼를 제공합니다.
+ 기존 스트림 처리 코드와 Kafka API를 사용하여 정확한 생산 순서대로 오래된 데이터를 재처리할 수 있습니다.
+ 보조 스토리지의 데이터는 브로커 디스크 간에 복제할 필요가 없으므로 파티션이 더 빠르게 재조정됩니다.
+ 브로커와 계층화된 스토리지 간의 데이터는 VPC 내에서 이동하며 인터넷을 통해 이동하지 않습니다.
+ 클라이언트 머신은 계층형 스토리지가 활성화되지 않은 클러스터에 연결할 때와 동일한 프로세스를 사용하여 계층형 스토리지가 활성화된 새 클러스터에 연결할 수 있습니다. [클라이언트 머신 생성](https://docs.aws.amazon.com/msk/latest/developerguide/create-client-machine.html)을 참조하세요.
## Amazon MSK 클러스터에 대한 계층형 스토리지 요구 사항
+ 계층형 스토리지를 사용하도록 설정한 새 주제를 생성하려면 Apache Kafka 클라이언트 버전 3.0.0 이상을 사용해야 합니다. 기존 토픽을 계층형 스토리지로 전환하려면, 3.0.0(지원되는 최소 Apache Kafka 버전은 2.8.2.tiered)보다 낮은 Kafka 클라이언트 버전을 사용하는 클라이언트 머신을 재구성하여 계층형 스토리지를 사용하도록 설정할 수 있습니다. [4단계: Amazon MSK 클러스터에서 주제 생성](create-topic.md)을(를) 참조하세요.
+ 계층형 스토리지가 활성화된 Amazon MSK 클러스터는 버전 3.6.0 이상 또는 2.8.2.tiered를 사용해야 합니다.
## Amazon MSK 클러스터에 대한 계층형 스토리지 제약 조건 및 제한 사항
계층형 스토리지에는 다음과 같은 제약과 제한 사항이 있습니다.
+ 애플리케이션이 트랜잭션 기능을 적극적으로 사용하지 않는 한 Amazon MSK의 remote\$1tier에서 읽을 때 클라이언트에서 `read_committed`에 구성되지 않았는지 확인합니다.
+ 계층형 스토리지는 AWS GovCloud(미국) 리전에서 사용할 수 없습니다.
+ 계층형 스토리지는 프로비저닝 모드 클러스터에만 적용됩니다.
+ 계층형 스토리지는 브로커 크기 t3.small을 지원하지 않습니다.
+ 저비용 스토리지의 최소 보존 기간은 3일입니다. 기본 스토리지에는 최소 보존 기간이 없습니다.
+ 계층형 스토리지는 브로커에서 다중 로그 디렉터리(JBOD 관련 기능)를 지원하지 않습니다.
+ 계층형 스토리지는 압축된 주제를 지원하지 않습니다. 계층형 스토리지가 설정된 모든 주제의 cleanup.policy가 'DELETE'로만 구성되어 있는지 확인합니다.
+ 계층형 스토리지 클러스터는 주제가 생성된 후 주제에 대한 log.cleanup.policy 정책 변경을 지원하지 않습니다.
+ 계층형 스토리지는 개별 주제에 대해 비활성화할 수 있지만 전체 클러스터에서는 비활성화할 수 없습니다. 일단 비활성화되면 주제에 대해 계층형 스토리지를 다시 활성화할 수 없습니다.
+ Amazon MSK 버전 2.8.2.tiered를 사용하는 경우 다른 계층형 스토리지를 지원하는 Apache Kafka 버전으로만 마이그레이션할 수 있습니다. 계층형 스토리지 지원 버전을 계속 사용하지 않으려면 새로운 MSK 클러스터를 생성하고 해당 클러스터로 마이그레이션하세요.
+ kafka-log-dirs 도구는 계층화된 스토리지 데이터 크기를 보고할 수 없습니다. 이 도구는 기본 스토리지에 있는 로그 세그먼트의 크기만 보고합니다.
주제 수준에서 계층형 스토리지를 구성할 때 기본 설정 및 제약 조건에 대한 자세한 내용은 [Amazon MSK 계층형 스토리지 주제 수준의 구성에 대한 지침](msk-guidelines-tiered-storage-topic-level-config.md) 섹션을 참조하세요.
# Amazon MSK 주제에 대해 로그 세그먼트를 계층형 스토리지로 복사하는 방법
새 주제 또는 기존 주제에 대해 계층형 스토리지를 활성화하면 Apache Kafka가 기본 스토리지에서 계층형 스토리지로 닫힌 로그 세그먼트를 복사합니다.
+ Apache Kafka는 닫힌 로그 세그먼트만 복사합니다. 로그 세그먼트 내의 모든 메시지를 계층화된 스토리지에 복사합니다.
+ 활성 세그먼트는 계층화 대상이 아닙니다. 로그 세그먼트 크기(segment.bytes) 또는 세그먼트 롤링 시간(segment.ms)은 세그먼트 닫기 속도를 제어하며 Apache Kafka가 세그먼트를 계층형 스토리지로 복사하는 속도도 제어합니다.
계층형 스토리지가 활성화된 주제의 보존 설정은 계층형 스토리지가 활성화되지 않은 주제의 설정과 다릅니다. 다음 규칙은 계층형 스토리지가 활성화된 주제의 메시지 보존을 제어합니다.
+ Apache Kafka에서 보존은 log.retention.ms(시간)와 log.retention.bytes(크기)의 두 가지 설정으로 정의할 수 있습니다. 이러한 설정은 Apache Kafka가 클러스터에 보관하는 데이터의 총 기간과 크기를 결정합니다. 계층형 스토리지 모드 사용 여부에 관계없이 이러한 구성은 클러스터 수준에서 설정합니다. 주제 구성으로 주제 수준에서 설정을 재정의할 수 있습니다.
+ 계층형 스토리지를 사용하도록 설정하면 기본 고성능 스토리지 계층에서 데이터를 저장하는 기간을 추가로 지정할 수 있습니다. 예를 들어 토픽의 전체 보존(log.retention.ms) 설정이 7일이고 로컬 보존(local.retention.ms)이 12시간인 경우 클러스터 기본 스토리지에는 처음 12시간 동안만 데이터를 보존합니다. 저비용 스토리지 계층은 7일 동안 데이터를 보존합니다.
+ 일반 보존 설정이 전체 로그에 적용됩니다. 여기에는 계층화된 부분과 기본 부분이 포함됩니다.
+ local.retention.ms 또는 local.retention.bytes 설정은 기본 저장소의 메시지 보존을 제어합니다. Apache Kafka는 로컬 보존 설정과 관계없이 닫힌 로그 세그먼트를 닫는 즉시 계층형 스토리지에 복사합니다(세그먼트.바이트 또는 segment.ms 기준). 세그먼트는 계층형 스토리지로 복사된 후 local.retention.ms 또는 local.retention.bytes 임계값에 도달할 때까지 기본 스토리지에 남아 있습니다. 이때 데이터는 기본 스토리지에서 삭제되지만 계층형 스토리지에서는 계속 사용할 수 있습니다. 이렇게 하면 저렴한 계층형 스토리지에서 이전 데이터를 제공하는 동안 빠른 액세스를 위해 최신 데이터를 고성능 기본 스토리지에 유지할 수 있습니다.
+ 로그 세그먼트의 메시지를 계층형 스토리지에 복사할 때 Apache Kafka는 retention.ms 또는 retention.bytes 설정에 따라 클러스터에서 메시지를 제거합니다.
## Amazon MSK 계층형 스토리지 시나리오 예제
이 시나리오는 계층화된 스토리지가 활성화될 때 기본 스토리지에 메시지가 있는 기존 주제가 어떻게 작동하는지 보여줍니다. 이 주제에서 계층형 스토리지를 사용하려면 remote.storage.enable을 `true`로 설정하면 됩니다. 이 예제에서 retention.ms는 5일로 설정되고 local.retention.ms는 2일로 설정됩니다. 다음은 세그먼트가 만료될 때 발생하는 이벤트 순서입니다.
**시간 T0 - 계층형 스토리지를 활성화하기 전.**
이 주제에 대해 계층형 스토리지를 활성화하기 전에 2개의 로그 세그먼트가 있습니다. 세그먼트 중 하나가 기존 토픽 파티션 0에 대해 활성화되어 있습니다.
![\[시간 T0 - 계층형 스토리지를 활성화하기 전입니다.\]](http://docs.aws.amazon.com/ko_kr/msk/latest/developerguide/images/tiered-storage-segments-1.png)
**시간 T1(2일 미만) - 계층형 스토리지가 활성화되었으며, 세그먼트 0이 계층형 스토리지에 복사되었습니다.**
이 주제에 대해 계층형 스토리지를 활성화하면 Apache Kafka는 닫힌 로그 세그먼트 0이 닫히는 즉시 계층형 스토리지에 복사합니다. 세그먼트는 보존 설정이 아닌 segment.bytes 또는 segment.ms 설정을 기반으로 닫힙니다. Apache Kafka는 기본 스토리지에도 사본을 보관합니다. 활성 세그먼트 1은 아직 활성 상태이고 닫히지 않았으므로 아직 계층형 스토리지로 복사할 수 없습니다. 이 타임라인에서 Amazon MSK는 세그먼트 0 및 세그먼트 1의 메시지에 대해 아직 어떤 보존 설정도 적용하지 않습니다. (local.retention.bytes/ms, retention.ms/bytes)
![\[시간 T1(2일 미만) - 계층형 스토리지가 활성화되었으며, 세그먼트 0이 계층형 스토리지에 복사되었습니다.\]](http://docs.aws.amazon.com/ko_kr/msk/latest/developerguide/images/tiered-storage-segments-2.png)
**시간 T2 - 로컬 보존이 적용됨.**
2일 후 세그먼트 0의 로컬 보존 임계값에 도달합니다. local.retention.ms를 2일로 설정하면 이것이 결정됩니다. 세그먼트 0은 이제 기본 스토리지에서 삭제되지만 계층형 스토리지에서 계속 사용할 수 있습니다. 세그먼트 0은 로컬 보존 기간이 만료된 시간 T2가 아니라 닫힌 시간 T1에 계층형 스토리지에 이미 복사되었습니다. T2 활성 세그먼트 1은 아직 활성 상태이므로 삭제하거나 계층형 스토리지로 복사할 수 없습니다.
![\[시간 T2 - 로컬 보존이 적용됨.\]](http://docs.aws.amazon.com/ko_kr/msk/latest/developerguide/images/tiered-storage-segments-3.png)
**시간 T3 - 전체 보존이 유효함.**
5일 후에는 보존 설정이 적용되고 Kafka는 계층형 스토리지에서 로그 세그먼트 0과 관련 메시지를 삭제합니다. 세그먼트 1은 아직 활성이므로 만료 대상도 아니고 계층형 스토리지로 복사할 수 있는 대상도 아닙니다. 세그먼트 1은 아직 닫히지 않았으므로 세그먼트 롤에 사용할 수 없습니다.
![\[시간 T3 - 전체 보존이 유효함.\]](http://docs.aws.amazon.com/ko_kr/msk/latest/developerguide/images/tiered-storage-segments-4.png)
# 를 사용하여 계층형 스토리지로 Amazon MSK 클러스터 생성 AWS Management Console
이 프로세스는 AWS Management Console을 사용하여 계층형 스토리지 Amazon MSK 클러스터를 생성하는 방법을 설명합니다.
1. [https://console.aws.amazon.com/msk/](https://console.aws.amazon.com/msk/)에서 Amazon MSK 콘솔을 엽니다.
1. **클러스터 생성**을 선택합니다.
1. 계층형 스토리지에 대해 **사용자 지정 생성**을 선택합니다.
1. 클러스터의 이름을 지정합니다.
1. **클러스터 유형**에서 **프로비저닝**을 선택합니다.
1. 클러스터를 생성하는 데 사용할 Amazon MSK 계층형 스토리지를 지원하는 Amazon Kafka 버전을 선택합니다.
1. **kafka.t3.small** 이외의 브로커 크기를 지정합니다.
1. 각 가용 영역에서 Amazon MSK가 생성할 브로커 수를 선택합니다. 최소는 가용 영역당 브로커 1개, 최대는 클러스터당 브로커 30개입니다.
1. 브로커가 배포되는 영역의 수를 지정합니다.
1. 영역당 배포되는 Apache Kafka 브로커의 수를 지정합니다.
1. **스토리지 옵션**을 선택합니다. 여기에는 **계층형 스토리지 및 EBS 스토리지**가 포함되어 계층화된 스토리지 모드를 사용할 수 있습니다.
1. 클러스터 생성 마법사의 나머지 단계를 수행합니다. 완료되면 **계층형 스토리지 및 EBS 스토리지**가 **검토 및 생성** 보기에 클러스터 스토리지 모드로 나타납니다.
1. [**클러스터 생성(Create cluster)**]을 선택합니다.
# 를 사용하여 계층형 스토리지로 Amazon MSK 클러스터 생성 AWS CLI
클러스터에서 계층형 스토리지를 사용하려면 계층형 스토리지에 적합한 Apache Kafka 버전과 속성을 사용하여 클러스터를 생성하세요. 아래 코드 예시를 참조하세요. 또한 다음 섹션의 단계를 [를 사용하여 계층형 스토리지가 활성화된 Kafka 주제 생성 AWS CLI](#msk-create-topic-tiered-storage-cli)로 완료합니다.
클러스터 생성에 지원되는 전체 속성 목록은 [create-cluster](https://docs.aws.amazon.com//cli/latest/reference/kafka/create-cluster.html)를 참조하세요.
```
aws kafka create-cluster \
—cluster-name "MessagingCluster" \
—broker-node-group-info file://brokernodegroupinfo.json \
—number-of-broker-nodes 3 \
--kafka-version "3.6.0" \
--storage-mode "TIERED"
```
## 를 사용하여 계층형 스토리지가 활성화된 Kafka 주제 생성 AWS CLI
계층형 스토리지를 사용하도록 설정한 클러스터를 만들 때 시작한 프로세스를 완료하려면 이후 코드 예제에서 속성을 사용하여 계층형 스토리지를 사용하도록 설정한 주제도 생성합니다. 계층형 스토리지에 대한 구체적인 속성은 다음과 같습니다.
+ 시간 기반 보존 설정의 경우 `local.retention.ms`(예: 10분), 로그 세그먼트 크기 제한의 경우 `local.retention.bytes`입니다.
+ `remote.storage.enable`을 `true`로 설정하여 계층형 스토리지를 활성화합니다.
다음 구성에서는 local.retention.ms를 사용하지만 이 속성은 local.retention.bytes로 대체할 수 있습니다. 이 속성은 Apache Kafka가 기본 스토리지에서 계층형 스토리지로 데이터를 복사하기 전 Apache Kafka가 복사할 수 있는 바이트 수 또는 경과할 수 있는 시간을 제어합니다. 지원되는 구성 속성에 대한 자세한 내용은 [주제 수준 구성](https://docs.aws.amazon.com//msk/latest/developerguide/msk-configuration-properties.html#msk-topic-confinguration)을 참조하세요.
**참고**
Apache Kafka 클라이언트 버전 3.0.0 이상을 사용해야 합니다. 이러한 버전은 해당 클라이언트 버전 `kafka-topics.sh`에서만 `remote.storage.enable`이라는 설정을 지원합니다. 이전 버전의 Apache Kafka를 사용하는 기존 주제에서 계층형 스토리지를 활성화하려면 [기존 Amazon MSK 주제에서 계층형 스토리지 활성화](msk-enable-disable-topic-tiered-storage-cli.md#msk-enable-topic-tiered-storage-cli) 섹션을 참조하세요.
```
bin/kafka-topics.sh --create --bootstrap-server $bs --replication-factor 2 --partitions 6 --topic MSKTutorialTopic --config remote.storage.enable=true --config local.retention.ms=100000 --config retention.ms=604800000 --config segment.bytes=134217728
```
# 기존 Amazon MSK 주제에서 계층형 스토리지 활성화 및 비활성화
이 섹션에서는 이미 만든 주제에서 계층형 스토리지를 활성화 및 비활성화하는 방법에 대해 설명합니다. 계층형 스토리지가 활성화된 상태에서 새 클러스터와 주제를 만들려면 [AWS Management Console을 사용하여 계층형 스토리지로 클러스터 생성](https://docs.aws.amazon.com//msk/latest/developerguide/msk-create-cluster-tiered-storage-console)을 참조하세요.
## 기존 Amazon MSK 주제에서 계층형 스토리지 활성화
기존 주제에서 계층형 스토리지를 사용 설정하려면 다음 예제의 `alter` 명령 구문을 사용합니다. 이미 존재하는 주제에서 계층형 스토리지를 활성화하는 경우 특정 Apache Kafka 클라이언트 버전으로 제한되지 않습니다.
```
bin/kafka-configs.sh --bootstrap-server $bsrv --alter --entity-type topics --entity-name msk-ts-topic --add-config 'remote.storage.enable=true, local.retention.ms=604800000, retention.ms=15550000000'
```
## 기존 Amazon MSK 주제에서 계층형 스토리지 비활성화
기존 주제에서 계층형 스토리지를 비활성화하려면 계층형 스토리지를 사용 설정할 때와 동일한 순서로 `alter` 명령 구문을 사용합니다.
```
bin/kafka-configs.sh --bootstrap-server $bs --alter --entity-type topics --entity-name MSKTutorialTopic --add-config 'remote.log.msk.disable.policy=Delete, remote.storage.enable=false'
```
**참고**
계층형 스토리지를 비활성화하면 계층형 스토리지에서 주제 데이터가 완전히 삭제됩니다. Apache Kafka는 기본 스토리지 데이터를 보존하지만 여전히 `local.retention.ms`를 기반으로 하는 기본 보존 규칙을 적용합니다. 주제에서 계층형 스토리지를 비활성화한 후에는 다시 활성화할 수 없습니다. 기존 토픽에서 계층형 스토리지를 비활성화하려는 경우 특정 Apache Kafka 클라이언트 버전으로 제한되지 않습니다.
# AWS CLI를 사용하여 기존 Amazon MSK 클러스터에서 계층형 스토리지 활성화
**참고**
계층형 스토리지에서는 압축된 주제가 지원되지 않으므로 클러스터의 log.cleanup.policy가 `delete`로 설정된 경우에만 계층형 스토리지를 활성화할 수 있습니다. 나중에 특정 주제에서 계층형 스토리지가 활성화되어 있지 않은 경우 개별 주제의 log.cleanup.policy를 `compact`로 구성할 수 있습니다. 지원되는 구성 속성에 대한 자세한 내용은 [주제 수준 구성](https://docs.aws.amazon.com//msk/latest/developerguide/msk-configuration-properties.html#msk-topic-confinguration)을 참조하세요.
1. **Kafka 버전 업데이트** – 클러스터 버전은 단순한 정수가 아닙니다. 클러스터의 현재 버전을 찾으려면 `DescribeCluster` 작업 또는 `describe-cluster` AWS CLI 명령을 사용합니다. 버전의 예를 들면 `KTVPDKIKX0DER`입니다.
```
aws kafka update-cluster-kafka-version --cluster-arn ClusterArn --current-version Current-Cluster-Version --target-kafka-version 3.6.0
```
1. 클러스터 스토리지 모드를 편집합니다. 다음 코드 예제는 [https://docs.aws.amazon.com/cli/latest/reference/kafka/update-storage.html](https://docs.aws.amazon.com/cli/latest/reference/kafka/update-storage.html) API를 사용하여 클러스터 스토리지 모드를 `TIERED`로 편집하는 방법을 보여줍니다.
```
aws kafka update-storage --current-version Current-Cluster-Version --cluster-arn Cluster-arn --storage-mode TIERED
```
# 콘솔을 사용하여 기존 Amazon MSK 클러스터에서 계층형 스토리지 업데이트
이 프로세스는 AWS Management Console을 사용하여 계층형 스토리지 Amazon MSK 클러스터를 업데이트하는 방법을 설명합니다.
MSK 클러스터의 현재 Apache Kafka 버전이 2.8.2.tiered인지 확인합니다. MSK 클러스터를 2.8.2.tiered 버전으로 업그레이드해야 하는 경우 [Apache Kafka 버전 업데이트](https://docs.aws.amazon.com/msk/latest/developerguide/version-upgrades.html)를 참조하세요.
**참고**
계층형 스토리지에서는 압축된 주제가 지원되지 않으므로 클러스터의 log.cleanup.policy가 `delete`로 설정된 경우에만 계층형 스토리지를 활성화할 수 있습니다. 나중에 특정 주제에서 계층형 스토리지가 활성화되어 있지 않은 경우 개별 주제의 log.cleanup.policy를 `compact`로 구성할 수 있습니다. 지원되는 구성 속성에 대한 자세한 내용은 [주제 수준 구성](https://docs.aws.amazon.com//msk/latest/developerguide/msk-configuration-properties.html#msk-topic-confinguration)을 참조하세요.
1. [https://console.aws.amazon.com/msk/](https://console.aws.amazon.com/msk/)에서 Amazon MSK 콘솔을 엽니다.
1. 클러스터 요약 페이지로 이동하여 **속성**을 선택합니다.
1. **스토리지** 섹션으로 이동하여 **클러스터 스토리지 모드 편집**을 선택합니다.
1. **계층형 스토리지 및 EBS 스토리지**와 **변경 사항 저장**을 선택합니다.