View a markdown version of this page

Amazon MSK Connect의 문제 해결 - Amazon Managed Streaming for Apache Kafka

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon MSK Connect의 문제 해결

다음 정보는 MSK Connect를 사용하는 동안 발생할 수 있는 문제를 해결하는 데 도움이 될 수 있습니다. AWS re:Post에 문제를 게시할 수도 있습니다.

커넥터가 퍼블릭 인터넷에서 호스팅되는 리소스에 액세스할 수 없습니다.

Amazon MSK Connect를 위한 인터넷 액세스 활성화를 참조하세요.

커넥터에서 실행 중인 작업 수가 tasks.max에 지정된 작업 수와 동일하지 않습니다.

다음은 커넥터가 지정된 최대 작업 수보다 적은 수의 작업을 사용하는 몇 가지 이유입니다.

  • 일부 커넥터 구현은 사용할 수 있는 작업 수를 제한합니다. 예를 들어 MySQL을 위한 Debezium 커넥터는 단일 태스크 사용으로 제한됩니다.

  • 자동 규모 조정 용량 모드를 사용하는 경우 Amazon MSK Connect는 커넥터에서 실행 중인 작업자 수와 작업자당 MCU 수에 비례하는 값으로 커넥터의 tasks.max 속성을 재정의합니다. 선택적 maxAutoscalingTaskCount 파라미터를 구성한 경우 tasks.max 값은이 제한을 초과하지 않습니다. 자세한 내용은 최대 Auto Scaling 작업 수 이해를 참조하세요.

  • 싱크 커넥터의 경우 병렬 처리 수준(작업 수)은 주제 파티션 수를 초과할 수 없습니다. 작업 최대값을 이보다 크게 설정할 수는 있지만, 단일 파티션은 한 번에 두 개 이상의 작업으로 처리되지 않습니다.

  • Kafka Connect 2.7.x에서 기본 소비자 파티션 할당자는 RangeAssignor입니다. 이 할당자의 동작은 모든 주제의 첫 번째 파티션을 단일 소비자에게, 모든 주제의 두 번째 파티션을 단일 소비자에게 제공하는 등의 작업을 수행합니다. 즉, RangeAssignor를 사용하는 싱크 커넥터의 최대 활성 작업 수는 사용 중인 단일 주제의 최대 파티션 수와 동일합니다. 이 방법이 사용 사례에 적합하지 않은 경우 consumer.partition.assignment.strategy 속성을 더 적합한 소비자 파티션 할당자로 설정하는 작업자 구성을 생성해야 합니다. Kafka 2.7 인터페이스 ConsumerPartitionAssignor: 알려진 모든 구현 클래스를 참조하세요.

커넥터 재시작 작업이 RESTART_FAILED 상태에 도달함

재시작 작업이 RESTART_FAILED 상태에 도달하면 다음을 시도하여 문제를 해결합니다.

  • 자세한 내용은 DescribeConnectorOperation 응답의 errorInfo 필드를 확인하세요.

  • CloudWatch, Amazon S3 또는 Firehose의 커넥터 로그에서 작업이 시작을 완료할 수 없는 이유를 나타내는 오류 메시지를 검토합니다.

  • 커넥터의 작업이 외부 종속성(데이터베이스, 네트워크 엔드포인트 또는 커넥터가 상호 작용하는 기타 시스템)에 의해 차단되는지 확인합니다.

  • 커넥터의 Kafka 클러스터에 연결할 수 있고 정상인지 확인합니다.

커넥터를 다시 시작할 수 없음 - 400 BadRequestException

다음은 커넥터를 다시 시작하지 못할 수 있는 몇 가지 이유입니다.

  • 커넥터가 RUNNING 상태가 아닙니다(예: , CREATING UPDATING또는 DELETING).

  • 커넥터에서 다른 수명 주기 작업이 이미 진행 중입니다.

  • 3.7 이전 버전의 Amazon MSK를 사용하여 커넥터--only-failed-tasks에서를 지정했습니다(이 기능을 사용하려면 버전 3.7 이상이 필요합니다).

  • 커넥터는 재시작 기능을 사용할 수 있기 전에 생성되었습니다. 이 기능은 현재 새로 생성된 커넥터에서만 지원됩니다.