Amazon SQS 공정 대기열

Amazon SQS 공정 대기열은 고객, 클라이언트 애플리케이션 또는 메시지 유형과 같은 여러 논리 엔터티의 메시지가 포함된 멀티 테넌트 대기열에서 노이즈가 있는 이웃의 영향을 자동으로 완화합니다. 이러한 공유 대기열 환경에서 중요한 성능 지표 중 하나는 체류 시간입니다. 이 지표는 메시지의 도착부터 처리까지 대기열에서 소요된 총 시간을 측정합니다. 한 테넌트가 시스템에서 처리할 수 있는 것보다 더 많은 메시지를 게시하여 대기열에 백로그를 생성하면 공정 대기열은 다른 테넌트의 체류 시간에 미치는 영향을 최소화합니다.

정상 상태

다음 다이어그램은 네 개의 개별 테넌트(A, B, C, D라고 레이블이 지정되어 있음)의 메시지가 포함된 멀티 테넌트 대기열을 보여줍니다. 대기열은 안정적인 상태로 작동하며, 소비자가 대기열에 메시지가 나타나는 즉시 메시지를 수신하므로 메시지 백로그가 없습니다. 모든 테넌트의 체류 시간이 짧습니다. 이 안정 상태에서는 완전히 활용되지 않는 소비자 용량도 있습니다.

노이즈가 있는 이웃 영향

노이즈가 있는 이웃 영향은 멀티 테넌트 대기열의 한 테넌트가 백로그를 생성하여 다른 모든 테넌트의 메시지 체류 시간을 늘릴 때 발생합니다. 한 테넌트가 다른 테넌트보다 많은 양의 메시지를 보내거나 소비자가 해당 테넌트의 메시지를 처리하는 데 더 오래 걸리는 경우 그 테넌트는 노이즈가 있는 이웃이 될 수 있습니다.

이 다이어그램은 테넌트 A에서 증가된 트래픽이 어떻게 대기열에 백로그를 생성하는지 보여줍니다. 소비자는 테넌트 A의 메시지만 처리하며, 다른 테넌트의 메시지는 백로그에서 대기하여 모든 테넌트의 체류 시간이 늘어납니다.

공정 대기열을 사용한 완화

Amazon SQS는 처리 중에('진행 중' 상태) 테넌트 간의 메시지 분산을 모니터링하여 노이즈가 있는 이웃을 감지합니다. 한 테넌트가 다른 테넌트에 비해 진행 중 메시지 수가 불균형적으로 많은 경우 Amazon SQS는 해당 테넌트를 노이즈가 있는 이웃으로 식별하고 메시지 전송의 우선순위를 다른 테넌트에 지정합니다. 이 접근 방식은 다른 테넌트에 체류 시간의 영향을 줄입니다.

이 다이어그램은 Amazon SQS 공정 대기열이 노이즈가 있는 이웃 문제를 해결하는 방법을 보여줍니다. 한 테넌트(테넌트 A)에 노이즈가 발생하면 Amazon SQS는 다른 테넌트(B, C, D)의 메시지 반환을 우선시합니다. 이 우선순위는 잠잠한 테넌트인 테넌트 B, C 및 D의 체류 시간을 짧게 유지하는 데 도움이 되며, 테넌트 A의 메시지 체류 시간은 다른 테넌트에 영향을 주지 않고 대기열 백로그가 소비될 때까지 증가합니다.

FIFO 대기열과의 차이점

FIFO 대기열은 각 테넌트의 진행 중 메시지 수를 제한하여 엄격한 순서를 유지합니다. 이렇게 하면 노이즈가 있는 이웃이 방지되지만 각 테넌트의 처리량이 제한됩니다. 공정 대기열은 높은 처리량, 짧은 체류 시간, 공정한 리소스 할당이 우선순위인 멀티 테넌트 시나리오를 위해 설계되었습니다. 공정 대기열을 사용하면 여러 소비자가 동일한 테넌트의 메시지를 동시에 처리하도록 하면서 모든 테넌트가 일관된 체류 시간을 유지할 수 있습니다.

공정 대기열 사용

메시지 생산자는 발신 메시지에 MessageGroupId를 설정하여 테넌트 식별자를 추가할 수 있습니다.

// Send message with tenant identifier 
SendMessageRequest request = new SendMessageRequest()    
    .withQueueUrl(queueUrl)    
    .withMessageBody(messageBody)    
    .withMessageGroupId("tenant-123"); // Tenant identifier 
sqs.sendMessage(request);

공정성 기능은 MessageGroupId 속성이 있는 메시지의 모든 Amazon SQS 표준 대기열에 자동으로 적용됩니다. 소비자 코드를 변경할 필요가 없으며 API 지연 시간에 영향을 주지 않고 처리량 제한 사항이 없습니다.

공정 대기열 CloudWatch 지표

Amazon SQS는 노이즈가 있는 이웃의 영향 완화를 모니터링하는 데 도움이 되는 추가 CloudWatch 지표를 제공합니다. 예를 들어 Approximate..InQuietGroups 지표를 표준 대기열 수준 지표와 비교할 수 있습니다. 특정 테넌트에 대한 트래픽이 급증하는 동안 일반적인 대기열 수준 지표에서 백로그 증가 또는 메시지 수명 증가를 나타낼 수 있습니다. 그러나 잠잠한 그룹을 개별적으로 살펴보면 대부분의 노이즈가 없는 메시지 그룹 또는 테넌트가 영향을 받지 않음을 알 수 있습니다.

아래에서 노이즈가 없는 테넌트(ApproximateNumberOfMessagesVisibleInQuietGroups)에 대한 백로그가 낮게 유지되는 동안 노이즈가 있는 테넌트로 인해 표준 대기열 백로그 지표(ApproximateNumberOfMessagesVisible)가 증가하는 예를 찾을 수 있습니다.

Amazon SQS CloudWatch 지표의 전체 목록과 해당 설명은 Amazon SQS에 대한 CloudWatch 지표를 참조하세요.