WEBBOOK CHAPTER

실패를 전제로 설계하는 분산시스템: 13장. Queue는 무한 버퍼가 아니다

13장. Queue는 무한 버퍼가 아니다

도착률이 처리율보다 높으면 backlog는 계속 자란다. queue 길이뿐 아니라 가장 오래된 메시지 나이, 처리 성공률, retry 비율, dead letter 증가를 본다. producer에 backpressure가 전달되지 않으면 저장 비용과 복구 시간이 폭발한다.

retryable과 permanent error를 분류하고 exponential backoff와 jitter를 사용한다. 최대 횟수 뒤에는 DLQ와 사람 검토로 보낸다. DLQ를 쓰레기통으로 만들지 말고 원인, 원문 위치, 개인정보, 재처리 승인과 폐기 기준을 정한다.