10장. Queueing이 tail latency를 만드는 순간

사용률이 100%에 가까워지면 작은 변동도 대기를 크게 늘린다. CPU 평균이 60%여도 특정 pool·partition·lock이 포화될 수 있다. arrival rate, service time, concurrency, queue wait를 분리한다.

Little’s Law의 L = λW는 안정된 구간의 평균 관계를 확인하는 도구다. 단위를 맞추고 급격한 변화·유실·batch에서는 전제를 검토한다. 계산과 관측이 크게 다르면 측정 범위나 숨은 queue를 찾는다.

arrival 120 requests/s × service 0.10s = 평균 12 in-flight
목표 사용률 60%, headroom 30%라면 단순 시작값은 ceil(12×1.3/0.6)=26