35장. 장애 훈련 — 배포는 초록인데 주문 조회가 느리다
pipeline success 뒤 p95가 240ms에서 1.4s로 올랐다. canary와 stable의 trace를 비교하고 DB query, cache miss, downstream latency, resource throttling을 분해한다. 오류율이 낮다고 promotion하지 않는다.
T+0 rollout pause / evidence capture
T+5 canary vs baseline p95 and business SLA
T+10 new code/config/query change isolate
T+15 threshold breach -> rollback digest
T+30 recovery verify / incident update
rollback 뒤 latency가 회복되는지 확인한다. 회복되지 않으면 공통 dependency나 traffic 변화다. 원인 없는 재배포를 반복하지 않는다. regression performance test와 canary gate를 후속 작업으로 남긴다.