43장. 장애 훈련 — 배포는 성공했지만 HIGH 확인이 사라졌다

Kubernetes rollout과 health가 모두 정상이어도 업무 지표가 급락하면 release failure다. deployment marker와 high_risk_acknowledgement 성공·409·500, authorization denial, DB write를 비교한다. 새 validation, claim mapping, timezone 경계, frontend contract 중 어느 변화인지 correlation id로 추적한다.

먼저 잘못된 확인이 더 쌓이지 않게 canary 또는 새 traffic을 중단한다. 새 schema가 구 code와 호환되면 이전 digest로 rollback하고, 그렇지 않으면 feature flag나 forward fix를 선택한다. DB row를 수동 생성하기 전에 현장 책임자와 누락 범위를 대사한다. 필요한 정정은 원본을 지우지 않고 adjustment audit로 남긴다.

훈련의 성공 조건은 기술 metric뿐 아니라 각 shift의 HIGH 항목 수, 확인 수, 미확인 age가 원장과 맞는 것이다. 사후에는 업무 SLO를 release gate에 넣고 claim mapping contract test와 synthetic 현장 canary를 추가한다.