WEBBOOK CHAPTER

테스트를 많이 말고, 위험을 정확히: 25장. Flaky 예산과 quarantine 운영

25장. Flaky 예산과 quarantine 운영

suite 최초 실패율, 재시도 통과율, 테스트별 최근 30회 결과, 평균·p95 시간을 기록한다. 상위 flaky가 전체 신뢰를 소모하면 새 E2E 추가를 멈추고 원인을 고친다. 예산은 팀 처벌이 아니라 테스트 신호의 신뢰성을 보호하는 trigger다.

quarantine 항목에는 위험, 대체 방어, owner, issue, 들어간 날짜, 최대 7일 같은 만료가 있다. 핵심 결제·tenant 인가 테스트는 quarantine 대신 배포 차단을 유지할 수 있다. 삭제하려면 원래 위험이 다른 층에서 검증되는지 확인한다. “가끔 실패”라는 상태가 영구화되지 않게 주간 회고에서 자동 만료시킨다.