WEBBOOK CHAPTER

테스트를 많이 말고, 위험을 정확히: 11장. Flaky test는 다시 돌려 숨기지 않는다

11장. Flaky test는 다시 돌려 숨기지 않는다

재시도 후 통과율, 최초 실패율, 테스트별 격리 실패, 실행 시간 변동을 측정한다. 원인은 공유 상태, 시간, 비결정 순서, 외부 의존, resource 부족, 잘못된 wait로 분류한다. quarantine은 만료일·소유자·연결 이슈를 가져야 한다.

재시도를 제품 복구와 혼동하지 않는다. 테스트가 세 번 중 한 번 통과하면 신뢰할 수 없는 신호다. trace, seed, clock, worker ID, 환경 버전을 남겨 최초 실패를 재현한다. flaky 예산을 넘으면 새 E2E 추가보다 안정화 작업을 우선한다.