13장 실험을 배움의 장치로 만든다

A/B 테스트는 버튼 색 승부가 아니다. 가설, 대상, 성공과 위해 지표, 종료 조건을 먼저 쓴다.

승인 버튼 위에 “변경되면 다시 승인합니다”라는 설명을 두면, 신규 운영자의 승인 후 변경 오해가 줄어든다. 완료 시간은 10% 이상 늘지 않아야 한다.

정량 실험 전에 사용성 테스트로 큰 오해를 찾는다. 표본이 작거나 트래픽이 적으면 인터뷰, 과제 성공률, 지원 문의를 결합한다. 유의미하지 않은 결과를 성공으로 포장하지 않는다. 실험 중 취약 사용자에게 손해가 생기면 즉시 중단한다.

이벤트 이름은 UI 위치보다 의미를 담는다. button_3_click 대신 approval_preview_opened, approval_confirmed, approval_blocked_artifact_changed를 쓴다. 개인정보는 분석 편의를 위해 과수집하지 않는다.