23장. 자동화는 다섯 단계로 천천히 위임한다
AI 자동화는 “켜기/끄기”가 아니다. 권한을 단계적으로 높인다.
- 초안: 외부 상태를 바꾸지 않는다.
- 조언: 근거와 대안을 제시하고 사람이 결정한다.
- 실행 준비: 이메일, 배포, 구매 계획을 만들고 승인 전에 멈춘다.
- 제한 실행: 허용된 대상과 예산 안에서만 실행한다.
- 자율 실행: 복잡한 연속 행동을 수행한다.
대부분의 조직은 3단계에서 큰 가치를 얻는다. 사람이 반복 입력을 줄이면서도 중요한 행동을 통제한다. 5단계가 더 성숙하다는 뜻은 아니다. 실패 비용과 감지·복구 능력이 뒷받침될 때만 필요하다.
제한 실행에는 다음 장치가 필요하다.
allowlist: [draft_document, create_test_ticket]
denylist: [send_email, delete_data, deploy_production]
budget_limit_usd: 2
max_tool_calls: 8
timeout_seconds: 90
approval_required: [external_write, purchase, publish]
idempotency_key: run_id + action + target
자동화가 실패할 때 같은 고객에게 두 번 발송하거나 두 번 환불하지 않게 멱등성을 둔다. 일부 단계만 성공한 경우 보상 작업과 대사 절차를 만든다. 재시도는 횟수와 대상 오류를 제한한다.
위임 수준을 올리기 전, 지난 단계의 실패 사례가 평가에 들어 있고 승인 대기와 롤백을 실제로 리허설했는지 확인한다.
자동화 승격 심사
초안에서 제한 실행으로 올릴 때는 편의가 아니라 증거를 본다.
[ ] 최근 대표 사례의 품질·안전 기준 통과
[ ] 외부 대상과 행동 allowlist가 서버에서 강제됨
[ ] 승인 범위와 만료가 있음
[ ] 중복 실행을 막는 idempotency key가 있음
[ ] timeout·재시도·비용 상한이 있음
[ ] 부분 성공을 찾는 대사와 보상 절차가 있음
[ ] 기능 플래그로 즉시 중단 가능
[ ] on-call owner와 runbook이 있음
자동화율이 올라가도 예외율과 사람 수정률이 높으면 승격하지 않는다. HTTP 200은 업무 성공이 아니다. 실제 외부 시스템에 원하는 상태가 한 번만 반영되었는지 대사한다. 사용자가 포괄 승인을 했더라도 승인 대상이나 내용이 바뀌면 재승인한다.