10장 batch와 비동기는 기다릴 수 있는 일에만 쓴다

실시간 상담 화면은 사용자가 기다리므로 latency가 품질이다. 반면 밤에 만드는 분류 통계, embedding 재생성, 월간 요약은 즉시 응답할 필요가 없다. 업무를 latency class로 나눈다.

• interactive: 사용자가 화면에서 기다림
• nearline: 수분 안에 처리
• batch: 마감 시각 전 완료
• deferred: 자원이 쌀 때 실행 가능

batch 할인 여부는 공급자마다 바뀔 수 있다. 할인보다 중요한 것은 queue의 완료 deadline, 중복 제출 방지, 부분 실패 재시도다. job에 idempotency key와 source snapshot을 넣고 결과가 늦게 도착했을 때 최신 데이터를 덮지 않게 한다.