15장. 비동기화가 latency를 없애지는 않는다

사용자 응답을 빠르게 만들 수 있지만 queue wait와 최종 완료 시간은 남는다. 접수 latency와 업무 completion latency를 별도 SLI로 둔다. queue oldest age와 실패·재시도·DLQ를 본다.

batch size를 키우면 throughput이 늘 수 있지만 개별 대기와 memory, 실패 범위가 커진다. concurrency와 partition key가 downstream 제한을 넘지 않게 한다. 비동기 결과의 사용자 상태와 취소를 설계한다.