WEBBOOK CHAPTER

AI 에이전트가 사고 치기 전에: 17장. 운영 콘솔은 예쁜 차트보다 조사 경로다

17장. 운영 콘솔은 예쁜 차트보다 조사 경로다

한 화면에서 세 가지 질문에 답한다

dist/lab/index.html을 열면 ClaimOps 운영 콘솔이 나타난다. 이 화면은 가상의 성과를 과장하는 대시보드가 아니라 독자가 fixture와 평가 결과를 탐색하는 실습 도구다.


npm run build
open dist/lab/index.html

첫 영역에서 요청을 고르면 기대 상태, 실제 판정과 근거가 나온다. 두 번째 영역은 전체 정확도, 위험 승인, 개인정보 누출을 보여 준다. 세 번째 영역은 결함 후보를 켰을 때 어떤 요청이 바뀌고 승격이 차단되는지 보여 준다.

좋은 운영 콘솔은 다음 이동을 줄인다.


알람 → 영향 지표 → 실패 요청 목록 → 단일 트레이스
     → 버전 비교 → 완화 실행 → 회귀 사례 등록

차트에서 오류를 발견한 뒤 로그 검색식을 새로 조립해야 한다면 조사 시간이 늘어난다. 지표의 점을 클릭해 관련 trace ID와 릴리스로 이동할 수 있어야 한다.

상태를 색만으로 표현하지 않는다

위험 승인, 통과, 수동 검토는 색과 텍스트·아이콘을 함께 사용한다. 키보드로 요청을 고를 수 있고 결과 영역은 aria-live로 갱신을 알린다. 작은 화면에서는 표를 가로 스크롤하게 하거나 카드로 바꾼다. 접근성은 운영 속도와도 연결된다.

화면 캡처의 출판 원칙

책의 이미지는 제공 fixture를 실행한 동일한 화면에서 만든다. 실제 고객 화면이나 공급자 콘솔을 무단 복제하지 않는다. 캡처 manifest에 fixture 버전, 빌드 명령, 화면 크기와 생성 날짜를 남기면 원고 수정 뒤 다시 만들 수 있다.

완료 기준

  • 요청에서 트레이스까지 조사 경로를 따라갔다.
  • 상태가 색 이외의 텍스트로도 구분되는지 확인했다.
  • 화면 데이터가 fixtures/claims.json과 일치하는지 대조했다.