WEBBOOK CHAPTER

로컬 LLM으로 만드는 사내 문서 AI: 13장 답변 충실성과 인용을 기계적으로 검사한다

13장 답변 충실성과 인용을 기계적으로 검사한다

문장이 근거와 같은 주제를 말한다고 충실한 것은 아니다. 숫자, 날짜, 조건, 예외가 근거에 실제로 있어야 한다. 답변을 주장 단위로 나누고 각 주장에 문서 ID, 버전, 섹션을 연결한다. 연결되지 않은 주장은 삭제하거나 추론으로 명시한다.


{"answer":"구매 후 7일 이내이며 영수증이 필요합니다.","claims":[{"text":"구매 후 7일 이내","evidence":["D1:v3:refund"]},{"text":"영수증 필요","evidence":["D1:v3:refund"]}],"unverified":[]}

링크만 붙이는 방식은 부족하다. 독자가 클릭했을 때 해당 문장과 버전을 찾을 수 있어야 한다. 문서가 개정되면 과거 답변의 인용은 당시 버전을 보존하거나 더 이상 유효하지 않다고 표시한다.

실습 13 주장-근거 대조

정상 답변 하나에 근거 없는 “무료 배송” 문장을 섞는다. 검사표가 해당 주장을 unverified로 잡아야 한다. 그 문장을 삭제한 뒤 인용 링크가 D1의 정확한 섹션으로 가는지 본다.