7장 context는 많이 넣을수록 좋은 것이 아니다

긴 context는 비용만 늘리지 않는다. 서로 충돌하는 오래된 규정, 관계없는 문서, prompt instruction이 섞이면 품질도 떨어진다. context 최적화는 글자 삭제가 아니라 결정에 필요한 근거 집합을 좁히는 일이다.

실습 순서:

1. 질문을 배송·환불·계정 등 domain으로 분류한다.
2. tenant와 사용자 권한으로 검색 범위를 제한한다.
3. 유효 기간이 지난 문서를 제외한다.
4. top-k를 무작정 늘리지 않고 평가셋으로 정한다.
5. 인용되지 않은 chunk가 반복되면 검색 규칙을 고친다.

요약을 cache할 때 원문 version과 정책 version을 함께 묶는다. 원문이 바뀌었는데 오래된 요약을 재사용하면 싸고 빠르게 틀린 답을 낸다. document_id:version:summary_policy가 최소 key다.