WEBBOOK CHAPTER

로컬 LLM으로 만드는 사내 문서 AI: 1장 로컬이라는 말부터 분해한다

1장 로컬이라는 말부터 분해한다

모델 파일이 PC에 있어도 문서 업로더, 텔레메트리, 임베딩 API가 외부로 나가면 완전한 로컬이 아니다. 반대로 민감 문서는 로컬에서 검색하고 공개 질문만 클라우드 모델에 보내는 하이브리드도 합리적이다. 중요한 것은 브랜드가 아니라 데이터 흐름이다.

실습 1 데이터 흐름도

문서 원본, 텍스트 추출, 청크, 임베딩, 질의, 응답, 로그를 상자로 그린다. 네트워크 경계를 넘는 화살표를 빨간색으로 표시한다. 모르는 경로는 안전하다고 가정하지 말고 미확인으로 둔다.