WEBBOOK CHAPTER

로컬 LLM으로 만드는 사내 문서 AI: 8장 로컬 서버도 서버다

8장 로컬 서버도 서버다

127.0.0.1 바인딩, 인증, 요청 크기, 시간 제한, 동시성, 로그 마스킹, 모델 라이선스를 확인한다. llama.cpp는 현재 릴리스의 llama-server --help에서 지원 플래그를 확인한 뒤 --host 127.0.0.1 --port 8080처럼 로컬 주소를 명시한다. Ollama는 OLLAMA_HOST=127.0.0.1:11434로 범위를 고정한다. 다른 기기에서 http://내-PC-IP:포트 접속이 실패해야 한다. 인증 지원과 플래그는 릴리스마다 달라질 수 있으므로 인쇄된 명령보다 설치 버전의 도움말을 우선한다. 모델 파일도 공급망 산출물이므로 출처와 해시를 기록한다.

실습 8 위협 모델

도난 노트북, 악성 문서, 브라우저 확장, 공유 계정, 백업 디스크를 공격자로 놓는다. 예방, 탐지, 복구 통제를 하나씩 적는다.