폐쇄망 AI, 모델 교체 비용까지 계획에 넣어야 하는 이유

도입 뒤 모델·GPU·문서 처리 도구를 바꿀 때 생기는 일과 도입 전 확인할 질문

금융·공공처럼 규제가 있는 조직은 생성형 AI를 사내망이나 폐쇄망 안에 구축하는 경우가 많습니다. 이때 비용 계획은 보통 서버, 라이선스, 구축비를 중심으로 짭니다. 그런데 폐쇄망 AI는 도입한 뒤에도 모델과 주변 소프트웨어를 계속 바꿔야 합니다. 이 교체 작업을 처음부터 계획에 넣어 두면 운영 중에 생기는 일정과 비용을 미리 관리할 수 있습니다. 이 글은 교체 때 무엇이 바뀌는지, 어떻게 준비하는지, 도입 전에 공급사에 무엇을 확인할지 정리합니다.

폐쇄망 AI 비용 계획에서 자주 빠지는 항목은 무엇인가요?

모델과 주변 소프트웨어를 바꾸는 운영 작업입니다. 오픈소스 LLM은 몇 달 단위로 새 세대가 나오고, 새 모델은 도구 호출, 긴 지시 따르기, 한국어 이해 같은 능력이 나아지는 경우가 많습니다. 외부 클라우드 서비스를 쓰면 이런 교체는 서비스 제공자가 맡습니다. 폐쇄망에서는 모델 반입, 서빙 설정, 호환성 확인, 정확도 재검증을 구축한 쪽이 직접 해야 합니다.

한 번으로 끝나는 일도 아닙니다. 모델을 바꿀 때마다, GPU를 바꿀 때마다, 문서 처리 도구를 올릴 때마다 같은 확인 작업이 돌아옵니다. 그래서 구축비와 별도로 교체 주기와 교체 1회에 드는 작업을 계획에 넣어야 합니다.

모델을 바꿀 때 무엇이 함께 바뀌나요?

모델 하나만 바뀌는 경우는 드뭅니다. 보통 아래 네 가지를 함께 확인해야 합니다.

GPU 증설과 서빙 설정은 GPU를 더 사기 전에 확인할 세 가지에서, 문서 처리 단계는 문서를 넣기 전에, 먼저 열 수 있어야 한다에서 더 자세히 다룹니다.

이렇게 확인합니다.

• 새 GPU에서는 기본 설정 그대로 쓰지 말고, 같은 질문 묶음으로 이전 장비와 처리량·응답 시간을 비교한다.
• 문서 처리 도구를 올리기 전에 표·차트가 많은 문서 표본을 새 버전으로 처리해 색인 결과를 비교한다.
• 모델 파일 크기에 맞춰 사내 저장소 용량과 업로드 제한을 미리 확인한다.

교체 작업을 줄이려면 평소에 무엇을 준비해야 하나요?

교체 때마다 처음부터 확인하지 않도록 기준과 절차를 미리 만들어 둡니다.

• 운영과 같은 구성의 검증 환경을 두고, 교체는 검증 환경에서 먼저 한다.
• 실제 업무 문서로 만든 평가 질문 묶음을 두고, 교체 전후 정확도를 같은 기준으로 비교한다.
• 모델, 추론 엔진, 문서 처리 도구의 버전을 고정해 기록하고, 올릴 때는 하나씩 바꾼다.
• 모델 반입, 보안 검토, 저장소 업로드, 배포 순서를 문서로 정해 둔다.
• 베이스 모델 교체 주기를 정하고, 그 주기에 맞춰 검증 일정과 인력을 미리 잡는다.

평가 질문 묶음을 만드는 방법은 기업용 RAG 정확도, 어떻게 평가하나에 정리했습니다.

도입 전에 공급사에 무엇을 물어봐야 하나요?

폐쇄망 AI 플랫폼을 고를 때는 구축 범위와 함께 교체를 어떻게 지원하는지 물어봐야 합니다.

1. 새 모델이 나오면 폐쇄망 환경에 어떤 절차로 반입·적용하는지
2. 모델·GPU·문서 처리 도구를 바꿀 때 공급사와 고객이 각각 맡는 일이 무엇인지
3. 교체 전후 정확도를 고객 문서로 비교할 수 있는 평가 기능이 있는지
4. 유지보수 계약에 모델 교체 지원과 횟수가 들어가는지
5. 버전을 올렸다가 문제가 생기면 이전 버전으로 되돌리는 절차가 있는지

올거나이즈는 무엇을 지원하나요?

올거나이즈는 한국증권금융, 우리투자증권, 하나증권 등 금융권 고객의 온프레미스 생성형 AI 구축을 맡아 왔습니다. 알리(Alli)에는 고객이 가진 문서로 RAG 정확도를 직접 측정하는 RARE 평가 기능이 있어, 모델이나 문서 처리 도구를 바꾼 뒤 같은 기준으로 정확도를 다시 확인할 수 있습니다. RARE는 ACL 2026 메인 컨퍼런스에 채택된 올거나이즈 논문을 바탕으로 한 기능입니다.

폐쇄망 도입을 검토 중이라면 모델 교체 계획까지 포함해 함께 검토해 보세요. 문의하기