
온프레미스 LLM 서빙에서 GPU 증설, 소프트웨어 최적화, 모델 교체를 가르는 기준. 모델 크기와 동시 처리, MoE 모델, 증설 요청 근거를 함께 봅니다.
온프레미스 LLM 서빙에서 GPU 증설, 소프트웨어 최적화, 모델 교체를 가르는 기준
GPU를 더 사는 것이 유일한 답일까. 같은 GPU에서도 추론 엔진 설정에 따라 처리량이 달라지고, 모델 아키텍처를 바꾸면 동시 처리 가능 인원이 크게 달라진다. 증설은 이 두 가지를 확인한 뒤에 검토해도 늦지 않다. 이 글은 온프레미스 환경에서 LLM 서빙 성능이 막힐 때 확인해야 할 변수와 판단 순서를 정리한다.
추론 엔진 설정부터 확인해야 한다. 같은 모델, 같은 GPU에서도 추론 엔진이 어떤 연산 커널을 선택하느냐에 따라 처리 속도가 크게 달라지기 때문이다. 이 값은 코드 수정 없이 바꿀 수 있고 되돌리기도 쉽다. GPU 증설은 품의, 견적, 발주, 납기, 설치, 테스트를 거치는 분기 단위의 일이다. 확인에 드는 시간과 비용의 차이가 크므로 순서도 설정이 먼저다.
추론 성능은 하드웨어·모델·엔진 조합별로 측정한다.
이렇게 확인한다.
모델이 GPU 메모리를 많이 차지할수록 동시에 처리할 수 있는 요청 수가 줄어든다. GPU 메모리에는 모델 가중치만 올라가는 것이 아니다. 요청마다 쌓이는 KV 캐시가 들어갈 공간도 남아 있어야 하고, 이 공간이 동시 배치 수를 정한다. 대형 모델이 GPU 메모리를 거의 다 쓰면 한 명이 쓸 때는 빠르지만, 두 번째 사용자부터 대기열이 생긴다.
가중치가 차지하는 메모리는 대략 파라미터 수에 정밀도별 바이트 수를 곱해 어림할 수 있다. 같은 모델도 FP16이면 FP8의 두 배 정도가 필요하다. 어림값이 GPU 메모리 총량 안에 들어오더라도 KV 캐시와 운영 오버헤드를 빼면 서빙 가능한 규모가 아닐 수 있다. 모델이 올라가는 것과 운영할 수 있는 것은 다른 문제다.
이렇게 확인한다.
모델 크기를 줄이면 동시 처리는 늘지만 에이전트 성능이 따라서 낮아질 수 있다. 특히 도구 호출은 일반 벤치마크 점수에 잘 드러나지 않으므로, 줄인 모델이 실제 업무 시나리오에서 도구를 제대로 부르는지 별도로 확인해야 한다.
MoE(Mixture of Experts) 모델은 메모리에는 전체 파라미터를 올리지만 연산은 일부 전문가만 쓰기 때문이다. 종합병원에 비유할 수 있다. 전문의가 여러 명 상주하지만 접수 데스크가 증상을 보고 해당 분야 전문의 몇 명에게만 환자를 배정하고, 나머지는 대기한다. 모든 의사가 모든 환자를 함께 진료하는 구조가 Dense 모델이다[1].
MoE로 줄어드는 것은 연산량이고, 메모리 요구량은 Dense 모델과 같다. 전체 파라미터가 GPU 메모리에 올라가야 하는 점은 Dense 모델과 같고, 토큰 하나를 만들 때 실제로 계산하는 파라미터(활성 파라미터)가 전체의 일부다. 연산이 가벼우면 다음 요청을 더 빨리 받을 수 있어 같은 GPU에서 더 많은 동시 요청을 처리할 여지가 생긴다. 같은 GPU 1장에서 비슷한 품질의 MoE와 Dense 모델을 비교한 커뮤니티 벤치마크에서 초당 생성 토큰 수가 4배 이상 차이 났다는 보고가 있다[2]. 비공식 측정이므로 방향을 보는 참고치로만 쓰는 것이 맞다.
MoE가 모든 환경의 답은 아니다. 메모리 총량이 부족한 환경에서는 어느 쪽이든 모델이 올라가지 않는다. 동시 사용자가 적고 정확도가 최우선이라면 큰 Dense 모델이 나을 수 있다.
이렇게 확인한다.
모델을 바꾸면 추론 엔진, 의존 패키지, 파이프라인 검증이 함께 움직인다. 새 모델 구조는 특정 버전 이상의 추론 엔진에서만 서빙되는 경우가 많아서, 모델 교체가 엔진 업그레이드를 동반하는 일이 흔하다. 인터넷이 되는 환경이라면 패키지 한 줄 업그레이드로 끝나지만, 폐쇄망에서는 의존 패키지를 모두 오프라인으로 가져와야 하고 모델 파일도 보안 절차를 거쳐 물리적으로 반입해야 한다.
GPU 증설 대신 모델 전환을 택해도 비용은 든다. 구매비가 엔지니어링 시간으로 옮겨 갈 뿐이다. 추론 엔진 업그레이드, 파이프라인 재검증, 에이전트 동작 테스트, 반입 절차가 모두 일정에 들어가야 한다. 모델 세대는 짧은 주기로 바뀌므로, 반입 절차를 한 번 정의해 두고 반복해서 쓸 수 있게 만드는 것이 장기적으로 이득이다.
이렇게 확인한다.
증설 이후 무엇이 얼마나 좋아지는지 숫자로 답할 수 있을 때 요청해야 한다. GPU를 늘리면 경영진은 이제 해결됐을 것이라고 기대한다. 그러나 GPU를 두 배로 늘려도 성능이 두 배가 되지는 않는다. 모델 병렬화의 통신 오버헤드, 배치 스케줄링의 비효율, 모델 아키텍처 자체의 한계가 남기 때문이다. 증설 후 어떤 지표가 얼마나 개선되는지 정하지 않고 요청하면, 결과가 기대에 못 미칠 때 투자 판단 전체가 흔들린다.
이렇게 확인한다.
세 축을 한꺼번에 놓고 판단해야 한다. 정확도를 올리려면 큰 모델이 필요하고, 큰 모델은 GPU를 더 쓰고, GPU를 더 쓰면 동시 처리가 줄어든다. 반대로 비용을 줄이면 정확도나 동시 처리 중 하나가 희생된다. GPU, 모델, 추론 엔진은 독립 변수가 아니어서 하나를 바꾸면 나머지 둘이 같이 움직인다.

세 가지 개선 경로는 비용과 대가가 서로 다르다.
| 경로 | 드는 것 | 기대할 수 있는 것 | 대가 |
|---|---|---|---|
| GPU 증설 | 장비 구매비, 설치, 납기 | 확실한 처리 용량 확보 | 기대치 관리가 필요하고 수요 예측이 빗나가면 과잉 투자 |
| 소프트웨어 최적화 | 측정과 설정 변경 시간 | 추가 구매 없이 처리량 개선 | 하드웨어와 모델 조합에 따라 효과가 다름 |
| 모델 교체(MoE 등) | 엔진 업그레이드, 재검증, 반입 | 같은 GPU에서 동시 처리 여지 확대 | 엔지니어링 시간과 에이전트 성능 재검증 |
시작점을 정하기 어렵다면 다음 순서를 따른다.
추론 엔진의 메모리 관리 방식도 효과가 있다. vLLM의 PagedAttention은 KV 캐시 메모리 단편화를 줄여 유효 배치 크기를 높이고, 기존 구현보다 처리량을 2~4배 높인다고 보고되었다[3].
모델 크기가 비용에 미치는 영향도 크다. 클라우드 API 기준으로 대형 모델 호출 비용과 30B 이하 소형 모델의 호출 비용 사이에 225배 차이가 난다는 분석이 있다[4]. 30B 미만 모델의 온프레미스 운영은 3개월 안에 손익분기에 도달하는 경우가 많다는 분석도 있다[5]. 둘 다 조건에 따라 달라지는 분석이므로 자사 환경에서 다시 계산해야 한다.
어떤 모델이 가장 똑똑한지는 두 번째 질문이다. 첫 번째 질문은 우리 GPU에서 이 모델이 동시에 몇 명을 응답 시간 목표 안에서 서빙할 수 있는가다. 이 숫자가 나와야 모델 선택이 경영 판단이 된다.
올거나이즈가 공개한 온프레미스 운영 구조에서는 사용할 모델을 고르고 바꾸는 결정은 고객 조직이, 모델 배포와 업데이트 지원은 올거나이즈가 맡는다[6]. 앞에서 본 모델 교체 작업(엔진 업그레이드, 재검증, 반입)을 누가 맡을지 정할 때 참고할 수 있다.
| 영역 | 고객 조직 | 올거나이즈 |
|---|---|---|
| 서버·인프라 | 사내 서버 또는 지정 클라우드 운영 | 사양 가이드와 설치 지원 |
| LLM 모델 | 사용 모델 선택·전환 결정 | 모델 배포·업데이트 지원 |
| 업데이트 | 업데이트 시점·범위 최종 결정 | 패치·업데이트 제공 |
폐쇄망에서는 외부 연결 없이 운영하거나, 승인된 절차로 업데이트·패치를 반영하도록 구성한다[6]. 플랫폼은 여러 LLM을 한 인터페이스에서 선택·전환하는 구조이고, 모델이 바뀌어도 그 위에 만든 앱과 워크플로우는 그대로 유지된다[7].
이렇게 확인한다.
다음 다섯 가지에 답이 있는지 확인하면 된다. AI 플랫폼 벤더를 만날 때도, 내부 AI팀과 논의할 때도 같다. 더 넓은 비교 기준은 엔터프라이즈 RAG 도입 시 비교 기준에 정리했다.
답이 불명확한 항목은 PoC에서 검증한다.
GPU, 모델, 추론 엔진은 서로 영향을 주는 변수이므로 하나만 바꿔서는 결과를 예측하기 어렵다. 지금 GPU에서 어떤 커널이 돌고 있는지, 몇 명이 동시에 쓸 때 응답 시간 목표가 깨지는지 알고 있어야 증설이든 모델 교체든 근거를 가지고 선택할 수 있다.
다음 편 예고: GPU와 모델 이야기는 모델이 제대로 작동한다는 전제 위에 서 있다. 다음 글에서는 에러 로그에 남지 않으면서 RAG와 에이전트의 품질을 떨어뜨리는 장애 유형과 점검 방법을 다룬다. 현장 리포트 4편 보기
올거나이즈는 금융, 공공, 제조 등 다양한 산업에서 폐쇄망 AI 플랫폼을 구축하고 운영한 경험을 보유하고 있다. PoC부터 운영까지, 이 글에서 다룬 점검을 함께 진행한다. → 도입 상담 요청하기