Blogs & Articles
>
GPU를 더 사기 전에 확인할 세 가지
AI Guides
April 9, 2026

GPU를 더 사기 전에 확인할 세 가지

온프레미스 LLM 서빙에서 GPU 증설, 소프트웨어 최적화, 모델 교체를 가르는 기준. 모델 크기와 동시 처리, MoE 모델, 증설 요청 근거를 함께 봅니다.

온프레미스 LLM 서빙에서 GPU 증설, 소프트웨어 최적화, 모델 교체를 가르는 기준

GPU를 더 사는 것이 유일한 답일까. 같은 GPU에서도 추론 엔진 설정에 따라 처리량이 달라지고, 모델 아키텍처를 바꾸면 동시 처리 가능 인원이 크게 달라진다. 증설은 이 두 가지를 확인한 뒤에 검토해도 늦지 않다. 이 글은 온프레미스 환경에서 LLM 서빙 성능이 막힐 때 확인해야 할 변수와 판단 순서를 정리한다.

GPU를 더 사기 전에 무엇부터 확인해야 하나

추론 엔진 설정부터 확인해야 한다. 같은 모델, 같은 GPU에서도 추론 엔진이 어떤 연산 커널을 선택하느냐에 따라 처리 속도가 크게 달라지기 때문이다. 이 값은 코드 수정 없이 바꿀 수 있고 되돌리기도 쉽다. GPU 증설은 품의, 견적, 발주, 납기, 설치, 테스트를 거치는 분기 단위의 일이다. 확인에 드는 시간과 비용의 차이가 크므로 순서도 설정이 먼저다.

추론 성능은 하드웨어·모델·엔진 조합별로 측정한다.

이렇게 확인한다.

  • 서빙 중인 추론 엔진의 버전과 기본 활성화된 연산 커널이 무엇인지 기록한다.
  • 같은 모델을 다른 커널 경로로 돌려 보고, 처리 속도와 모델 로딩 시간을 각각 비교한다.
  • 비교할 때는 모델, 양자화 방식, 배치 크기, 입력·출력 길이를 고정하고 엔진 설정만 바꾼다.
  • 장비가 여러 대라면 각 장비에서 실제로 선택된 경로를 따로 확인한다.
  • 설정을 바꾸기 전 값과 측정 결과를 남겨서 되돌릴 수 있게 한다.

모델 크기는 동시 처리 인원에 어떤 영향을 주나

모델이 GPU 메모리를 많이 차지할수록 동시에 처리할 수 있는 요청 수가 줄어든다. GPU 메모리에는 모델 가중치만 올라가는 것이 아니다. 요청마다 쌓이는 KV 캐시가 들어갈 공간도 남아 있어야 하고, 이 공간이 동시 배치 수를 정한다. 대형 모델이 GPU 메모리를 거의 다 쓰면 한 명이 쓸 때는 빠르지만, 두 번째 사용자부터 대기열이 생긴다.

가중치가 차지하는 메모리는 대략 파라미터 수에 정밀도별 바이트 수를 곱해 어림할 수 있다. 같은 모델도 FP16이면 FP8의 두 배 정도가 필요하다. 어림값이 GPU 메모리 총량 안에 들어오더라도 KV 캐시와 운영 오버헤드를 빼면 서빙 가능한 규모가 아닐 수 있다. 모델이 올라가는 것과 운영할 수 있는 것은 다른 문제다.

이렇게 확인한다.

  • 가중치 메모리를 어림해 GPU 총 메모리에서 뺀 뒤, 남는 공간이 KV 캐시와 오버헤드를 감당하는지 계산한다.
  • 동시 사용자 수를 단계적으로 늘리며 첫 토큰이 나오기까지의 시간(TTFT)을 측정한다.
  • 평균보다 느린 쪽 요청(P95, P99)의 응답 시간을 함께 본다.
  • 조직이 정한 응답 시간 목표(SLO) 안에서 안정적으로 처리되는 동시 요청 수를 숫자로 기록한다.

모델 크기를 줄이면 동시 처리는 늘지만 에이전트 성능이 따라서 낮아질 수 있다. 특히 도구 호출은 일반 벤치마크 점수에 잘 드러나지 않으므로, 줄인 모델이 실제 업무 시나리오에서 도구를 제대로 부르는지 별도로 확인해야 한다.

MoE 모델은 왜 같은 GPU에서 더 많은 요청을 처리하나

MoE(Mixture of Experts) 모델은 메모리에는 전체 파라미터를 올리지만 연산은 일부 전문가만 쓰기 때문이다. 종합병원에 비유할 수 있다. 전문의가 여러 명 상주하지만 접수 데스크가 증상을 보고 해당 분야 전문의 몇 명에게만 환자를 배정하고, 나머지는 대기한다. 모든 의사가 모든 환자를 함께 진료하는 구조가 Dense 모델이다[1].

MoE로 줄어드는 것은 연산량이고, 메모리 요구량은 Dense 모델과 같다. 전체 파라미터가 GPU 메모리에 올라가야 하는 점은 Dense 모델과 같고, 토큰 하나를 만들 때 실제로 계산하는 파라미터(활성 파라미터)가 전체의 일부다. 연산이 가벼우면 다음 요청을 더 빨리 받을 수 있어 같은 GPU에서 더 많은 동시 요청을 처리할 여지가 생긴다. 같은 GPU 1장에서 비슷한 품질의 MoE와 Dense 모델을 비교한 커뮤니티 벤치마크에서 초당 생성 토큰 수가 4배 이상 차이 났다는 보고가 있다[2]. 비공식 측정이므로 방향을 보는 참고치로만 쓰는 것이 맞다.

MoE가 모든 환경의 답은 아니다. 메모리 총량이 부족한 환경에서는 어느 쪽이든 모델이 올라가지 않는다. 동시 사용자가 적고 정확도가 최우선이라면 큰 Dense 모델이 나을 수 있다.

이렇게 확인한다.

  • 후보 모델의 전체 파라미터와 활성 파라미터를 모델 카드에서 확인한다.
  • 전체 파라미터 기준으로 메모리가 들어가는지, 활성 파라미터 기준으로 연산이 가벼워지는지를 따로 계산한다.
  • 사용 중인 추론 엔진이 해당 MoE 구조를 서빙할 수 있는 버전인지 확인한다.
  • 정확도 점수와 함께 도구 호출, 다단계 추론 같은 에이전트 과제로 후보 모델을 비교한다.

모델을 바꾸면 추론 엔진과 폐쇄망 반입은 어떻게 되나

모델을 바꾸면 추론 엔진, 의존 패키지, 파이프라인 검증이 함께 움직인다. 새 모델 구조는 특정 버전 이상의 추론 엔진에서만 서빙되는 경우가 많아서, 모델 교체가 엔진 업그레이드를 동반하는 일이 흔하다. 인터넷이 되는 환경이라면 패키지 한 줄 업그레이드로 끝나지만, 폐쇄망에서는 의존 패키지를 모두 오프라인으로 가져와야 하고 모델 파일도 보안 절차를 거쳐 물리적으로 반입해야 한다.

GPU 증설 대신 모델 전환을 택해도 비용은 든다. 구매비가 엔지니어링 시간으로 옮겨 갈 뿐이다. 추론 엔진 업그레이드, 파이프라인 재검증, 에이전트 동작 테스트, 반입 절차가 모두 일정에 들어가야 한다. 모델 세대는 짧은 주기로 바뀌므로, 반입 절차를 한 번 정의해 두고 반복해서 쓸 수 있게 만드는 것이 장기적으로 이득이다.

이렇게 확인한다.

  • 후보 모델이 요구하는 추론 엔진 최소 버전과 현재 운영 버전을 대조한다.
  • 엔진 업그레이드에 필요한 의존 패키지 목록을 만들고 오프라인 반입 경로를 정한다.
  • 모델 파일 크기를 기준으로 반입 매체와 보안 검수에 걸리는 시간을 일정에 반영한다.
  • 교체 후 에이전트 시나리오, 도구 호출, 긴 출력을 다시 검증하는 테스트 세트를 준비한다.
  • 문제가 생기면 이전 모델과 엔진으로 되돌릴 수 있는 상태를 유지한다.

GPU 증설은 언제, 무슨 근거로 요청하나

증설 이후 무엇이 얼마나 좋아지는지 숫자로 답할 수 있을 때 요청해야 한다. GPU를 늘리면 경영진은 이제 해결됐을 것이라고 기대한다. 그러나 GPU를 두 배로 늘려도 성능이 두 배가 되지는 않는다. 모델 병렬화의 통신 오버헤드, 배치 스케줄링의 비효율, 모델 아키텍처 자체의 한계가 남기 때문이다. 증설 후 어떤 지표가 얼마나 개선되는지 정하지 않고 요청하면, 결과가 기대에 못 미칠 때 투자 판단 전체가 흔들린다.

이렇게 확인한다.

  • 현재 병목이 메모리 용량, 연산량, 소프트웨어 설정 중 어디에 있는지 측정으로 먼저 구분한다.
  • 증설 후 목표를 동시 사용자 수, P95 응답 시간처럼 측정 가능한 지표로 적는다.
  • 병렬화 방식과 통신 오버헤드를 고려한 예상 성능을 보수적으로 잡는다.
  • 소프트웨어 최적화와 모델 교체로 해결되지 않는 부분만 증설 대상으로 남긴다.

정확도, 비용, 동시 처리는 어떻게 함께 판단하나

세 축을 한꺼번에 놓고 판단해야 한다. 정확도를 올리려면 큰 모델이 필요하고, 큰 모델은 GPU를 더 쓰고, GPU를 더 쓰면 동시 처리가 줄어든다. 반대로 비용을 줄이면 정확도나 동시 처리 중 하나가 희생된다. GPU, 모델, 추론 엔진은 독립 변수가 아니어서 하나를 바꾸면 나머지 둘이 같이 움직인다.

정확도-비용-동시처리 트레이드오프 다이어그램

세 가지 개선 경로는 비용과 대가가 서로 다르다.

경로드는 것기대할 수 있는 것대가
GPU 증설장비 구매비, 설치, 납기확실한 처리 용량 확보기대치 관리가 필요하고 수요 예측이 빗나가면 과잉 투자
소프트웨어 최적화측정과 설정 변경 시간추가 구매 없이 처리량 개선하드웨어와 모델 조합에 따라 효과가 다름
모델 교체(MoE 등)엔진 업그레이드, 재검증, 반입같은 GPU에서 동시 처리 여지 확대엔지니어링 시간과 에이전트 성능 재검증

시작점을 정하기 어렵다면 다음 순서를 따른다.

  • 동시 사용자가 적고 정확도가 최우선이면 큰 모델을 유지하고 증설을 검토한다.
  • 동시 사용자가 많고 비용 제약이 있으면 MoE 같은 경량 아키텍처로의 전환을 먼저 본다.
  • 어디서 시작할지 모르겠으면 추론 엔진 설정(커널, 배치, 캐시)부터 점검한다. 추가 구매가 필요 없다.

추론 엔진의 메모리 관리 방식도 효과가 있다. vLLM의 PagedAttention은 KV 캐시 메모리 단편화를 줄여 유효 배치 크기를 높이고, 기존 구현보다 처리량을 2~4배 높인다고 보고되었다[3].

모델 크기가 비용에 미치는 영향도 크다. 클라우드 API 기준으로 대형 모델 호출 비용과 30B 이하 소형 모델의 호출 비용 사이에 225배 차이가 난다는 분석이 있다[4]. 30B 미만 모델의 온프레미스 운영은 3개월 안에 손익분기에 도달하는 경우가 많다는 분석도 있다[5]. 둘 다 조건에 따라 달라지는 분석이므로 자사 환경에서 다시 계산해야 한다.

어떤 모델이 가장 똑똑한지는 두 번째 질문이다. 첫 번째 질문은 우리 GPU에서 이 모델이 동시에 몇 명을 응답 시간 목표 안에서 서빙할 수 있는가다. 이 숫자가 나와야 모델 선택이 경영 판단이 된다.

온프레미스에서 모델 선택과 교체는 누가 맡나

올거나이즈가 공개한 온프레미스 운영 구조에서는 사용할 모델을 고르고 바꾸는 결정은 고객 조직이, 모델 배포와 업데이트 지원은 올거나이즈가 맡는다[6]. 앞에서 본 모델 교체 작업(엔진 업그레이드, 재검증, 반입)을 누가 맡을지 정할 때 참고할 수 있다.

영역고객 조직올거나이즈
서버·인프라사내 서버 또는 지정 클라우드 운영사양 가이드와 설치 지원
LLM 모델사용 모델 선택·전환 결정모델 배포·업데이트 지원
업데이트업데이트 시점·범위 최종 결정패치·업데이트 제공

폐쇄망에서는 외부 연결 없이 운영하거나, 승인된 절차로 업데이트·패치를 반영하도록 구성한다[6]. 플랫폼은 여러 LLM을 한 인터페이스에서 선택·전환하는 구조이고, 모델이 바뀌어도 그 위에 만든 앱과 워크플로우는 그대로 유지된다[7].

이렇게 확인한다.

  • 모델 선택·전환 결정, 모델 배포, 엔진 업그레이드, 반입 절차를 각각 누가 맡는지 계약 전에 나눠 적었는지
  • 모델을 바꿀 때 그 위에 만든 앱과 워크플로우를 다시 만들어야 하는지

벤더에게 물어봐야 할 5가지는 무엇인가

다음 다섯 가지에 답이 있는지 확인하면 된다. AI 플랫폼 벤더를 만날 때도, 내부 AI팀과 논의할 때도 같다. 더 넓은 비교 기준은 엔터프라이즈 RAG 도입 시 비교 기준에 정리했다.

  1. 이 모델을 우리 GPU에서 동시 N명 기준으로 돌릴 때 P95 응답 시간이 몇 초인가? PoC에서 한 명이 쓸 때 빠른 모델이 운영에서 50명이 쓸 때도 빠르다는 보장은 없다. 벤치마크 점수 대신 동시 사용자 수와 SLO를 명시한 운영 성능 데이터를 요구하고, 없으면 PoC에서 직접 측정한다.
  2. GPU 증설 없이 소프트웨어 최적화만으로 개선할 수 있는 부분은 무엇인가? 추론 엔진 커널 선택, KV 캐시 설정, 배치 스케줄링 튜닝처럼 하드웨어에 돈을 쓰기 전에 짜낼 여지가 있는지 확인한다. 이 질문에 항목별로 답하지 못하는 벤더는 의심해 볼 만하다.
  3. 모델을 업그레이드할 때 추론 엔진 호환성은 어떻게 되는가? 모델만 바꾸면 될 것 같지만 추론 엔진, 의존성, 파이프라인 전체가 따라 움직인다. 폐쇄망이면 각각을 오프라인으로 가져와야 한다.
  4. MoE 같은 경량 아키텍처를 서빙할 수 있는가? 활성 파라미터가 작아도 에이전트 과제에서 경쟁력 있는 모델이 나오고 있다. 이런 모델을 서빙할 추론 엔진과 파이프라인이 준비돼 있는지 확인한다.
  5. 폐쇄망에서 모델 업데이트는 어떤 절차로 하는가? 모델은 짧은 주기로 세대가 바뀐다. 모델 파일과 엔진 패키지를 보안 절차를 거쳐 반입하는 과정이 정의되어 있고 실제로 테스트된 적이 있는지 묻는다.

답이 불명확한 항목은 PoC에서 검증한다.

3편을 마치며

GPU, 모델, 추론 엔진은 서로 영향을 주는 변수이므로 하나만 바꿔서는 결과를 예측하기 어렵다. 지금 GPU에서 어떤 커널이 돌고 있는지, 몇 명이 동시에 쓸 때 응답 시간 목표가 깨지는지 알고 있어야 증설이든 모델 교체든 근거를 가지고 선택할 수 있다.

다음 편 예고: GPU와 모델 이야기는 모델이 제대로 작동한다는 전제 위에 서 있다. 다음 글에서는 에러 로그에 남지 않으면서 RAG와 에이전트의 품질을 떨어뜨리는 장애 유형과 점검 방법을 다룬다. 현장 리포트 4편 보기

올거나이즈는 금융, 공공, 제조 등 다양한 산업에서 폐쇄망 AI 플랫폼을 구축하고 운영한 경험을 보유하고 있다. PoC부터 운영까지, 이 글에서 다룬 점검을 함께 진행한다. → 도입 상담 요청하기

출처

  1. IBM, "What is Mixture of Experts?"; NVIDIA MoE Glossary; Maximilian Schwarzmuller, "MoE vs Dense LLMs"
  2. Local LLM Bench: MoE vs Dense, ure.us. RTX 3090 기준 MoE 168 tok/s vs Dense 41 tok/s (커뮤니티 벤치마크, 비공식)
  3. vLLM Triton Attention Backend Deep Dive, vLLM Blog, 2026-03-04; vLLM DeepGEMM Benchmarks, GitHub vllm-project/vllm
  4. Nebius, "Choosing Between Large and Small Models", 2024.10. GPT-4급 $0.09/req vs 소형 $0.0004/req, 225배 (클라우드 서비스 업체 자체 분석, 2024년 GPT-4 기준 가격)
  5. "On-Premise LLM Cost-Benefit Analysis", arXiv:2509.18101, 2025 (프리프린트, 미피어리뷰)
  6. 올거나이즈, 알리 웍스 온프레미스 제품 페이지(운영 모델·FAQ). 제품 페이지
  7. 올거나이즈 홈페이지 FAQ, "특정 LLM 모델에 종속되지 않고 여러 모델을 함께 쓸 수 있나요?". 홈