LLM VRAM 요구 사항 이해하기: 완벽 가이드

모든 대규모 언어 모델은 파라미터 수, 즉 모델의 지식을 인코딩하는 학습된 가중치의 수로 정의됩니다. GPT-3는 1,750억 개의 파라미터를 가지고 있고, Llama 3는 8B, 70B, 405B 변형이 있으며, Phi-3 같은 소형 모델은 38억 개의 파라미터를 사용합니다. 전체 정밀도(FP32)에서는 각 파라미터당 4바이트의 메모리가 필요합니다. 따라서 70억 파라미터 모델은 가중치를 저장하는 데만 약 28 GB가 필요합니다. 표준 학습 형식인 반정밀도(FP16/BF16)에서는 각 파라미터당 2바이트가 필요하므로, 같은 7B 모델에 약 14 GB가 필요합니다. 하지만 가중치 저장은 전체 방정식의 일부에 불과합니다. 추론 중에는 컨텍스트 윈도우의 어텐션 상태를 저장하는 KV-cache(키-값 캐시)를 위한 메모리도 필요합니다. KV-cache는 컨텍스트 길이에 비례하여 선형적으로 증가하며, 어텐션 레이어 수, 헤드 수, 임베딩 차원에 비례합니다. 4,096 토큰의 컨텍스트를 처리하는 7B 모델의 경우, 아키텍처에 따라 KV-cache가 1-4 GB를 추가로 차지할 수 있습니다. 추론 프레임워크(llama.cpp, vLLM, text-generation-inference), CUDA 커널, 임시 연산 버퍼로 인한 오버헤드도 있습니다. 실용적인 경험 법칙은 이론적 최솟값에 10-15%의 오버헤드를 추가하는 것입니다.

양자화는 VRAM 요구 사항을 줄이는 데 가장 큰 영향을 미치는 기술입니다. 16비트 부동소수점 대신 일반적으로 8비트, 4비트, 심지어 2비트 정수로 모델 가중치를 표현하는 방식입니다. 로컬 추론에 가장 많이 사용되는 양자화 형식은 GGUF(llama.cpp에서 사용)와 GPTQ/AWQ(GPU 가속 프레임워크에서 사용)입니다. GGUF 내에서는 Q4_K_M, Q5_K_S, Q8_0 등의 형식을 접하게 됩니다. 명명 규칙은 비트 폭과 양자화 방법을 나타냅니다. 양자화가 70B 파라미터 모델에 미치는 영향은 다음과 같습니다: - FP16 (양자화 없음): ~140 GB — 여러 대의 엔터프라이즈 GPU 필요 - Q8_0 (8비트): ~70 GB — RTX 4090 2대 또는 A100 80GB 1대 필요 - Q4_K_M (4비트): ~40 GB — RTX 4090 1대(24 GB)에서 오프로딩으로 실행 가능, 또는 RTX 3090 2대 - Q2_K (2비트): ~25 GB — RTX 4090 1대에 들어가지만 품질 저하가 눈에 띔 GPTQ와 AWQ 논문의 연구에 따르면, 4비트 양자화는 대부분의 벤치마크에서 원래 모델 성능의 95% 이상을 유지합니다. 8비트 양자화는 사실상 무손실입니다. 4비트 미만에서는 특히 추론 작업에서 품질이 더 눈에 띄게 저하됩니다. 최적의 양자화 수준은 사용 목적에 따라 달라집니다. 창작 글쓰기와 일반 채팅에는 Q4_K_M이 품질과 메모리 절약의 최적 균형을 제공합니다. 코드 생성과 추론에는 Q5_K_M이나 Q6_K가 측정 가능한 수준으로 더 나은 정확도를 제공합니다. Q8_0은 충분한 VRAM이 있고 원본에 가까운 품질을 원할 때 권장됩니다.

LLM 추론에 적합한 소비자용 GPU의 VRAM은 8 GB(RTX 4060)에서 24 GB(RTX 4090)까지 다양합니다. A100(40/80 GB)이나 H100(80 GB) 같은 전문가용 카드는 더 많은 메모리를 제공하지만 가격이 훨씬 높습니다. 대부분의 사용자에게 주요 결정 기준은 다음과 같습니다: - 8 GB VRAM (RTX 4060, RX 7600): 짧은 컨텍스트에서 7B 모델을 Q4 양자화로 실행 가능. Phi-3, Gemma 2B 같은 소형 모델에 적합. - 12 GB VRAM (RTX 4070): Q4-Q5 양자화로 7B 모델을 중간 컨텍스트에서 쾌적하게 실행. 제한된 컨텍스트에서 13B 모델을 Q4로 실행 가능. - 16 GB VRAM (RTX 4070 Ti, RX 7800 XT): 취미 사용자를 위한 최적의 선택. 13B 모델을 Q4-Q6으로, 7B 모델을 Q8로 전체 컨텍스트와 함께 실행 가능. - 24 GB VRAM (RTX 4090, RTX 3090): 30B+ 모델을 Q4로, 13B를 Q8로, 70B를 Q2-Q3로 처리. 열정적인 사용자를 위한 최고의 단일 GPU 옵션. Apple Silicon 사용자는 통합 메모리 아키텍처의 이점을 누릴 수 있습니다. 64 GB 통합 메모리를 갖춘 M2 Max는 70B Q4 모델을 실행할 수 있지만, 추론 속도는 전용 NVIDIA GPU보다 느립니다. 192 GB의 M3 Ultra는 더 큰 모델도 처리할 수 있습니다. 텐서 병렬 처리(모델을 여러 GPU에 분산)를 사용하는 멀티 GPU 구성은 여러 카드의 VRAM을 합산할 수 있습니다. RTX 3090 2대(총 48 GB)로 70B 모델을 Q4 양자화로 쾌적하게 실행할 수 있습니다.

적절한 양자화 수준 선택 외에도 제한된 하드웨어에서 더 큰 모델을 실행하는 데 도움이 되는 여러 기법이 있습니다. 컨텍스트 길이 관리가 매우 중요합니다. 모델이 128K 컨텍스트를 지원하지만 4K만 필요하다면, 더 짧은 컨텍스트 윈도우를 설정하면 KV-cache 메모리를 크게 절약할 수 있습니다. 많은 프레임워크에서 실행 시점에 이를 설정할 수 있습니다. CPU 오프로딩을 사용하면 모델을 GPU와 시스템 RAM 사이에 분할할 수 있습니다. GPU에 로드된 레이어는 최대 속도로 실행되고 CPU 레이어는 더 느리게 실행됩니다. 70B Q4 모델에 40 GB가 필요하지만 24 GB GPU를 가지고 있다면, 약 60%의 레이어를 GPU에, 나머지를 CPU에 로드할 수 있습니다. 추론은 느려지지만 작동합니다. Flash Attention은 메모리 사용량을 줄이고 속도를 높이는 최적화된 어텐션 알고리즘입니다. 대부분의 최신 추론 프레임워크에서 기본적으로 지원합니다. 설정에서 활성화되어 있는지 확인하세요. 배치 크기는 처리량에 중요하지만 메모리 사용량을 증가시킵니다. 단일 사용자 추론의 경우 배치 크기 1이 표준입니다. 여러 사용자에게 서비스를 제공하는 경우 요청별 KV-cache 메모리를 고려해야 합니다. nvidia-smi(NVIDIA)나 활성 상태 보기(Apple) 같은 모니터링 도구를 사용하면 실시간 VRAM 사용량을 추적하고 병목 현상을 파악할 수 있습니다. 구성을 확정하기 전에 항상 실제 워크로드로 테스트하세요.

VRAM 요구 사항을 이해하는 것은 LLM을 로컬에서 실행하려는 모든 분에게 필수적입니다. 핵심 요소는 모델 파라미터 수, 양자화 수준, 컨텍스트 길이, 프레임워크 오버헤드입니다. 적절한 양자화 형식을 선택하고 구성을 최적화하면, 소비자용 하드웨어에서도 놀라울 정도로 우수한 모델을 실행할 수 있습니다. LLM VRAM 체커를 사용하여 모든 모델과 GPU 조합에 대한 요구 사항을 즉시 계산해 보세요.