Inside 3D

 

"Blackwell은 NVIDIA 아키텍처 가운데 최초로 FP4 형식을 기본 지원합니다"로 시작된 NVFP4 홍보 문구지만,
NVFP4 크게 대중화되지 못했다. 오직 Blackwell 사용하는 기술이고 기존 사용 중인 범용적인 양자화 기술도 발전되었기 때문이다.

 

RTX50 시리즈 Blackwell에서  nvfp4 포맷은 하드웨어 가속으로 vllm에서 지원해 왔으나, 드디어 llama.cpp에도 지원하게 되었다

NVFP4 호환성은 구현된 상태이고, 아직 하드웨어 가속은 개발 중이었다.

 

하지만, 최근 llama추론엔진 사용자로서 드디어 llamap.cpp에서도 blackwall navive NVFP4 지원하게 됐다.

https://github.com/ggml-org/llama.cpp/pull/22196

 

ggml-cuda: Repost of 21896: Blackwell native NVFP4 support by michaelw9999 · Pull Request #22196 · ggml-org/llama.cpp

This is a restored clone of PR #21896 ggml-cuda: Blackwell native NVFP4 support . Unfortunately it closed during a rebase error and it cannot be reopened The exact commits are here as they were bef...

github.com

 

그래서 궁금해서 VRAM 16GB 한꺼번에 넣을만한 용량으로 3.5 9B 모델로 벤치 테스트를 해봤다.

 

구동 모델(Q4_K_M) - 믿고 쓰는 메이저 팀 unsloth의 양자화 모델

Qwen3.5-9B-Q4_K_M.gguf

 

구동 모델 (NVFP4) - 허깅페이스 검색을 통해 gguf 포맷을 겨우 발견한 무명의 nvfp4 양자화 모델

AxionML-Qwen3.5-9B-NVFP4.gguf

 

 

.\llama-bench.exe `
>>   -m "\\wsl.localhost\Ubuntu-24.04\home\xxx\models\AxionML-Qwen3.5-9B-NVFP4.gguf" `
>>   -m "\\wsl.localhost\Ubuntu-24.04\home\xxx\models\Qwen3.5-9B-Q4_K_M.gguf" `
>>   -ngl 99 `
>>   -p 512,1024,2048 `
>>   -n 128,512 `
>>   -r 5
ggml_cuda_init: found 1 CUDA devices (Total VRAM: 16310 MiB):
  Device 0: NVIDIA GeForce RTX 5060 Ti, compute capability 12.0, VMM: yes, VRAM: 16310 MiB
load_backend: loaded CUDA backend from C:\Users\xxx\llama\ggml-cuda.dll
load_backend: loaded RPC backend from C:\Users\xxx\llama\ggml-rpc.dll
load_backend: loaded CPU backend from C:\Users\xxx\llama\ggml-cpu-zen4.dll
| model                   |       size |     params | backend| ngl |            test |                  t/s |
| ------------------------| ---------: | ---------: | -----  | --: | --------------: | -------------------: |
| qwen35 9B NVFP4         |   7.42 GiB |     8.95 B | CUDA   |  99 |           pp512 |     1386.67 ± 185.84 |
| qwen35 9B NVFP4         |   7.42 GiB |     8.95 B | CUDA   |  99 |          pp1024 |     2846.33 ± 356.31 |
| qwen35 9B NVFP4         |   7.42 GiB |     8.95 B | CUDA   |  99 |          pp2048 |      3759.12 ± 58.86 |
| qwen35 9B NVFP4         |   7.42 GiB |     8.95 B | CUDA   |  99 |           tg128 |         59.37 ± 0.16 |
| qwen35 9B NVFP4         |   7.42 GiB |     8.95 B | CUDA   |  99 |           tg512 |         59.40 ± 0.09 |
| qwen35 9B Q4_K - Medium |   5.28 GiB |     8.95 B | CUDA   |  99 |           pp512 |     2786.18 ± 121.84 |
| qwen35 9B Q4_K - Medium |   5.28 GiB |     8.95 B | CUDA   |  99 |          pp1024 |       2978.68 ± 7.51 |
| qwen35 9B Q4_K - Medium |   5.28 GiB |     8.95 B | CUDA   |  99 |          pp2048 |       2968.98 ± 0.25 |
| qwen35 9B Q4_K - Medium |   5.28 GiB |     8.95 B | CUDA   |  99 |           tg128 |         68.91 ± 0.08 |
| qwen35 9B Q4_K - Medium |   5.28 GiB |     8.95 B | CUDA   |  99 |           tg512 |         68.64 ± 0.06 |

▲ AxionML-Qwen3.5-9B-NVFP4.gguf  읽기 속도 (pp2048) 3759 t/s, 토큰 생성 속도 (tg512) 59.40 t/s

▲ Qwen3.5-9B-UD-Q4_K_XL.gguf 읽기 속도 (pp2048) 2968 t/s, 토큰 생성 속도 (tg512) 68.64 t/s

 

 

<< NVFP4 vs Q4_K_M 기술 및 실용성 비교표 >>

 

비교 항목	NVFP4 (Blackwell Native)	Q4_K_M (Standard Quant)	비고 (실제 체감)
파일 용량	~7.42 GiB (무거움)	~5.28 GiB (가벼움)	NVFP4가 약 40% 더 큼
Prefill (PP)	~3,780 t/s (폭발적)	~2,960 t/s (준수함)	긴 입력 시 NVFP4가 약 27% 우세
Generation (TG)	~59 t/s (보통)	~68 t/s (쾌적함)	답변 출력은 Q4_K_M이 약 15% 빠름
VRAM 효율성	낮음 (패딩 데이터 많음)	매우 높음 (최적화 완료)	가중치 절약 = 컨텍스트 확보
정밀도 (PPL)	높음 (FP4 부동소수점)	보통 (정수형 양자화)	이론상 NVFP4 지능이 미세 우위
커널 성숙도	초기 단계 (잠재력 위주)	완숙 단계 (안정성 위주)	소프트웨어 지원은 Q4_K_M 압승
최적 사용처	짧은 단발성 대화, 기술 데모	코딩, 대용량 문서 분석	실전 비즈니스에는 Q4_K_M 유리

▲ 응? 오히려 NVFP tps 15%가량 떨어지는 기현상. 용량도 40% 더 커서 VRAM 손해 보는데 tps까지 늦다? 

 

 

결론

1. NVFP4 한계

최신 양자화 모델의 덕목인 용량 절감을 달성 못했기에 손해보는 곳이 이만저만이 아니다. Prefill과 정밀도 우위 하나만 보기엔 VRAM 안착보다 가치가 높지 않다.

 

2. VRAM 대역폭

NVFP4의 용량이 무거운 모델인 만큼 초당 대역폭에서 불리할 수밖에 없으며, 컨텍스트 윈도우 점유율까지 깎아먹는다.

 

3. 커널 최적화 숙련도

Q4_K_M 방식은 장기간 최적화 해놓은 완성형 코드인 반면에 llama.cpp의 NVFP4 하드웨어 가속 코드는 신상으로

좀 더 최적화 (루프 언론링, 메모리 정렬 등)가 더 필요한 상태인 듯하다.

 

아직은 시기상조이지만, llama.cpp 커널이 다듬어지고, nvidia가 nvfp4를 제대로 압축한 모델로 대중화되면

결과는 바뀌어 있을 꺼라 예상된다.

 

 

자료 출처

https://developer.nvidia.com/ko-kr/blog/nvfp4-trains-with-precision-of-16-bit-and-speed-and-efficiency-of-4-bit

 

NVFP4, 16비트 정밀도와 4비트 성능으로 학습 가속

최근 몇 년간 AI 워크로드는 폭발적으로 증가했습니다. 이는 거대 언어 모델(LLM)의 배포는 물론, 사전 학습과 후속 학습 과정에서 점점 더 많은 토큰을 처리해야 하는 수요로도 이어지고 있습니

developer.nvidia.com

https://developer.nvidia.com/ko-kr/blog/3-ways-nvfp4-accelerates-ai-training-and-inference/

 

NVFP4가 AI 훈련과 추론 성능을 가속하는 3가지 방법

최신 AI 모델의 규모와 복잡성이 지속적으로 증가하면서 훈련과 추론에 필요한 컴퓨팅 성능 또한 급격히 증가하고 있습니다. 무어의 법칙으로는 더 이상 감당하기 어려운 수준이죠. 이러한 한계

developer.nvidia.com