Cât VRAM pentru LLM local? Ghid 7B–70B | F5itCât VRAM îți trebuie ca să rulezi un LLM local? Ghid pe dimensiuni de model (2026)
Dacă vrei să rulezi un model de limbaj (LLM) direct pe calculatorul tău — privat, fără cloud și fără costuri pe API / tokeni — întrebarea numărul unu este: cât VRAM îmi trebuie? Memoria plăcii video (VRAM) este factorul care decide dacă un model rulează deloc și cât de repede. Mai jos găsești cifre concrete, pe dimensiuni de model și pe niveluri de cuantizare, preluate din ghiduri tehnice de specialitate.
Regula de bază: VRAM per miliard de parametri
Consumul de memorie depinde de cuantizare — adică de câți biți se folosesc pentru a stoca fiecare „greutate” a modelului. Cu cât mai puțini biți, cu atât mai puțin VRAM (și o pierdere mică de calitate).
Ca regulă practică, la cuantizare pe 4 biți ai nevoie de aproximativ 0,6 GB VRAM per miliard de parametri, așa că un model de 7B încape în jur de 5 GB doar pentru greutăți (promptquorum.com).
Cuantizarea Q4_K_M este considerată „sweet spot”-ul pentru majoritatea utilizatorilor: păstrează ~95% din calitatea modelului la precizie completă, dar reduce memoria de aproape 4× față de FP16 (promptquorum.com).
Cifre pe dimensiuni de model
Datele de mai jos sunt orientative pentru inferență (rularea modelului), pe diferite niveluri de precizie (databasemart.com):
Model 7B (ex. Llama 3 8B, Mistral 7B)
- 4-bit (INT4/GPTQ): 6–8 GB
- 8-bit (INT8/FP8): 10–14 GB
- 16-bit (FP16): 16–20 GB
- Recomandat pentru confort: 12–24 GB VRAM
- O placă de 8 GB livrează 40+ tokeni/secundă cu modele de 7–8B la Q4_K_M (localllm.in).
Model 13B
- 4-bit: ~8–12 GB VRAM, suficient pentru o placă de 12–16 GB.
Model 33B
- 4-bit: 20–28 GB
- 8-bit: 45–60 GB
- 16-bit: 70–80 GB
- Recomandat pentru găzduire stabilă: 48–80 GB
Model 70B (ex. Llama 3.3 70B, Qwen2.5 72B)
- 4-bit: 40–48 GB
- 8-bit: 110–130 GB
- 16-bit: 140–160 GB
- Pragul de 24 GB devine o limită reală pentru modelele de 70B, care la Q4 cer ~40 GB — de aceea ai nevoie de 48 GB+ sau de două plăci de 24 GB (databasemart.com).
Atenție: contextul lung „mănâncă” VRAM suplimentar
VRAM-ul total nu înseamnă doar greutățile modelului. Formula reală este:
VRAM total = greutăți model + KV cache + overhead de rulare
KV cache-ul (memoria pentru contextul conversației) crește liniar cu lungimea contextului. Un model de 8B urcă de la ~0,3 GB la 2K tokeni, la ~5 GB la 32K și ~20 GB la 128K context — doar pentru cache. Un model de 70B sare de la ~1,6 GB la 2K, la peste 42 GB la 128K context (promptquorum.com).
Cu alte cuvinte: dublezi contextul → dublezi memoria de cache (databasemart.com). Dacă lucrezi cu documente mari sau conversații lungi, planifică VRAM în plus.
Ce placă video alegi, pe scurt
| Vrei să rulezi | VRAM recomandat | Exemple de plăci |
|---|---|---|
| Modele mici (7B–13B) | 12–24 GB | RTX 4070 Ti Super, RTX 4090 |
| Modele medii (33B) | 24–48 GB | RTX 4090, RTX 6000 Ada |
| Modele mari (70B+) | 48 GB+ sau 2× GPU | RTX 6000 Ada 48GB, 2× RTX 4090 |
Concluzie
- 7B–13B: o placă de 12–16 GB e suficientă pentru uz personal.
- 33B: vrei 24–48 GB.
- 70B: ai nevoie de 48 GB+ sau configurație multi-GPU.
- Nu uita de context — el poate dubla necesarul de VRAM.
Vrei un AI Workstation configurat exact pe nevoile tale?
Îți recomandăm, asamblăm și testăm sistemul potrivit pentru LLM local, training de modele sau Stable Diffusion — livrat în toată România.
Vrei un calculator dimensionat exact pe modelele pe care le rulezi? La F5it îți configurăm un AI Workstation la comandă, asamblat și testat în București. Cere o ofertă.