Quel GPU pour faire tourner un LLM en local ?
Par PowerLab · Publié le · Mis à jour le
Le GPU — et surtout sa mémoire (VRAM) — décide quels modèles vous pouvez faire tourner. Ce guide donne la règle de calcul, un tableau par taille de modèle, et un sélecteur pour trouver votre config en 30 secondes.
La règle de calcul (simple)
La mémoire nécessaire dépend de la taille du modèle et de la précision (quantization) :
- 4-bit (Q4, le standard local) : ~0,5 Go / milliard de paramètres
- 8-bit : ~1 Go / milliard
- FP16 (pleine précision) : ~2 Go / milliard
Ajoutez ~15-20 % pour le « KV cache » (le contexte de la conversation) et la marge technique. La quantization 4-bit moderne (GPTQ, AWQ, GGUF) réduit la VRAM de ~75 % vs FP16 avec une perte de qualité minime (1-3 %).
VRAM par taille de modèle
↔ Faites défiler le tableau horizontalement
| Modèle | 4-bit (usuel) | 8-bit | FP16 | Configuration type |
|---|---|---|---|---|
| Qwen3.8 27B — n°1 des modèles ouverts < 40B | ~18 Go | ~34 Go | ~65 Go | 32 Go en 4-bit, 64 à 96 Go en 8-bit |
| Gemma 4 31B — agents, assistants | ~21 Go | ~39 Go | ~75 Go | 32 Go — Neura Studio |
| Modèle dense 70B — repère de calcul | ~48 Go | ~85 Go | ~165 Go | 96 Go (1 carte pro) ou 2 GPU |
| Qwen3.8-Flash-Next (180B MoE, 6B actifs) — 5e modèle ouvert mondial | ~100 Go (~82 Go en 3-bit) | ~190 Go | — | 96 Go en 3-bit, 192 Go confortable |
| GLM-5.3-Flash (320B MoE, 18B actifs) — 4e modèle ouvert mondial | ~150 Go (3-bit) | ~320 Go | — | 192 Go en 3-bit, 384 Go confortable |
| DeepSeek V4.1 Flash (552B MoE, 16B actifs) — 6e modèle ouvert mondial | ~310 Go (version officielle, Engram sur NVMe) | — | — | 384 Go — Neura Datacenter |
Les modèles ont changé de forme. Les meilleurs modèles ouverts de 2026 sont soit des modèles compacts d'environ 30 milliards de paramètres, qui tiennent sur une seule carte, soit des MoE géants : plusieurs centaines de milliards de paramètres, dont seule une petite partie travaille à chaque mot, et qui demandent un serveur. Le 70B dense reste un bon repère de calcul, mais il n'est plus la référence de qualité. Classement de référence : Artificial Analysis, relevé le 12/10/2026. Le détail palier par palier : quel modèle d'IA faire tourner selon votre mémoire GPU.
La question qui décide vraiment : combien d'utilisateurs simultanés
C'est le point le plus mal compris du dimensionnement. Savoir qu'un modèle « rentre » dans une carte ne dit presque rien : Qwen3.8 27B tient aussi bien dans 32 Go que dans 384 Go. Ce qui change, c'est le nombre de personnes qui peuvent l'interroger en même temps.
La raison est mécanique. Chaque conversation en cours occupe de la mémoire supplémentaire — le « KV cache », qui stocke le contexte de l'échange. Plus il reste de mémoire libre après le chargement du modèle, plus vous pouvez traiter de requêtes en parallèle sans faire attendre les utilisateurs.
↔ Faites défiler le tableau horizontalement
| Modèle | 32 Go — Studio | 64 Go — Studio Duo | 96 Go — Studio Max | 192 Go — Cluster | 384 Go — Datacenter |
|---|---|---|---|---|---|
| Qwen3.8 27B en Q4 | 5 personnes | 17 personnes | 25+ personnes | 50+ personnes | 100+ personnes |
| Gemma 4 31B en Q4 | 3 personnes | 14 personnes | 24 personnes | 50+ personnes | 100+ personnes |
| Qwen3.8 27B en Q8 | — | 6 personnes | 12 personnes | 32 personnes | 71 personnes |
| Dense 70B en Q4 (repère) | — | 2 personnes | 7 personnes | 21 personnes | 48 personnes |
Estimation à contexte de travail confortable, plafonnée par le débit réel du GPU : au-delà d'une certaine charge, la mémoire suivrait mais pas la vitesse de calcul, et les temps de réponse deviendraient perceptibles.
Ce qui compte en plus de la VRAM
La mémoire décide de ce qui rentre. Trois autres facteurs décident de la vitesse à laquelle ça tourne.
La bande passante mémoire
C'est le débit auquel le GPU lit les poids du modèle. À chaque token généré, il doit parcourir l'ensemble du modèle en mémoire : la bande passante détermine donc directement le nombre de mots produits par seconde. Deux cartes de même capacité peuvent afficher des vitesses très différentes sur cette seule base.
La quantization employée
Q4, Q8, FP16 ne changent pas que l'encombrement : les formats modernes (AWQ, GPTQ, GGUF) sont optimisés pour l'inférence et exploitent des instructions matérielles dédiées. Un format mal choisi peut coûter en vitesse ce qu'il fait gagner en mémoire.
La répartition multi-GPU
Deux cartes de 96 Go ne valent pas exactement une carte de 192 Go. Le modèle est réparti entre elles, et les échanges transitent par le bus PCIe — plus lent que la mémoire embarquée. En pratique le surcoût est acceptable pour de l'inférence, mais il explique qu'on privilégie une carte à grande mémoire quand le modèle peut y tenir seul.
Carte professionnelle ou grand public ?
Les deux fonctionnent, et le choix se fait sur des critères précis plutôt que sur une hiérarchie de gamme.
↔ Faites défiler le tableau horizontalement
| Critère | Carte grand public (RTX 5090) | Carte professionnelle (RTX PRO Blackwell) |
|---|---|---|
| Mémoire disponible | 32 Go | jusqu'à 96 Go |
| Rapport performance / prix | Excellent | Plus élevé, justifié par la capacité |
| Fonctionnement continu | Correct sur un poste | Conçu pour la charge soutenue |
| Mémoire à correction d'erreurs | Non | Oui |
| Densité en rack | Encombrement important | Format adapté au multi-GPU |
| Support constructeur | Grand public | Professionnel |
En résumé : une RTX 5090 offre le meilleur rapport performance-prix pour un poste individuel, et c'est ce que nous installons dans le Neura Studio. La carte professionnelle devient nécessaire dès qu'on dépasse ce que 32 Go permettent, ou dès que la machine tourne en continu pour plusieurs personnes.
Quelle machine pour quel besoin
- Usage individuel — Qwen3.8 27B, Gemma 4, image, RAG → Neura Studio, 32 Go (RTX 5090).
- Petite équipe, jusqu'à une quinzaine de personnes → Neura Studio Duo, 2× 32 Go.
- Pleine précision, Qwen3.8-Flash-Next, modèles jusqu'à ~85 Go, multimodal → Neura Studio Max, 96 Go (carte professionnelle).
- Plusieurs dizaines d'utilisateurs, GLM-5.3-Flash ou DeepSeek V4.1 Flash, fine-tuning → Serveur GPU, 2 à 4 cartes.
Quel GPU pour mon modèle ?
Choisissez votre modèle et votre usage — on estime la VRAM et la config adaptée.
Au-delà de la VRAM
- La VRAM d'abord, mais aussi la bande passante mémoire (elle conditionne la vitesse de génération).
- RAM système : au moins autant que la VRAM, idéalement le double.
- Refroidissement et alimentation : un GPU pro tire jusqu'à 600 W.
- Multi-GPU : pour dépasser une carte, il faut une plateforme pensée pour — d'où l'intérêt d'une config assemblée et testée.
Questions fréquentes
Combien de VRAM pour un LLM 70B en local ?
Environ 48 Go en 4-bit, la précision courante en local. Une carte professionnelle de 96 Go le charge donc seule, avec assez de marge pour servir sept utilisateurs simultanés. En pleine précision (FP16), il faudrait environ 165 Go — soit un serveur multi-GPU.
La règle générale : ~0,5 Go par milliard de paramètres en 4-bit, ~1 Go en 8-bit, ~2 Go en FP16, plus 15 à 20 % pour le contexte des conversations.
Une carte grand public suffit-elle ?
Pour un poste individuel, oui — et c'est ce que nous installons dans le Neura Studio. Une RTX 5090 de 32 Go fait tourner Qwen3.8 27B en 4-bit — le meilleur modèle ouvert de sa catégorie — et offre le meilleur rapport performance-prix du marché.
Elle atteint ses limites sur trois points : la capacité mémoire (32 Go plafonne les modèles 70B), l'absence de correction d'erreurs mémoire, et le fonctionnement en charge continue pour lequel elle n'est pas conçue. Au-delà, la carte professionnelle s'impose.
La quantization 4-bit dégrade-t-elle la qualité ?
Très peu : de l'ordre de 1 à 3 % sur les principaux benchmarks, imperceptible sur les usages courants. C'est le standard en local, et c'est précisément ce qui rend l'IA locale accessible — sans quantization, un modèle 70B demanderait 165 Go au lieu de 48.
Le bon arbitrage : mieux vaut un modèle 70B en 4-bit qu'un modèle 14B en pleine précision. On passe en 8-bit quand la qualité maximale prime, au prix de deux fois plus de mémoire — donc de moins d'utilisateurs servis en parallèle.
Ai-je besoin de plusieurs GPU ?
Pour un usage individuel, non : une seule bonne carte suffit, et c'est même préférable — un modèle réparti sur deux cartes échange par le bus PCIe, plus lent que la mémoire embarquée. Pour une petite équipe, deux cartes grand public (Neura Studio Duo) servent en revanche plus de personnes en parallèle.
Le multi-GPU devient nécessaire dans trois cas : servir un gros modèle à plusieurs dizaines de personnes, faire tourner un modèle qui dépasse la capacité d'une seule carte, ou entraîner et affiner des modèles. C'est le domaine des serveurs Cluster et Datacenter.
Le GPU est-il le seul composant qui compte ?
C'est le plus déterminant, mais pas le seul. La mémoire vive doit être au moins équivalente à la VRAM pour le chargement des modèles, et le stockage NVMe conditionne la vitesse à laquelle un modèle bascule en mémoire — un point sensible si vous alternez entre plusieurs modèles.
Sur un serveur, deux facteurs s'ajoutent : la répartition de l'alimentation entre les cartes et le débit réseau, qui devient limitant dès que les données à traiter viennent d'un stockage centralisé plutôt que du disque local.
Puis-je réutiliser une carte que je possède déjà ?
Souvent oui, si la capacité mémoire correspond à votre modèle cible. C'est une question à poser avant de commander : une carte récente déjà en votre possession peut réduire sensiblement le budget d'une première machine.
Les limites à vérifier : la génération de la carte conditionne la compatibilité avec les formats de quantization récents, et son encombrement doit être compatible avec un châssis prévu pour la charge continue.
Un projet serveur ou IA en tête ?
Décrivez votre usage — on vous répond avec un dimensionnement et un devis sous 48 h ouvrées. Sans engagement, et si le cloud est plus pertinent dans votre cas, on vous le dira.