Wie viele KI-Modelle laufen auf welcher Grafikkarte flüssig? Die Tabelle vergleicht 36 Grafikkarten von NVIDIA, AMD und Intel – sortiert nach Grafikspeicher (VRAM), dem wichtigsten Faktor für lokale KI.
| Grafikkarte | VRAM | Bandbreite | Modelle flüssig | Empfehlung |
|---|---|---|---|---|
| NVIDIA RTX 5090 (32 GB) | 32 GB | 1792 GB/s | 17 | Qwen3 32B |
| NVIDIA RTX 3090 (24 GB) | 24 GB | 936 GB/s | 17 | Qwen3 32B |
| NVIDIA RTX 3090 Ti (24 GB) | 24 GB | 1008 GB/s | 17 | Qwen3 32B |
| NVIDIA RTX 4090 (24 GB) | 24 GB | 1008 GB/s | 17 | Qwen3 32B |
| AMD RX 7900 XTX (24 GB) | 24 GB | 960 GB/s | 17 | Qwen3 32B |
| AMD RX 7900 XT (20 GB) | 20 GB | 800 GB/s | 13 | Qwen3 30B-A3B |
| NVIDIA RTX 4060 Ti (16 GB) | 16 GB | 288 GB/s | 10 | gpt-oss 20B |
| NVIDIA RTX 4070 Ti Super (16 GB) | 16 GB | 672 GB/s | 10 | gpt-oss 20B |
| NVIDIA RTX 4080 / 4080 Super (16 GB) | 16 GB | 736 GB/s | 10 | gpt-oss 20B |
| NVIDIA RTX 5060 Ti (16 GB) | 16 GB | 448 GB/s | 10 | gpt-oss 20B |
| NVIDIA RTX 5070 Ti (16 GB) | 16 GB | 896 GB/s | 10 | gpt-oss 20B |
| NVIDIA RTX 5080 (16 GB) | 16 GB | 960 GB/s | 10 | gpt-oss 20B |
| AMD RX 7600 XT (16 GB) | 16 GB | 288 GB/s | 10 | gpt-oss 20B |
| AMD RX 7800 XT (16 GB) | 16 GB | 624 GB/s | 10 | gpt-oss 20B |
| AMD RX 7900 GRE (16 GB) | 16 GB | 576 GB/s | 10 | gpt-oss 20B |
| AMD RX 9060 XT (16 GB) | 16 GB | 322 GB/s | 10 | gpt-oss 20B |
| AMD RX 9070 / 9070 XT (16 GB) | 16 GB | 640 GB/s | 10 | gpt-oss 20B |
| Intel Arc A770 (16 GB) | 16 GB | 560 GB/s | 10 | gpt-oss 20B |
| NVIDIA RTX 3060 (12 GB) | 12 GB | 360 GB/s | 9 | Qwen3 14B |
| NVIDIA RTX 3080 (12 GB) | 12 GB | 912 GB/s | 9 | Qwen3 14B |
| NVIDIA RTX 4070 / 4070 Super (12 GB) | 12 GB | 504 GB/s | 9 | Qwen3 14B |
| NVIDIA RTX 4070 Ti (12 GB) | 12 GB | 504 GB/s | 9 | Qwen3 14B |
| NVIDIA RTX 5070 (12 GB) | 12 GB | 672 GB/s | 9 | Qwen3 14B |
| AMD RX 7700 XT (12 GB) | 12 GB | 432 GB/s | 9 | Qwen3 14B |
| Intel Arc B580 (12 GB) | 12 GB | 456 GB/s | 9 | Qwen3 14B |
| NVIDIA RTX 2080 Ti (11 GB) | 11 GB | 616 GB/s | 7 | Qwen3 14B |
| NVIDIA RTX 3080 (10 GB) | 10 GB | 760 GB/s | 6 | Mistral Nemo 12B |
| NVIDIA RTX 2070 (8 GB) | 8 GB | 448 GB/s | 5 | Qwen3 8B |
| NVIDIA RTX 3060 Ti (8 GB) | 8 GB | 448 GB/s | 5 | Qwen3 8B |
| NVIDIA RTX 3070 (8 GB) | 8 GB | 448 GB/s | 5 | Qwen3 8B |
| NVIDIA RTX 4060 (8 GB) | 8 GB | 272 GB/s | 5 | Qwen3 8B |
| NVIDIA RTX 4060 Ti (8 GB) | 8 GB | 288 GB/s | 5 | Qwen3 8B |
| NVIDIA RTX 5060 (8 GB) | 8 GB | 448 GB/s | 5 | Qwen3 8B |
| AMD RX 7600 (8 GB) | 8 GB | 288 GB/s | 5 | Qwen3 8B |
| NVIDIA GTX 1660 (6 GB) | 6 GB | 192 GB/s | 3 | Gemma 3 4B |
| NVIDIA RTX 2060 (6 GB) | 6 GB | 336 GB/s | 3 | Gemma 3 4B |
Bewertet wurden 22 Modelle bei 8.000 Tokens Kontext. „Flüssig“ heißt: komplett im Grafikspeicher und mindestens 15 Tokens pro Sekunde.
Für lokale KI zählt vor allem der Grafikspeicher: Er entscheidet, wie große – und damit wie kluge – Modelle komplett auf die Karte passen. Erst danach kommt die Speicherbandbreite, die das Tempo bestimmt. Eine ausführliche Kaufberatung mit Empfehlungen für jedes Budget findest du im Ratgeber Beste Grafikkarte für lokale KI.