Welche KI läuft auf der RTX 3090 (24 GB)?

Die NVIDIA RTX 3090 hat 24 GB Grafikspeicher und 936 GB/s Speicherbandbreite. Damit laufen 17 von 22 aktuellen KI-Modellen flüssig.

Kurzfazit

Die RTX 3090 ist sehr gut für lokale KI geeignet – auch große Modelle laufen flüssig.

Empfehlung: Qwen3 32B – Das stärkste dichte Qwen3-Modell. ollama run qwen3:32b
Größtes Modell im Grafikspeicher: Qwen3 32B (Q4 (Standard), ca. 21,7 GB)
Tempo: Mit 936 GB/s gehört die Karte zu den schnellen Modellen – die Bandbreite bestimmt, wie schnell die KI antwortet.
Lange Texte: Bei 32.000 Tokens Kontext (z. B. für lange Dokumente) laufen noch 13 Modelle flüssig.

Im Rechner mit eigenen Einstellungen prüfen RTX 3090 bei Amazon ansehen*

Alle Modelle auf der RTX 3090 im Überblick

Annahmen: 8.000 Tokens Kontext, 32 GB DDR5-Arbeitsspeicher für die Auslagerung, Standard-Quantisierung Q4 (wie bei Ollama). Tempo = geschätzte Tokens pro Sekunde beim Antworten.

Modell	Ergebnis	Speicher	Tempo	Details
Qwen3 32B Chat · Logik · Programmieren	Läuft flüssig	21,7 GB	ca. 28 Tokens/s	Q4 (Standard)
Qwen2.5-Coder 32B Programmieren	Läuft flüssig	21,7 GB	ca. 28 Tokens/s	Q4 (Standard)
DeepSeek-R1 32B (Distill) Logik	Läuft flüssig	21,7 GB	ca. 28 Tokens/s	Q4 (Standard)
Qwen3 30B-A3B Chat · Logik	Läuft flüssig	19,1 GB	ca. 281 Tokens/s	Q4 (Standard)
Qwen3-Coder 30B-A3B Programmieren	Läuft flüssig	19,1 GB	ca. 281 Tokens/s	Q4 (Standard)
Gemma 3 27B Chat · Bilder	Läuft flüssig	20,4 GB	ca. 34 Tokens/s	Q4 (Standard)
Mistral Small 3.1 24B Chat · Bilder	Läuft flüssig	15,8 GB	ca. 39 Tokens/s	Q4 (Standard)
gpt-oss 20B Chat · Logik · Programmieren	Läuft flüssig	11,7 GB	ca. 294 Tokens/s	MXFP4 (Original)
Qwen3 14B Chat · Logik · Programmieren	Läuft flüssig	10,5 GB	ca. 63 Tokens/s	Q4 (Standard)
Phi-4 14B Chat · Logik	Läuft flüssig	10,7 GB	ca. 63 Tokens/s	Q4 (Standard)
Gemma 3 12B Chat · Bilder	Läuft flüssig	10,7 GB	ca. 76 Tokens/s	Q4 (Standard)
Mistral Nemo 12B Chat	Läuft flüssig	8,9 GB	ca. 76 Tokens/s	Q4 (Standard)
Qwen3 8B Chat · Logik · Programmieren	Läuft flüssig	6,5 GB	ca. 113 Tokens/s	Q4 (Standard)
Llama 3.1 8B Chat	Läuft flüssig	6,3 GB	ca. 116 Tokens/s	Q4 (Standard)
Gemma 3 4B Chat · Bilder	Läuft flüssig	4,2 GB	ca. 215 Tokens/s	Q4 (Standard)
Qwen3 4B Chat · Logik	Läuft flüssig	4,1 GB	ca. 232 Tokens/s	Q4 (Standard)
Llama 3.2 3B Chat	Läuft flüssig	3,3 GB	ca. 289 Tokens/s	Q4 (Standard)
Llama 3.3 70B Chat	Nur sehr langsam	44,2 GB	ca. 1 Tokens/s	Q4 (Standard), teilweise ausgelagert
Llama 4 Scout Chat · Bilder	Passt nicht	–	–	braucht ca. 53,1 GB
gpt-oss 120B Chat · Logik · Programmieren	Passt nicht	–	–	braucht ca. 60,8 GB
Qwen3 235B-A22B Chat · Logik · Programmieren	Passt nicht	–	–	braucht ca. 112,0 GB
DeepSeek-R1 671B Logik	Passt nicht	–	–	braucht ca. 314,9 GB

Mehr KI mit einem Upgrade

Mini-PC mit Ryzen AI Max+ 395 (128 GB)

Riesige Modelle zum Mini-PC-Preis.

+1 Modelle flüssig, z. B. gpt-oss 120B

Preise bei Amazon ansehen*

Mac Studio M4 Max (128 GB)

Große Modelle mit hohem Tempo.

+2 Modelle flüssig, z. B. gpt-oss 120B

Preise bei Amazon ansehen*

* Werbelink: Wenn du über diesen Link kaufst, erhalten wir eine kleine Provision. Für dich ändert sich am Preis nichts.

Häufige Fragen

Reicht die RTX 3090 (24 GB) für lokale KI?

Die RTX 3090 ist sehr gut für lokale KI geeignet – auch große Modelle laufen flüssig. Mit 24 GB Grafikspeicher laufen 17 von 22 Modellen flüssig, das stärkste davon ist Qwen3 32B.

Welches KI-Modell ist das beste für die RTX 3090?

Unsere Empfehlung ist Qwen3 32B: Das stärkste dichte Qwen3-Modell. Starten lässt es sich mit dem Befehl „ollama run qwen3:32b“.

Läuft Qwen3 32B auf der RTX 3090?

Ja. Qwen3 32B passt in der Variante Q4 (Standard) komplett in den Speicher (ca. 21,7 GB) und erreicht ca. 28 Tokens/s – das fühlt sich flüssig an.

Läuft Llama 3.3 70B auf der RTX 3090?

Nur mit Auslagerung in den Arbeitsspeicher: Mit 32 GB RAM läuft Llama 3.3 70B auf die RTX 3090, aber mit ca. 1 Tokens/s sehr langsam.

Läuft gpt-oss 20B auf der RTX 3090?

Ja. gpt-oss 20B passt in der Variante MXFP4 (Original) komplett in den Speicher (ca. 11,7 GB) und erreicht ca. 294 Tokens/s – das fühlt sich flüssig an.

Läuft Qwen3 14B auf der RTX 3090?

Ja. Qwen3 14B passt in der Variante Q4 (Standard) komplett in den Speicher (ca. 10,5 GB) und erreicht ca. 63 Tokens/s – das fühlt sich flüssig an.