Welche KI läuft auf der RTX 5060 (8 GB)?

Die NVIDIA RTX 5060 hat 8 GB Grafikspeicher und 448 GB/s Speicherbandbreite. Damit laufen 5 von 22 aktuellen KI-Modellen flüssig.

Kurzfazit

Die RTX 5060 ist ein solider Einstieg: Modelle bis etwa 8 Milliarden Parameter laufen flüssig, für die klügeren 14B-Modelle fehlt aber der Speicher oder das Tempo.

Im Rechner mit eigenen Einstellungen prüfen RTX 5060 bei Amazon ansehen*

Alle Modelle auf der RTX 5060 im Überblick

Annahmen: 8.000 Tokens Kontext, 32 GB DDR5-Arbeitsspeicher für die Auslagerung, Standard-Quantisierung Q4 (wie bei Ollama). Tempo = geschätzte Tokens pro Sekunde beim Antworten.

ModellErgebnisSpeicherTempoDetails
Qwen3 8B
Chat · Logik · Programmieren
Läuft flüssig6,5 GBca. 54 Tokens/sQ4 (Standard)
Llama 3.1 8B
Chat
Läuft flüssig6,3 GBca. 55 Tokens/sQ4 (Standard)
Gemma 3 4B
Chat · Bilder
Läuft flüssig4,2 GBca. 103 Tokens/sQ4 (Standard)
Qwen3 4B
Chat · Logik
Läuft flüssig4,1 GBca. 111 Tokens/sQ4 (Standard)
Llama 3.2 3B
Chat
Läuft flüssig3,3 GBca. 139 Tokens/sQ4 (Standard)
Qwen3 30B-A3B
Chat · Logik
Läuft, etwas langsamer19,1 GBca. 14 Tokens/sQ4 (Standard), teilweise ausgelagert
Qwen3-Coder 30B-A3B
Programmieren
Läuft, etwas langsamer19,1 GBca. 14 Tokens/sQ4 (Standard), teilweise ausgelagert
gpt-oss 20B
Chat · Logik · Programmieren
Läuft, etwas langsamer11,7 GBca. 22 Tokens/sMXFP4 (Original), teilweise ausgelagert
Qwen3 32B
Chat · Logik · Programmieren
Nur sehr langsam21,7 GBca. 1 Tokens/sQ4 (Standard), teilweise ausgelagert
Qwen2.5-Coder 32B
Programmieren
Nur sehr langsam21,7 GBca. 1 Tokens/sQ4 (Standard), teilweise ausgelagert
DeepSeek-R1 32B (Distill)
Logik
Nur sehr langsam21,7 GBca. 1 Tokens/sQ4 (Standard), teilweise ausgelagert
Gemma 3 27B
Chat · Bilder
Nur sehr langsam20,4 GBca. 1 Tokens/sQ4 (Standard), teilweise ausgelagert
Mistral Small 3.1 24B
Chat · Bilder
Nur sehr langsam15,8 GBca. 2 Tokens/sQ4 (Standard), teilweise ausgelagert
Qwen3 14B
Chat · Logik · Programmieren
Nur sehr langsam10,5 GBca. 5 Tokens/sQ4 (Standard), teilweise ausgelagert
Phi-4 14B
Chat · Logik
Nur sehr langsam10,7 GBca. 5 Tokens/sQ4 (Standard), teilweise ausgelagert
Gemma 3 12B
Chat · Bilder
Nur sehr langsam10,7 GBca. 5 Tokens/sQ4 (Standard), teilweise ausgelagert
Mistral Nemo 12B
Chat
Nur sehr langsam8,9 GBca. 9 Tokens/sQ4 (Standard), teilweise ausgelagert
Llama 3.3 70B
Chat
Passt nicht––braucht ca. 36,1 GB
Llama 4 Scout
Chat · Bilder
Passt nicht––braucht ca. 53,1 GB
gpt-oss 120B
Chat · Logik · Programmieren
Passt nicht––braucht ca. 60,8 GB
Qwen3 235B-A22B
Chat · Logik · Programmieren
Passt nicht––braucht ca. 112,0 GB
DeepSeek-R1 671B
Logik
Passt nicht––braucht ca. 314,9 GB

Mehr KI mit einem Upgrade

* Werbelink: Wenn du über diesen Link kaufst, erhalten wir eine kleine Provision. Für dich ändert sich am Preis nichts.

Häufige Fragen

Reicht die RTX 5060 (8 GB) für lokale KI?

Die RTX 5060 ist ein solider Einstieg: Modelle bis etwa 8 Milliarden Parameter laufen flüssig, für die klügeren 14B-Modelle fehlt aber der Speicher oder das Tempo. Mit 8 GB Grafikspeicher laufen 5 von 22 Modellen flüssig, das stärkste davon ist Qwen3 8B.

Welches KI-Modell ist das beste für die RTX 5060?

Unsere Empfehlung ist Qwen3 8B: Einer der besten Allrounder in dieser Klasse. Starten lässt es sich mit dem Befehl „ollama run qwen3:8b“.

Läuft Qwen3 32B auf der RTX 5060?

Nur mit Auslagerung in den Arbeitsspeicher: Mit 32 GB RAM läuft Qwen3 32B auf die RTX 5060, aber mit ca. 1 Tokens/s sehr langsam.

Läuft Llama 3.3 70B auf der RTX 5060?

Nein. Llama 3.3 70B braucht selbst stark komprimiert ca. 36,1 GB – mehr, als die RTX 5060 bietet.

Läuft gpt-oss 20B auf der RTX 5060?

Nur mit Auslagerung in den Arbeitsspeicher: Mit 32 GB RAM läuft gpt-oss 20B auf die RTX 5060, aber mit ca. 22 Tokens/s eher gemächlich.

Läuft Qwen3 14B auf der RTX 5060?

Nur mit Auslagerung in den Arbeitsspeicher: Mit 32 GB RAM läuft Qwen3 14B auf die RTX 5060, aber mit ca. 5 Tokens/s sehr langsam.

Ähnliche Grafikkarten

Alle Grafikkarten vergleichen →