Günstige KI Karte gesucht

[speefak]

Ich hatte ein wenig mit LLM Modellen herumprobiert und suche der nun für eine günstige Einsteigerkarte für den DL und KI Bereich. Ich habe hier eine RTX 2060super im Desktop System verbaut und damit liefen die KI Modelle schon recht flott. Allerdings ist der Speicher mit 8 GB für größere LLM Modelle zu klein und ein paar Fragen stellen sich da gerade :

1. Für DL / KI wird oft eine GTX 1660 Super Empfohlen. Die Karte hat aber keine Tensor Einheiten ?!
2. Sind Tensoreinheiten nur für DL relevant oder auch für die LLM Modelle ?
3. können Bild KIs wie Dall-E ebenfalls Speicher von mehreren GPUs nutzen ?

In der Bucht gibt es die Nvidia Tesla K80 recht günstig. Lt. Benchmark sind die K80 etwas langsamer als eine RTX 2060 Super, haben aber mit 24 GB Ram die Möglichkeit größere LMMs zu nutzen. Eine K80 ist Quasi eine "dopplte" GK, in einem der LLM Softwareprogramme, kann angeben werden ob man mehrere GK nutzt und somit hätte ich dann die vollen 24 GB speicher statt 2x12 GB als Limit.

Wenn ich mir das Ranking anschaue hat eine K80 rund 3 mal soviel Leistung beim FP32 wie eine 2080Ti kostet aber 1/3 und hat doppelt soviel RAM ( https://www.microway.com/knowledge-cent ... esla-gpus/ )

Das hier sieht allerdings wieder ganz anders aus : https://ai-benchmark.com/ranking_deeplearning . Da ist die RTX 2060 Super weit vor der K80. Aber die RTX 2060 Super hat nur 8 GB RAM :/

Was würdet Ihr aktuell für den Einstieg in KI und DL an GPU kaufen, bzw. wo ist aktuell die beste Preisleistung fir DL und KI. Kann ich mit der K80 für um die 80€ viel falsch machen ?

[niemand]

OT, aber bevor’s sich festsetzt: „LLM Modell“ → „Large Language Model Modell“

[MSfree]

„LLM Modell“ → „Large Language Model Modell“

LCD-Display
PIN-Nummer
AbM-Maßnahme
RAS-Syndrome
PDF-Format
HIV-Virus

[speefak]

Dachte LLM im KI Kontext sollte klar sein

https://sysrqmts.com/de/gpus/compare/nv ... pcie-12-gb

Die GTX 1660 hat für den Preis recht viele Shadereinheiten/Streamingprozessoren aber keine Tensor Einheiten. Tensoreinheiten gibt es wohl erst ab der Turing Architektur.

Übrigens, wurde ein LLM vergessen => Master of Laws https://www.lse.ac.uk/law/study/llm

[niemand]

Dachte LLM im KI Kontext sollte klar sein

Und ich dachte, du würdest die Antworten zumindest lesen. Was du mit „LLM Modell“ meintest, war schon klar – darum ging’s uns auch gar nicht.

Naja – dann kann man sich On-Topic wohl auch sparen, wenn die Antworten derart oberflächlich gelesen werden, dass der Sinn nicht erfasst wird …

[speefak]