Ich glaube es sind so 40-50gb auf der Platte. Ich teste aktuell Server auf denen ich 70b laufen lassen kann und das bin ich mittlerweile schon bei einem GPU RAM von 32gb angekommen zu monatlichen Kosten über 400 Eur. Und da ist die Performance immer noch nicht berauschend. Da ist die Performance eines Mac Studio M1 Max mit 64gb Shared Ram schon gewaltig und so gut, dass ich überlege nicht einfach einen m3 ultra in ein Rechenzentrum zu stellen
schönes Projekt! Die Performance ist ganz gut oder? Es gibt Tage, da ist ChatGPT auch nicht schneller. Wie viel GB belegt das ganze auf dem Rechner?
Ich glaube es sind so 40-50gb auf der Platte. Ich teste aktuell Server auf denen ich 70b laufen lassen kann und das bin ich mittlerweile schon bei einem GPU RAM von 32gb angekommen zu monatlichen Kosten über 400 Eur. Und da ist die Performance immer noch nicht berauschend. Da ist die Performance eines Mac Studio M1 Max mit 64gb Shared Ram schon gewaltig und so gut, dass ich überlege nicht einfach einen m3 ultra in ein Rechenzentrum zu stellen