Danke für das Video! Schön wäre es, wenn Du direkt ein paar Abfragen eingefügt hättest, damit man die Geschwindigkeit einschätzen kann. Du sagst ja, dass es bei der ersten Abfrage langsam ist. Mich hätte jetzt interessiert, wie es danach mit komplexen Abfragen läuft.
Hab auf meinem Raspy 4 8GB im NASPi Gehäuse und 2x4TB SSDs im RAID1 OVM, Docker, PiHole, Whoogle, SterlingPDF, TimeMashine, Bitwarden und einiges mehr am laufen. Bin aktuell dabei mir was stärkeres aufzubauen mit nem fractal Node 304 und einigen NAS HDDs, würde da Proxmox drauf hauen, eine GPU mit mind. 8GB VRAM und Llama darüber betreiben. Über Aufgabenplanung könnte ich das System nur 12/7 laufen lassen. So läuft aktuell auch mein Raspi. Aufjedenfall interessantes Video, hatte mir davor einige auf English angesehen. Es muss nur noch die Hardware her, dann kann’s los gehen :) Daumen hoch von mir
@ bin gespannt was draus wird :) Raspi 5 bietet einige PCIe Lines, so könnte man eine eGPU darüber betreiben. Wäre ebenfalls eine Überlegung Wert in der Hinsicht
Training benötigt ernsthafte hardware und geht nixht mit einem raspi. Selbst Finetuning wird schwer. Einzig ein System prompt kann gewisse Voreinstellungen vornehmen
Die Daten sucht LIama trotzdem aus dem Internet dann richtig, funkt dabei aber nicht nach hause? Gibt es eine Möglichkeit, einen eignen Pfad zu hinterlegen für die Suche? Hab einige Programme die ich nur selten nutze und wo es zwar How To Videos gibt, manch Frage aber in Minute 4:21 von 40min beantwortet wird als doofes Beispiel. Das man sich zb das Transkript dann nehmen kann oder ggf direkt den Link. Sollte doch eigentlich einen Aufruf generieren.
@@LOGINTechBlog Ob das ganze im Internet nach meiner Frage sucht oder ob ich auch sagen kann, das er zb auf meiner NAS in Ordner XY suchen soll. Wo ich die Daten schon sortiert habe vllt als Beispiel ^^
Schon ein nettes Projekt, aber recht flachbrüstig so ein Raspberry Pi 5 wenn auch nur für ein 1b llama… Ich hatte schon ein paar tests gemacht auf dem m1 der auch nur 8 GB hatte… Auch mit einer lxc die sauber RAM Speicher gekriegt hat… war alles nicht das wahre, dem lxc fehlte das GPU Backend. 1b sind die Antworten wahrscheinlich zutiefst schlecht, waren sie bei llama3.1 mit 8b auch schon . Schon 3b sind recht wenig. Mit dem llama31 mit 8b dürfte der raspi schon in die Knie gehen. Um sowas mal auf einem Linux aufgebaut zu haben dafür ist es ganz ok. Für wesentlich mehr aber auch nicht.
Habe tatsächlich einige Tests mit dem 1b auf dem Raspi durchgeführt. Die "Bedenkzeit" war bei komplexeren Anfragen so 1-1,5 Minuten. Die Antwortgeschwindigkeit wie im Video zu sehen. Und die Qualität für das 1b Modell ist erstaunlich gut. (Hab mir ne Marketing Kampagne erstellen lassen) In summe immer besser als Alexa oder Siri 😅
@@LOGINTechBlog Durch die dort fehlenden Kontext-längen und Lernmöglichkeiten ist so gut wie jedes LLM besser als Alexa oder Siri. Hab vor 6 Monaten ein paar tests mit meinem i5 und m1 machen lassen. Dort hatte ich bloss das vorgeschlagenen "Why is the sky blue?" verwendet. Hier mal ein Ausschnitt aus meinem LinkedIn Beitrag: "Ein Intel Core i5-1135G7 auf dem per LXC 8Cores und 40GB RAM für ollama reserviert sind. Und ein normaler MacMini M1 mit 8GB RAM aus 2020 Für LLaMA3 (als 8B LLM - 4,7 GB) dauert die Antwort der beiden Systeme bei der standard Frage 'Why is the sky blue?': - beim i5 ~80 Sekunden - beim M1 ~41 Sekunden Kann man mit leben behaupte ich mal. Aus Jux hab ich auf den gleichen Systemen die 70B Variante, die eine Grösse von 39 GB hat, mit der gleichen Frage ausprobiert… - beim i5 dauerte die Antwort fast 10 Minuten - beim M1 dauerte die Antwort fast 8 Stunden" Die Qualität von dem was im Video gezeigt wurde ist aber schon noch… kein Totalausfall aber immer noch "Versetzungsgefährdet". Seis die "Mitte des Schadels" oder auch nur dass das Thema verfehlt wurde… Ob alles halluziniert war kann ich nicht sagen… Es wird aber schonmal von einer Lichtquelle auf der Erde gesprochen die auf uns gerichtet wird, was rein logisch schon mal nichts mit der Farbe des Himmels zu tun haben kann.
@@SierraX369 Habe ebenfalls das 3b Modell auf einem Pi5 mit 8GB getestet. Die Ergebnisse sind besser, die Geschwindigkeit ist nicht wirklich schlechter. Aber die Ausgabe macht schonmal mehr sinn (Warum ist der Himmel blau :-) ). Für jemanden, der KI testen möchte ist dies eine low budget Variante, die passable Ergebnisse liefert....und mehr sollte es auch nicht sein
@@LOGINTechBlog Ok meine Testsysteme gehen natürlich etwas ins Geld… Das System mit dem ich jetzt wieder ein wenig mehr machen will ist der aktuelle MacMini mit 940 € für 24GB RAM oder auch der i5 mit 64GB RAM für um die 1000 € sind natürlich ne ganz andere Hausnummer. Es wird dazu geraten, dass man nicht viel weniger als das Doppelte an RAM haben sollte, als das LLM selbst gross ist. Da kann man bei einem Listenpreis von etwa 120 € für RasPi 5 8 GB schon nicht mehr von low budget sprechen wenn man für weniger einen gleichwertigen gebrauchten auf eBay Kleinanzeigen kriegt.
Herzlichen Dank für die Informationen 😅😊
Danke für das Video! Schön wäre es, wenn Du direkt ein paar Abfragen eingefügt hättest, damit man die Geschwindigkeit einschätzen kann. Du sagst ja, dass es bei der ersten Abfrage langsam ist. Mich hätte jetzt interessiert, wie es danach mit komplexen Abfragen läuft.
Beim nächsten mal
Hab auf meinem Raspy 4 8GB im NASPi Gehäuse und 2x4TB SSDs im RAID1 OVM, Docker, PiHole, Whoogle, SterlingPDF, TimeMashine, Bitwarden und einiges mehr am laufen. Bin aktuell dabei mir was stärkeres aufzubauen mit nem fractal Node 304 und einigen NAS HDDs, würde da Proxmox drauf hauen, eine GPU mit mind. 8GB VRAM und Llama darüber betreiben. Über Aufgabenplanung könnte ich das System nur 12/7 laufen lassen. So läuft aktuell auch mein Raspi. Aufjedenfall interessantes Video, hatte mir davor einige auf English angesehen. Es muss nur noch die Hardware her, dann kann’s los gehen :)
Daumen hoch von mir
Das nächste video befasst sich näher mit diesem thema....wenn auch nur im allgemeinen
@ bin gespannt was draus wird :) Raspi 5 bietet einige PCIe Lines, so könnte man eine eGPU darüber betreiben. Wäre ebenfalls eine Überlegung Wert in der Hinsicht
Was dann aber auch wieder eine Budgetfrage ist. Schade, dass der KI Beschleuniger für den Pi5 keine LLM's unterstützt
Kann ich das Olama auch trainieren?
Ich möchte mein eigenes Model erstellen oder besser gesagt konfigurieren, dass es nach gewissen Regeln handelt...
Training benötigt ernsthafte hardware und geht nixht mit einem raspi. Selbst Finetuning wird schwer. Einzig ein System prompt kann gewisse Voreinstellungen vornehmen
Die Daten sucht LIama trotzdem aus dem Internet dann richtig, funkt dabei aber nicht nach hause?
Gibt es eine Möglichkeit, einen eignen Pfad zu hinterlegen für die Suche?
Hab einige Programme die ich nur selten nutze und wo es zwar How To Videos gibt, manch Frage aber in Minute 4:21 von 40min beantwortet wird als doofes Beispiel. Das man sich zb das Transkript dann nehmen kann oder ggf direkt den Link. Sollte doch eigentlich einen Aufruf generieren.
Sorry. Verstehe nicht wirklich was du meinst
@@LOGINTechBlog Ob das ganze im Internet nach meiner Frage sucht oder ob ich auch sagen kann, das er zb auf meiner NAS in Ordner XY suchen soll. Wo ich die Daten schon sortiert habe vllt als Beispiel ^^
@Citizens-ip6jn das ist ein sprachmodell. Das durchsucht keine ordener nach Dateien. Es ist rein textbasiert
Ein npu hat für raspberry wird Zeit.
Es gibt zwar einen AI hat, der ist aber für Video analyse und geht nicht mit Llms. Schade
Schon ein nettes Projekt, aber recht flachbrüstig so ein Raspberry Pi 5 wenn auch nur für ein 1b llama… Ich hatte schon ein paar tests gemacht auf dem m1 der auch nur 8 GB hatte… Auch mit einer lxc die sauber RAM Speicher gekriegt hat… war alles nicht das wahre, dem lxc fehlte das GPU Backend. 1b sind die Antworten wahrscheinlich zutiefst schlecht, waren sie bei llama3.1 mit 8b auch schon . Schon 3b sind recht wenig. Mit dem llama31 mit 8b dürfte der raspi schon in die Knie gehen.
Um sowas mal auf einem Linux aufgebaut zu haben dafür ist es ganz ok. Für wesentlich mehr aber auch nicht.
Habe tatsächlich einige Tests mit dem 1b auf dem Raspi durchgeführt. Die "Bedenkzeit" war bei komplexeren Anfragen so 1-1,5 Minuten. Die Antwortgeschwindigkeit wie im Video zu sehen. Und die Qualität für das 1b Modell ist erstaunlich gut. (Hab mir ne Marketing Kampagne erstellen lassen) In summe immer besser als Alexa oder Siri 😅
@@LOGINTechBlog Durch die dort fehlenden Kontext-längen und Lernmöglichkeiten ist so gut wie jedes LLM besser als Alexa oder Siri.
Hab vor 6 Monaten ein paar tests mit meinem i5 und m1 machen lassen. Dort hatte ich bloss das vorgeschlagenen "Why is the sky blue?" verwendet.
Hier mal ein Ausschnitt aus meinem LinkedIn Beitrag:
"Ein Intel Core i5-1135G7 auf dem per LXC 8Cores und 40GB RAM für ollama reserviert sind.
Und ein normaler MacMini M1 mit 8GB RAM aus 2020
Für LLaMA3 (als 8B LLM - 4,7 GB) dauert die Antwort der beiden Systeme bei der standard Frage 'Why is the sky blue?':
- beim i5 ~80 Sekunden
- beim M1 ~41 Sekunden
Kann man mit leben behaupte ich mal.
Aus Jux hab ich auf den gleichen Systemen die 70B Variante, die eine Grösse von 39 GB hat, mit der gleichen Frage ausprobiert…
- beim i5 dauerte die Antwort fast 10 Minuten
- beim M1 dauerte die Antwort fast 8 Stunden"
Die Qualität von dem was im Video gezeigt wurde ist aber schon noch… kein Totalausfall aber immer noch "Versetzungsgefährdet". Seis die "Mitte des Schadels" oder auch nur dass das Thema verfehlt wurde… Ob alles halluziniert war kann ich nicht sagen… Es wird aber schonmal von einer Lichtquelle auf der Erde gesprochen die auf uns gerichtet wird, was rein logisch schon mal nichts mit der Farbe des Himmels zu tun haben kann.
@@SierraX369 Habe ebenfalls das 3b Modell auf einem Pi5 mit 8GB getestet. Die Ergebnisse sind besser, die Geschwindigkeit ist nicht wirklich schlechter. Aber die Ausgabe macht schonmal mehr sinn (Warum ist der Himmel blau :-) ). Für jemanden, der KI testen möchte ist dies eine low budget Variante, die passable Ergebnisse liefert....und mehr sollte es auch nicht sein
@@LOGINTechBlog Ok meine Testsysteme gehen natürlich etwas ins Geld… Das System mit dem ich jetzt wieder ein wenig mehr machen will ist der aktuelle MacMini mit 940 € für 24GB RAM oder auch der i5 mit 64GB RAM für um die 1000 € sind natürlich ne ganz andere Hausnummer.
Es wird dazu geraten, dass man nicht viel weniger als das Doppelte an RAM haben sollte, als das LLM selbst gross ist. Da kann man bei einem Listenpreis von etwa 120 € für RasPi 5 8 GB schon nicht mehr von low budget sprechen wenn man für weniger einen gleichwertigen gebrauchten auf eBay Kleinanzeigen kriegt.