Sehr sympathisch, geerdet und unterhaltsam, weil man merkt, dass ihr richtig Freude, Ideen und Interesse an dem Gespräch habt. Ist mir lieber als Lanz und anstrengende, polarisierende Formate, wo es nur noch darum geht, seine Machtposition zu profilieren und den anderen dumm darzustellen. Ihr zeigt wie es ohne dem Konzept Macht geht, das authentisch auf kommunikativer und damit sozialer Ebene viel interessanter und konstruktiver wirkt. Meist entwickeln sich neue Kooperationen und Projekte daraus. 🖖Lebe[t] lang und in Frieden
Sedrick ist echt ein toller Typ. Er hat so viel Wissen und bringt Mehrwehrt ohne Ende für RUclips und trotzdem down to earth. Hoffe er kommt wieder in den Podcast. :-)
Ich finde es super, wenn du deine Gäste am Anfang kurz vorstellst und damit auch kurz den Werdegang und das Wirken erläuterst. Das gibt ihnen direkt mehr Sicherheit und Kredibilität. Das eigene Vorstellen wirkt immer etwas unsicher auf mich.
Ich finde es sehr beeindruckend, wie Tim das Gesagte von Cedric sofort aufnehmen kann und auch noch weitere Informationen zu bestimmten Themen hinzufügen kann, obwohl das nicht sein Fachgebiet ist.
Morpheus absoluter Ehrenmann. Hab in den letzten Jahren immer wieder Videos von ihm gesehen, aufgrund meines Studiums. Find ich gut dass er jetzt hier diese Plattform bekommt 👍🏻
Hey Tim, Respekt, ich bin immer wieder überrascht, was für ein breites und gleichzeitig tiefes Wissen Du zu verschiedenen Gebieten aufgebaut hast. Deine Nachfragen und Analogien zum Thema waren so gut.
Ich studiere Künstliche Intelligenz, daher für mich der beste Podcast von Tim! Macht Spaß wie Cedric einer Laie KI erklärt!!:) Tim hat auch richtig gute Fragen gestellt.
So ein guter Gast! :D Vielen Dank für den Podcast und cool, dass du dich in solchen Themen weiterbildest. Man muss man sich auch erstmal trauen dann so ein Gespräch einzugehen. So verlässt man die Komfortzone! :))
Zu 15:00, die Ausgabe kommt tatsächlich Wort-für-Wort, weil die Ausgabe von GPT iterativ funktioniert. Es nimmt immer die vorherige Ausgabe und versucht nur das nächste Wort auf Grundlage der bisherigen Worte vorherzusagen. Man kann es sich so vorstellen: Die Eingabe wird enkodiert über diese verschiedenen Schichten, die Morpheus beschreibt, das geht recht fix mit genug Grafikkarten. Eine komprimierte Darstellung der Eingabe wird dann in den Dekodierer gegeben, der dann das erste Worte "ratet". Tatsächlich probiert er jedes möglich Wort aus, dass es nur geben kann ("samplen") und schaut, was am wahrscheinlichsten ist bzw. am ehesten passt. Dann nimmt er wieder deine Eingabe UND die eben erstellte Ausgabe und probiert das nächste Wort aus usw.
Ich kannte Cedric vorher noch nicht und ich bin EXTREM begeistert! Ich wünsche mir definitiv einen zweiten Teil! War extrem geil und spannend zuzuhören!
Ich habe original noch nie bei einer 2 Stunden Folge von überhaupt irgendetwas so aufmerksam zugehört und war fasziniert wie jetzt bei dieser Folge :O Ich finde es wirklich sehr sehr interessant das ganze Thema und will so wie viele Andere auch, sehr viel Mehrwert mitnehmen auf den ganzen neutralen Systemen, nur weiss ich nicht wo ich anfangen soll damit. :D sehr interessantes Thema wäre auch: 4 und 5. Dimension ansprechen
Ich habe in meinem Studium zum ersten mal einen (ernsthaften) Berührungspunkt mit Informatik gehabt und dadurch bin ich noch beeindruckter von der technischen Leistung dieser KI und ehrlich gesagt, macht es einen schon nachdenklich, nicht nur im positiven Sinne, wie ihr ja auch erwähnt habt. Bin gespannt wie sich das Ganze weiter entwickeln wird.
Richtig nice Morpheus auf deinem Kanal zu sehen. Ich bin mit ihm aufgewachsen, weil ich schon seit ich 12 bin (jetzt fast 20) programmiere und joa Informatik allgemein begleitet mich schon eine Weile auf meinem Bildungsweg und seine Videos waren immer hilfreich, um die ein oder andere Prüfung zu bestehen. Gerade wenn es sich um Themen dreht, die für mich einfach uninteressant sind oder waren. Hat sich mit Zeit natürlich gewandelt, mittlerweile finde ich OOP und die dazugehörige UML zum Beispiel richtig nice und werde es brauchen. Ich hab extra die Abkürzungen genommen damit Leute googlen oder ChapGPT fragen ;) Es hat Wert darüber Bescheid zu wissen. Dieser Mann hat jedenfalls ein unglaubliches breit gefächertes Wissen und es lohnt sich ihm zuzuhören.
Ich gebe mir normalerweise keine Podcasts, aber mit Morpheus, über ChatGPT konnte ich nicht nicht. Unfassbar tiefgründig und philosophisch, einfach genial!
An sich fand ich das Interview mega aber als einer, der aktiv in der Language Model Forschung arbeitet, muss ich doch eine kleine Kritik dalassen. Morpheus scheint zwar allgemein und vorallem sich im Bereich von Bildbasierten Netzwerken auszukennen, allerdings fand ich vorallem am Anfang die Antwort auf Tims Frage, wie das mit dem Trainieren und den Beziehungen von Worten zueinander funktioniert flach als „Blackbox“ schwach. In Wirklichkeit kann man sich das ähnlich wie bei Bildern vorstellen. Wo es dort die Pixel sind, so sind die kleinsten Einheiten in der Sprache die Buchstaben. Jedes Wort kann als ein mathematischer mehrdimensionaler Vektor im Raum dargestellt werden und so haben zb Worte wie Katze und Maus auf der Meta-Ebene die Gemeinsamkeit beides Tiere zu sein, auch wenn von der Syntax her sie völlig unterschiedlich sind. Diese Gemeinsamkeiten und auch Unterschiede lassen sich in den Komponenten des Vektors codieren, sodass zb diese beiden Worte im Raum ähnliche Positionen aufgrund sich ähnelnder Vektordarstellungen hätten. Nun kann genau diese Vektordarstellung für alle Worte eines Vokabulars durch ein neuronales Netz trainiert werden. Mit diesem Wissen gelingt es nun auch, ein wenig eine genauere Vorstellung eines solchen Language Models zu erhalten. Die Beziehungen der Worte untereinander in einem Satz können sozusagen mithilfe der Vektordarstellungen mathematisch verstanden und vom Netzwerk gelernt werden. Genauso ist es fähig einen angefangen Satz sinnvoll zuende zu führen und zwar indem jedem Wort und damit auch zusammengesetzt jedem Satz eine Wahrscheinlichkeit zugeordnet wird. Da man Worte mit Vektoren und damit letztenendes mit Zahlen kodieren kann, lässt sich ihnen auch eine Wahrscheinlichkeitsverteilung zuordnen.
@@shitshow2061 das ist aber was das neural network und in diesem Fall large Language Model in Wirklichkeit lernt aus den Trainingsdaten. Bei Bildnetzwerken sind es die Beziehungen von Pixeln zueinander bis hin zu Objekten in Bildern, bei Language Models sind es die Beziehungen von Buchstaben zu Worten und deren Beziehung zueinander, die das Netzwerk lernt.
Kleine Kritik an dich Tim: Finde, du solltest öfters versuchen, dir deine Anschlussfragen aufzusparen und deinen Gast aussprechen zu lassen (17:22). Ansonsten natürlich sehr guter Podcast mit sehr interessantem Thema.
Ohne dem lieben Cedric zu nahe treten zu wollen, aber er ist sicher kein "ChatGPT-Experte". Das wäre jemand, der aktiv im Bereich von Large Language Models forscht.
Wenn ihr in der Thematik drinne seid, mag das für euch vllt suboptimal sein. Für mich als Informatik fremder, hat er die Thematik 1 A, verständlich wiedergeben. Durch das Viedeo konnte ich mich das erstemal ein wenig dafür begeistern. Danke dafür Morpheus
An sich fand ich das Interview mega aber als einer, der aktiv in der Language Model Forschung arbeitet, muss ich doch eine kleine Kritik dalassen. Morpheus scheint zwar allgemein und vorallem sich im Bereich von Bildbasierten Netzwerken auszukennen, allerdings fand ich vorallem am Anfang die Antwort auf Tims Frage, wie das mit dem Trainieren und den Beziehungen von Worten zueinander funktioniert flach als „Blackbox“ schwach. In Wirklichkeit kann man sich das ähnlich wie bei Bildern vorstellen. Wo es dort die Pixel sind, so sind die kleinsten Einheiten in der Sprache die Buchstaben. Jedes Wort kann als ein mathematischer mehrdimensionaler Vektor im Raum dargestellt werden und so haben zb Worte wie Katze und Maus auf der Meta-Ebene die Gemeinsamkeit beides Tiere zu sein, auch wenn von der Syntax her sie völlig unterschiedlich sind. Diese Gemeinsamkeiten und auch Unterschiede lassen sich in den Komponenten des Vektors codieren, sodass zb diese beiden Worte im Raum ähnliche Positionen aufgrund sich ähnelnder Vektordarstellungen hätten. Nun kann genau diese Vektordarstellung für alle Worte eines Vokabulars durch ein neuronales Netz trainiert werden. Mit diesem Wissen gelingt es nun auch, ein wenig eine genauere Vorstellung eines solchen Language Models zu erhalten. Die Beziehungen der Worte untereinander in einem Satz können sozusagen mithilfe der Vektordarstellungen mathematisch verstanden und vom Netzwerk gelernt werden. Genauso ist es fähig einen angefangen Satz sinnvoll zuende zu führen.
Schön den lieben Cedric hier zu sehen! - Morpheus hat mich durch seine Videos vor vielen Jahren in die Informatik geführt. Letzendlich habe ich durch ihn meine Karriere in der IT-Gestartet und das bisher sehr erfolgreich :D^^
Tim, merk dir manchmal auch einfach nur zuzuhören. Zuhören, Reden. Ab und zu etwas dringlich unterbrochen. Hab das selbe Problem sehr lange. Solangsam höre ich aufmerksamer zu und Bündel meine Fragen in der Zeit.
Guten abend zusammen . Ich wollte eigentlich noch schnell abendessen machen , aber ich schaue gerade dieses Video . Zufall das ich dieses Video gefunden habe . Ich glaube ich komme erst in 2 Stunden und 8 Minuten erst dazu 🙂etwas zu essen Informativ , Interessant und Magenknurren 🙂 18 Minuten Video angesehen und ich habe schon Kopfschmerzen , aber immer noch sehr Interessant .
Ich hab immer mit dem programmieren angefangen und verstehe die Konzepte dahinter, jedoch hatte ich nie das durchhalte vermögen eine Sprache zu „meistern“ und da hilft mir Chat-GPT extrem, da man für Probleme, für die man teilweise Stunden recherchiert, hat problemlos innerhalb von ein paar Minuten die Lösung findet, für mich fühlt sich programmieren dadurch wie Lego bauen an. So wie Morpheus gesagt hat, fragst du nach Funktionen, die du haben möchtest und verbindest die dann zu einem fertigen Produkt.
ey. ich hatte so viele gedankliche Durchbrüche in diesem Video. ich habe gerade alle Antworten auf alle Fragen visuell vor mir gesehen. und irgendwie ist in mir sogar eher Hoffnung für die Menschheit entstanden als Angst. gerade der Teil 'KI selbst programmieren' hat alle Ressourcen meines Arbeitsspeichert gleichzeitig aktiviert. könnte sein das ich gerade einen neuen Bewusstseinszustand freigeschaltet habe. brutal gutes Gespräch
Ich warte noch auf personalisierte Netflix-Serien. So nach dem Motto: „Die letzte Staffel HIMYM hat mir nicht gefallen, bitte generiere mir ein realistisch aussehendes alternatives Ende mit ähnlichem Humor wie im Rest der Serie.“
1:18:30 Musst ja nur eine der speech-to-text apis nutzen und chatgpt damit füttern. Die Ausgabe von ChatGpt wiederum text-to-speech. Das ganze packt man in den Rahmen einer App (Erstmal Android) welche dauerzugriff auf die Mikrofoneingabe hat, machst vielleicht noch die Aktivierung durch das gesagte (Aber bitte etwas cleverer wie Siri und Alexa es machen mit "Hey Siri", sodass man vielleicht Die Kommunikation mit Chatgpt aktiv beenden muss oder so. Also irgendwas zwischen dauer-on und ständig "Hey Siri" sagen), und schon hast du deinen Chatgpt Buddy mit dem du dich per Sprache überall unterhalten kannst. Ziemlich straightforward und relativ easy umzusetzen. Von so einem "Buddy" im Ohr träum ich tatsächlich schon seit etwa 15 Jahren. Wenn es sowas tatsächlich noch nicht gibt, wovon ich ausgegangen bin, würde ich da mitwirken wollen.
Zum Thema mehrdimensionale Matrix 2:01:24 könnte man auch einfach sagen, dass dies einfach eine Familie ist, wobei eine Familie einfach einer Indexmenge z.B 1,...,n einen Wert zuordnet, d.h. (x_1,...,x_n), was einfach Zahlen sind (in einem Tupel). Präziser: Für Mehrdimensionalität muss dann n mindestens 2 sein. Für eine Matrix ist es dann praktischer die Indexmenge als Tupel (i,j) zu wählen, mit i,j natürliche Zahlen und 1
als masterand der grade im bereich KI und neuroscience seine thesis schreibt kann ich eins sagen: viele gute gedanken, aber wäre für ein paar einwürfe gern an der ein oder anderen stelle gern teil des gesprächs gewesen :D
Ab 1:37 rotiert einfach jeder Physiker im Kreis. Also die Aussagen zum Chaos stimmen tendenziell und man kann auch beweisen, dass man keine Funktion finden kann, die gewisse chaotische Systeme beschreibt. Im Rahmen der klassischen Physik ist jedoch dennoch durch Phasentrajektorien im Phasenraum das System vollständig deterministisch. Probleme bereiten hierbei nur die grundlegenden Prinzipien der Quantenmechanik, die jede Form der Deterministik über den Haufen geworden hat. Das hat dann aber nichts mehr direkt mit Chaos zu tun.
Ein echt interessanter Typ, aber ich hätte mich zu dem Thema über einen echten KI Experten gefreut (Richard Socher z.B.). Als jemand vom Fach merkt man einfach, dass er kein Experte in dem Gebiet ist und die Dinge nicht wirklich gut erklären kann. Er ist halt eher ein User. Wäre ultra cool, wenn so ein Podcast noch kommt!!
Schade, dass hier auf die Grundessenz von Natural Language Processing Neural Networks nicht wirklich eingegangen wird. Da gibt Tim schon so eine belesene Steilvorlage mit dem Stichwort 'Aufmerksamkeit' dazu hätte man im Bezug zu ChatGPT so viel sagen können. Das Modell besteht nämlich aus sogennanten 'Transformer', diese wurden in einem genialen (und kostenlso erhältlichen) Paper namens 'Attention is all you need' von Vaswani et al. vorgestellt. Im Grunde geht es bei solchen Modellen darum den Attention Mechanismus auszunutzen, indem Tokens, oder einfachheitshalber (wenn nicht ganz akkurat) Worte der Eingabe in Bezug zueinander gesetzt werden, mit anderen Worten: hier wird pro Eingabewert die Höhe der Aufmerksamkeit des Netzes berechnet, die es auf die restlichen Worte der Eingabe lenken soll. Beispiel: Eingabe: "Wie viel Worte hat dieser Satz?" Das Wort 'Wie' braucht eine starke Aufmerksamkeit für 'viel' und 'Worte' eine viel kleinere für 'dieser'. Damit entsteht ein gewisser Kontext der Eingabe für das Netz. Das selbe Prinzip kann man dann auf die Ausgabe anwenden. Ein weiterer genialer Teil von NLP Modells (also auch Chat GPT) ist das Embedding. Hier wird jedem Wort eine Zahl zugeordnet (eig. Vektoren) mit denen dem Modell Relationen beigebracht wird. Ganz einfach gesprochen, z.B.: "Königin - Frau = König", sodass durch Zahlen Verhältnisse zwischen Worten ausgedrückt werden können.
Echt geiler Podcast, richtig spannender Gast! Lad doch mal nen wirklichen Experten zum Thema Bitcoin ein. Z.b. Blocktrainer, Joe Martin, oder Jungs von diversen Podcasts wie Nodesignal oder Einundzwanzig. Wäre sau nice
Vielen Dank für die Einladung und das spannende Thema 😊
Noch rote Pillen?
da ist ja der ChatGPT Experte xD
Lass uns den Sprachassistenten bauen.
Sehr sympathisch, geerdet und unterhaltsam, weil man merkt, dass ihr richtig Freude, Ideen und Interesse an dem Gespräch habt.
Ist mir lieber als Lanz und anstrengende, polarisierende Formate, wo es nur noch darum geht, seine Machtposition zu profilieren und den anderen dumm darzustellen. Ihr zeigt wie es ohne dem Konzept Macht geht, das authentisch auf kommunikativer und damit sozialer Ebene viel interessanter und konstruktiver wirkt.
Meist entwickeln sich neue Kooperationen und Projekte daraus.
🖖Lebe[t] lang und in Frieden
Sedrick ist echt ein toller Typ. Er hat so viel Wissen und bringt Mehrwehrt ohne Ende für RUclips und trotzdem down to earth. Hoffe er kommt wieder in den Podcast. :-)
Morpheus hat mich durchs ganze Studium durch seine Videos begleitet
Sehr nice ihn hier zu sehen
hast du nun nen job?
@@oronzocana2950 als Informatiker schwer nicht einen Job zu bekommen 😂
Geht mir genau so 🙂
Bruder selbst mit 4.0 kriegst du einen Job 😂
Bald hat Tim ganz RUclips Deutschland durch. THE MORPHEUS cooler Typ.
Ich finde es super, wenn du deine Gäste am Anfang kurz vorstellst und damit auch kurz den Werdegang und das Wirken erläuterst. Das gibt ihnen direkt mehr Sicherheit und Kredibilität. Das eigene Vorstellen wirkt immer etwas unsicher auf mich.
Ich finde es sehr beeindruckend, wie Tim das Gesagte von Cedric sofort aufnehmen kann und auch noch weitere Informationen zu bestimmten Themen hinzufügen kann, obwohl das nicht sein Fachgebiet ist.
Das wundert mich immer wieder, hat was von nem Universalgelehrten
Hat ihn bestimmt eingeladen, weil er sowieso schon Interesse an dem Gebiet hatte
Nennt sich Halbwissen
Ach ja, ich habe Herrn Morpheus's Tutorials zu verdanken, dass ich Fuß fassen konnte in der Informatik, und dafür bin ich ihm ewig dankbar
Morpheus absoluter Ehrenmann. Hab in den letzten Jahren immer wieder Videos von ihm gesehen, aufgrund meines Studiums. Find ich gut dass er jetzt hier diese Plattform bekommt 👍🏻
Hey Tim, Respekt, ich bin immer wieder überrascht, was für ein breites und gleichzeitig tiefes Wissen Du zu verschiedenen Gebieten aufgebaut hast. Deine Nachfragen und Analogien zum Thema waren so gut.
Fand ich überhaupt nicht 😂
Neben Morpheus wirkt er relativ primitiv.
Bitte hör nie auf diese Podcasts zu bringen!
Den Podcast habe ich nicht kommen sehen, fühl und feier ich zu 100 %
Morpheus wirkt wirklich sehr sympathisch! Und sein Wissen, bzw. auch die Antworten die er gibt sind sehr beeindruckend!
Ich studiere Künstliche Intelligenz, daher für mich der beste Podcast von Tim! Macht Spaß wie Cedric einer Laie KI erklärt!!:) Tim hat auch richtig gute Fragen gestellt.
Danke, freut mich!!
Ich wusste gar nicht, dass man das studieren kann, wie nice! Wie heißt das Studium?
@@katyastrofe Künstliche Intelligenz
@@katyastrofe Bei uns (Hochschule Offenburg) gibts das auch, nennt sich "Angewandte Künstliche Intelligenz" :)
Tim und Morpheus, echt eine starke Folge! Weiter so Tim!
P.S. Ab jetzt öffnet keiner mehr eine Bewerbungsmail von einem "Cedric" (Morpheus) 😂
Hoffentlich nur noch mit Checks bzw in einer sicheren Umgebung 😅
So ein guter Gast! :D Vielen Dank für den Podcast und cool, dass du dich in solchen Themen weiterbildest. Man muss man sich auch erstmal trauen dann so ein Gespräch einzugehen. So verlässt man die Komfortzone! :))
Zu 15:00, die Ausgabe kommt tatsächlich Wort-für-Wort, weil die Ausgabe von GPT iterativ funktioniert. Es nimmt immer die vorherige Ausgabe und versucht nur das nächste Wort auf Grundlage der bisherigen Worte vorherzusagen. Man kann es sich so vorstellen: Die Eingabe wird enkodiert über diese verschiedenen Schichten, die Morpheus beschreibt, das geht recht fix mit genug Grafikkarten. Eine komprimierte Darstellung der Eingabe wird dann in den Dekodierer gegeben, der dann das erste Worte "ratet". Tatsächlich probiert er jedes möglich Wort aus, dass es nur geben kann ("samplen") und schaut, was am wahrscheinlichsten ist bzw. am ehesten passt. Dann nimmt er wieder deine Eingabe UND die eben erstellte Ausgabe und probiert das nächste Wort aus usw.
Ich kannte Cedric vorher noch nicht und ich bin EXTREM begeistert! Ich wünsche mir definitiv einen zweiten Teil! War extrem geil und spannend zuzuhören!
Tolles Interview danke dass du Morpheus vorbeigebracht hast! Und gerne mehr Videos mit ihm :))
Geil Tim + Cedric was eine coole Kombi 😀
Ich habe original noch nie bei einer 2 Stunden Folge von überhaupt irgendetwas so aufmerksam zugehört und war fasziniert wie jetzt bei dieser Folge :O Ich finde es wirklich sehr sehr interessant das ganze Thema und will so wie viele Andere auch, sehr viel Mehrwert mitnehmen auf den ganzen neutralen Systemen, nur weiss ich nicht wo ich anfangen soll damit. :D sehr interessantes Thema wäre auch: 4 und 5. Dimension ansprechen
Wirklich ein geiler Podcast geworden! Teil 2 muss definitiv folgen!
Ich habe in meinem Studium zum ersten mal einen (ernsthaften) Berührungspunkt mit Informatik gehabt und dadurch bin ich noch beeindruckter von der technischen Leistung dieser KI und ehrlich gesagt, macht es einen schon nachdenklich, nicht nur im positiven Sinne, wie ihr ja auch erwähnt habt. Bin gespannt wie sich das Ganze weiter entwickeln wird.
Richtig nice Morpheus auf deinem Kanal zu sehen. Ich bin mit ihm aufgewachsen, weil ich schon seit ich 12 bin (jetzt fast 20) programmiere und joa Informatik allgemein begleitet mich schon eine Weile auf meinem Bildungsweg und seine Videos waren immer hilfreich, um die ein oder andere Prüfung zu bestehen. Gerade wenn es sich um Themen dreht, die für mich einfach uninteressant sind oder waren. Hat sich mit Zeit natürlich gewandelt, mittlerweile finde ich OOP und die dazugehörige UML zum Beispiel richtig nice und werde es brauchen. Ich hab extra die Abkürzungen genommen damit Leute googlen oder ChapGPT fragen ;) Es hat Wert darüber Bescheid zu wissen. Dieser Mann hat jedenfalls ein unglaubliches breit gefächertes Wissen und es lohnt sich ihm zuzuhören.
Morpheus ist mein Internet IT Berater und Professor für Software :D. Der Podcast war einfach geil!
sehr interessantes Gespräch. Vielen Dank Tim
Ich habe noch nie so einen langen Podcast am Stück durch gehört. Mega spannend!
wie geil Tim so nice das du Morpheus in den Podcast geholt hast sehr wichtig! Schön das es wieder los geht
*dass
Ich gebe mir normalerweise keine Podcasts, aber mit Morpheus, über ChatGPT konnte ich nicht nicht. Unfassbar tiefgründig und philosophisch, einfach genial!
An sich fand ich das Interview mega aber als einer, der aktiv in der Language Model Forschung arbeitet, muss ich doch eine kleine Kritik dalassen. Morpheus scheint zwar allgemein und vorallem sich im Bereich von Bildbasierten Netzwerken auszukennen, allerdings fand ich vorallem am Anfang die Antwort auf Tims Frage, wie das mit dem Trainieren und den Beziehungen von Worten zueinander funktioniert flach als „Blackbox“ schwach.
In Wirklichkeit kann man sich das ähnlich wie bei Bildern vorstellen. Wo es dort die Pixel sind, so sind die kleinsten Einheiten in der Sprache die Buchstaben. Jedes Wort kann als ein mathematischer mehrdimensionaler Vektor im Raum dargestellt werden und so haben zb Worte wie Katze und Maus auf der Meta-Ebene die Gemeinsamkeit beides Tiere zu sein, auch wenn von der Syntax her sie völlig unterschiedlich sind. Diese Gemeinsamkeiten und auch Unterschiede lassen sich in den Komponenten des Vektors codieren, sodass zb diese beiden Worte im Raum ähnliche Positionen aufgrund sich ähnelnder Vektordarstellungen hätten. Nun kann genau diese Vektordarstellung für alle Worte eines Vokabulars durch ein neuronales Netz trainiert werden. Mit diesem Wissen gelingt es nun auch, ein wenig eine genauere Vorstellung eines solchen Language Models zu erhalten. Die Beziehungen der Worte untereinander in einem Satz können sozusagen mithilfe der Vektordarstellungen mathematisch verstanden und vom Netzwerk gelernt werden. Genauso ist es fähig einen angefangen Satz sinnvoll zuende zu führen und zwar indem jedem Wort und damit auch zusammengesetzt jedem Satz eine Wahrscheinlichkeit zugeordnet wird. Da man Worte mit Vektoren und damit letztenendes mit Zahlen kodieren kann, lässt sich ihnen auch eine Wahrscheinlichkeitsverteilung zuordnen.
Das ist ja komplett aufwendig wenn ich das jetzt richtig verstanden hab
@@shitshow2061 das ist aber was das neural network und in diesem Fall large Language Model in Wirklichkeit lernt aus den Trainingsdaten. Bei Bildnetzwerken sind es die Beziehungen von Pixeln zueinander bis hin zu Objekten in Bildern, bei Language Models sind es die Beziehungen von Buchstaben zu Worten und deren Beziehung zueinander, die das Netzwerk lernt.
Kleine Kritik an dich Tim: Finde, du solltest öfters versuchen, dir deine Anschlussfragen aufzusparen und deinen Gast aussprechen zu lassen (17:22). Ansonsten natürlich sehr guter Podcast mit sehr interessantem Thema.
Super spanneder Talk mit 10/10 Gast und 10/10 Thema!
Kuss geht raus an Morpheus abi. Ehrenmann.
Mega nice mit Cedric, schaue ihn schon echt lange mega nice
Diese kombos zurzeit, so nice
Mit Morpheus hätte ich echt nicht gerechnet, aber absolut passender Gast!
Ohne dem lieben Cedric zu nahe treten zu wollen, aber er ist sicher kein "ChatGPT-Experte". Das wäre jemand, der aktiv im Bereich von Large Language Models forscht.
Das ist wohl wahr. Ich arbeite zwar mit KI, aber nicht als Entwickler für ChatGPT
Hat mich ebenfalls sehr gestört. Ich fühle mich bei sowas direkt clickgebaited.
Wenn ihr in der Thematik drinne seid, mag das für euch vllt suboptimal sein. Für mich als Informatik fremder, hat er die Thematik 1 A, verständlich wiedergeben. Durch das Viedeo konnte ich mich das erstemal ein wenig dafür begeistern. Danke dafür Morpheus
@@walberberg72h85 Das sollte auch nur als nette Kritik gemeint sein. Ich fand das Video auch gut :)
An sich fand ich das Interview mega aber als einer, der aktiv in der Language Model Forschung arbeitet, muss ich doch eine kleine Kritik dalassen. Morpheus scheint zwar allgemein und vorallem sich im Bereich von Bildbasierten Netzwerken auszukennen, allerdings fand ich vorallem am Anfang die Antwort auf Tims Frage, wie das mit dem Trainieren und den Beziehungen von Worten zueinander funktioniert flach als „Blackbox“ schwach.
In Wirklichkeit kann man sich das ähnlich wie bei Bildern vorstellen. Wo es dort die Pixel sind, so sind die kleinsten Einheiten in der Sprache die Buchstaben. Jedes Wort kann als ein mathematischer mehrdimensionaler Vektor im Raum dargestellt werden und so haben zb Worte wie Katze und Maus auf der Meta-Ebene die Gemeinsamkeit beides Tiere zu sein, auch wenn von der Syntax her sie völlig unterschiedlich sind. Diese Gemeinsamkeiten und auch Unterschiede lassen sich in den Komponenten des Vektors codieren, sodass zb diese beiden Worte im Raum ähnliche Positionen aufgrund sich ähnelnder Vektordarstellungen hätten. Nun kann genau diese Vektordarstellung für alle Worte eines Vokabulars durch ein neuronales Netz trainiert werden. Mit diesem Wissen gelingt es nun auch, ein wenig eine genauere Vorstellung eines solchen Language Models zu erhalten. Die Beziehungen der Worte untereinander in einem Satz können sozusagen mithilfe der Vektordarstellungen mathematisch verstanden und vom Netzwerk gelernt werden. Genauso ist es fähig einen angefangen Satz sinnvoll zuende zu führen.
Cedric cooler Typ!
Niemals gedacht dass Morpheus dort mal sitzen wird! Sehr gespannt
Tim das war ne geile Idee mit Cedric. Danke!
das ist der beste Podcast überhaupt.
Der Content ist auf einem anderen Level.
PS: Karma ist das selbe wie Rückgabewert.
Richtig interessantes Interview!
Morpheus bester Mann
Schön den lieben Cedric hier zu sehen! - Morpheus hat mich durch seine Videos vor vielen Jahren in die Informatik geführt.
Letzendlich habe ich durch ihn meine Karriere in der IT-Gestartet und das bisher sehr erfolgreich :D^^
Also der Gast wieder absolut top.
Krasser vibe zwischen den beiden
Unfassbare Podcasts von dir und immer wieder neue Gäste die zumindest ich oft noch nicht kannte
Sehr nice zu hören, danke!
Yoooooo. Absolut geiler Typ. Diese ganzen Kurse etc. Das was er macht. Das nenne ich mal Disziplin. Geiler typ. Feier ich!
Unerwartet Morpheus hier mal zu sehen aber sehr geil!
Für mich auch 😂👍 aber beides
Morpheus ist einfach einer der Besten. Ich höre ihn in meiner Freizeit und zum weiterbilden und bin mega zufrieden
Super interview. Danke.
Cool wäre einen weiteren Experten zu diesem Thema einzuladen
Tim, merk dir manchmal auch einfach nur zuzuhören. Zuhören, Reden. Ab und zu etwas dringlich unterbrochen. Hab das selbe Problem sehr lange. Solangsam höre ich aufmerksamer zu und Bündel meine Fragen in der Zeit.
Guten abend zusammen .
Ich wollte eigentlich noch schnell abendessen machen , aber ich schaue gerade dieses Video .
Zufall das ich dieses Video gefunden habe .
Ich glaube ich komme erst in 2 Stunden und 8 Minuten erst dazu 🙂etwas zu essen
Informativ , Interessant und Magenknurren 🙂
18 Minuten Video angesehen und ich habe schon Kopfschmerzen , aber immer noch sehr Interessant .
SAU INTERESSANT, mega viele neue Sachen gelernt und ich bin erst bei minute 20 !
oh fuck das ist richtig geil das du einen Podcast mit Morpheus machst, das höre ich mir später beim Coden an!
Ich hab immer mit dem programmieren angefangen und verstehe die Konzepte dahinter, jedoch hatte ich nie das durchhalte vermögen eine Sprache zu „meistern“ und da hilft mir Chat-GPT extrem, da man für Probleme, für die man teilweise Stunden recherchiert, hat problemlos innerhalb von ein paar Minuten die Lösung findet, für mich fühlt sich programmieren dadurch wie Lego bauen an. So wie Morpheus gesagt hat, fragst du nach Funktionen, die du haben möchtest und verbindest die dann zu einem fertigen Produkt.
Einer der wichtigsten RUclipsr in Deutschland ⚡⚡⚡
Diese Folge war unglaublich gut. Vielen Dank
ey. ich hatte so viele gedankliche Durchbrüche in diesem Video. ich habe gerade alle Antworten auf alle Fragen visuell vor mir gesehen. und irgendwie ist in mir sogar eher Hoffnung für die Menschheit entstanden als Angst. gerade der Teil 'KI selbst programmieren' hat alle Ressourcen meines Arbeitsspeichert gleichzeitig aktiviert. könnte sein das ich gerade einen neuen Bewusstseinszustand freigeschaltet habe. brutal gutes Gespräch
Warst du parallel auf LSD ? 😅
One hell of a drug!!
ach Leute. wer LSD braucht hat keine Phantasie. einfach etwas mit Humor nehmen. das reicht schon
Morpheus ist super! Top Content! Best of the Best!
Na also geht doch,
endlich mal ein neuer interessanter Podcast!
Boah war das ein richtig gutes Video! Danke dafür.
Einfach krass!!! Gerne mehr!
Super Informativer Podcast. Top! 💪
Mega starkes Video, habes es in 2 Etappen geschaut. Aufjedefall sehr informativ und eine weiter Empfehlung wert. 👌
Wow, einfach nur Danke für den ganzen Input!
Das war ein sehr sehr interessanter Podcast. Vielen Dank!
Der Ehrenmann, einfach immer auf RUclips sein Tutorial satt der Vorlesung gönnen
Sehr interessant, vielen Dank.
Kann gar nicht in Worte fassen, wie interessant ich das fand.
Mit: "faszinierend" 🖖
@@Trinity-rt6mk stimmt 😂
THE MORPHEUS, der Retter in der Not.
😘
Echt spannender Talk. Bitte mehr über KI, ChatGPT und alles in die Richtung
Wahnsinns Video! Selten so gefesselt gewesen..
unbedingt so schnell wie möglich eine weitere folge mit ihm
Bitte mehr mit Cedric!
Ich warte noch auf personalisierte Netflix-Serien. So nach dem Motto: „Die letzte Staffel HIMYM hat mir nicht gefallen, bitte generiere mir ein realistisch aussehendes alternatives Ende mit ähnlichem Humor wie im Rest der Serie.“
Absolut krasser Gast
1:18:30 Musst ja nur eine der speech-to-text apis nutzen und chatgpt damit füttern. Die Ausgabe von ChatGpt wiederum text-to-speech. Das ganze packt man in den Rahmen einer App (Erstmal Android) welche dauerzugriff auf die Mikrofoneingabe hat, machst vielleicht noch die Aktivierung durch das gesagte (Aber bitte etwas cleverer wie Siri und Alexa es machen mit "Hey Siri", sodass man vielleicht Die Kommunikation mit Chatgpt aktiv beenden muss oder so. Also irgendwas zwischen dauer-on und ständig "Hey Siri" sagen), und schon hast du deinen Chatgpt Buddy mit dem du dich per Sprache überall unterhalten kannst. Ziemlich straightforward und relativ easy umzusetzen. Von so einem "Buddy" im Ohr träum ich tatsächlich schon seit etwa 15 Jahren. Wenn es sowas tatsächlich noch nicht gibt, wovon ich ausgegangen bin, würde ich da mitwirken wollen.
Morpheus hat mir Python in einer Nacht beigebracht 👌
Zum Thema mehrdimensionale Matrix 2:01:24 könnte man auch einfach sagen, dass dies einfach eine Familie ist, wobei eine Familie einfach einer Indexmenge z.B 1,...,n einen Wert zuordnet, d.h. (x_1,...,x_n), was einfach Zahlen sind (in einem Tupel).
Präziser:
Für Mehrdimensionalität muss dann n mindestens 2 sein.
Für eine Matrix ist es dann praktischer die Indexmenge als Tupel (i,j) zu wählen, mit i,j natürliche Zahlen und 1
als masterand der grade im bereich KI und neuroscience seine thesis schreibt kann ich eins sagen: viele gute gedanken, aber wäre für ein paar einwürfe gern an der ein oder anderen stelle gern teil des gesprächs gewesen :D
Sehr interessant 👌
Mal wieder eine sehr nice Folge. Weiter so.
Super Folge mal wieder.
Einziger Kritikpunkt: das neue „Bühnenbild“ ist mir etwas zu dunkel/bedrückend. Auch wenn es in dem Fall gut zum Thema passt 😄
Diese Jacke von ihm ist so maximal Informatiker haha
Cooler Typ der Morpheus 👍🏼
Sehr sehr Informativ! Wirklich sehr Interessant
Ab 1:37 rotiert einfach jeder Physiker im Kreis. Also die Aussagen zum Chaos stimmen tendenziell und man kann auch beweisen, dass man keine Funktion finden kann, die gewisse chaotische Systeme beschreibt. Im Rahmen der klassischen Physik ist jedoch dennoch durch Phasentrajektorien im Phasenraum das System vollständig deterministisch. Probleme bereiten hierbei nur die grundlegenden Prinzipien der Quantenmechanik, die jede Form der Deterministik über den Haufen geworden hat. Das hat dann aber nichts mehr direkt mit Chaos zu tun.
Gutes Video Morpheus. Der Gast Part von Tim Gabel war auch ok
Das war die Bewerbung des "App-Entwicklers". ^^
Ein echt interessanter Typ, aber ich hätte mich zu dem Thema über einen echten KI Experten gefreut (Richard Socher z.B.). Als jemand vom Fach merkt man einfach, dass er kein Experte in dem Gebiet ist und die Dinge nicht wirklich gut erklären kann. Er ist halt eher ein User. Wäre ultra cool, wenn so ein Podcast noch kommt!!
Schade, dass hier auf die Grundessenz von Natural Language Processing Neural Networks nicht wirklich eingegangen wird. Da gibt Tim schon so eine belesene Steilvorlage mit dem Stichwort 'Aufmerksamkeit' dazu hätte man im Bezug zu ChatGPT so viel sagen können. Das Modell besteht nämlich aus sogennanten 'Transformer', diese wurden in einem genialen (und kostenlso erhältlichen) Paper namens 'Attention is all you need' von Vaswani et al. vorgestellt. Im Grunde geht es bei solchen Modellen darum den Attention Mechanismus auszunutzen, indem Tokens, oder einfachheitshalber (wenn nicht ganz akkurat) Worte der Eingabe in Bezug zueinander gesetzt werden, mit anderen Worten: hier wird pro Eingabewert die Höhe der Aufmerksamkeit des Netzes berechnet, die es auf die restlichen Worte der Eingabe lenken soll. Beispiel: Eingabe: "Wie viel Worte hat dieser Satz?" Das Wort 'Wie' braucht eine starke Aufmerksamkeit für 'viel' und 'Worte' eine viel kleinere für 'dieser'. Damit entsteht ein gewisser Kontext der Eingabe für das Netz. Das selbe Prinzip kann man dann auf die Ausgabe anwenden. Ein weiterer genialer Teil von NLP Modells (also auch Chat GPT) ist das Embedding. Hier wird jedem Wort eine Zahl zugeordnet (eig. Vektoren) mit denen dem Modell Relationen beigebracht wird. Ganz einfach gesprochen, z.B.: "Königin - Frau = König", sodass durch Zahlen Verhältnisse zwischen Worten ausgedrückt werden können.
Sehr cool, den Morpheus im Podcast zu haben 👏🏽
Bitte einen 2ten Teil
Ohne Morpheus kein Studium haha
Echt geiler Podcast, richtig spannender Gast!
Lad doch mal nen wirklichen Experten zum Thema Bitcoin ein. Z.b. Blocktrainer, Joe Martin, oder Jungs von diversen Podcasts wie Nodesignal oder Einundzwanzig. Wäre sau nice
Morpheus mein Begleiter in meiner Ausbildung als Anwendungsentwickler ❤ Küss deine Hand wenn ich dich mal sehe 😂
Ich sehe Morpheus ich drücke auf 👍
Wann Urs?🤩
Chat gbt ist soooo heftig. Sehr geiles Interview
Gpt broski
Alter! Geistes krank! Fuck sowas Interessantes noch nie gesehen und gehört!
Servus Tim,
mega interessantes Gespräch! Kannst du mal Niklas Steenfat zu deinem Podcast einladen? Ich würde mich echt mega freuen :)
Cedric hat mein Interesse für IT geweckt und mich dadurch maßgeblich geprägt.
Baba Podcast
gerade nen tutorial von ihm gesehen, youtube refreshed, podcast da