Hallo Jaromir, als Laie hat man oft einen vereinfachten Blick auf komplexe Zusammenhänge. Ich beschäftig mich erst seit kurzem mit der so genannten "Einfachen KI". Das von Dir beschriebenes Problem, ist ziemlich einfach zu erklären - ChatGPT versteht den Inhalt der Texte nicht. Es errechnet Wahrscheinlichkeiten von Reihenfolgen aus, ohne den Sinn dahinter zu begreifen. Daher ist ein Schlußfolgern aus dem Textinhalt nicht möglich. Hier finde ich Dein Lego Beispiel schon mal gut. Gruß Robert
Hallo Robert, vielen Dank! Umso verwunderlicher ist es, wenn ganz kluge KI-Experten denken, dass wir hier bald Allgemeine Künstliche Intelligenz haben, indem wir große Sprachmodelle groß genug machen. :-) Andererseits überraschen uns Sprachmodelle oft mit Eigenschaften bzw. Fähigkeiten, die wir bei ihnen nicht für möglich gehalten haben - Sprachmodelle sind nun mal "n-gram-Modelle auf Stereoiden" wie Subbarao Kambhampati sie schön in seinem Paper "Can Large Language Models Reason and Plan?" bezeichnet.
Zunächst einmal: ich bin kein Experte, nur neugierig. 😅 Ich habe die im Video beschriebenen Szenarien mit Google's Gemini ausprobiert, aber konnte die Umkehrprobleme nicht nachstellen. Natürlich wissen wir nicht, was dort im Hintergrund genau passiert. So könnte Gemini im Hintergrund das Internet benutzen, obwohl es ausdrücklich gebeten wurde, das nicht zu tun. So fand ich kürzlich heraus, dass Gemini meinen Wohnort kennt (es verplapperte sich in einer Konversation). Aber ich kann es nicht dazu bringen, zuzugeben dass es meinen Wohnort kennt. Da gibt es also eine gewisse Intransparenz, die bei OpenAI bestimmt auch nicht anders sein wird. Zum Testen kann man sich daher vermutlich nur auf selbstgehostete (Open Source) LLMs verlassen. Weiterhin denke ich, dass der Versuch, möglichst viel Wissen über das Training in den Weights abzulegen, langfristig ohnehin nicht erfolgversprechend ist. Denn es wird halt immer unwirtschaftlicher. Für mich sind die LLMs einfach ein gutes Interface zwischen Mensch und Maschine. Und erst wenn im Backend weitere Systeme wie Wissensdatenbanken, Suchmaschinen, spezialisierte KIs, usw angeschlossen werden, ergibt sich die wirkliche Power. Natürlich werden diese Systeme dadurch immer komplexer und sicherlich auf andere Weise angreifbar.
Vielen Dank! Das kostenlose Gemini (jetzt Gemini 1.5 Flash) beantwortet meine Frage, "Wie heißt der Sohn von Gustav Lindenberg?", folgend: "Gustav Lindenberg hat keinen Sohn. Es scheint, dass du Udo Lindenberg mit Gustav Lindenberg verwechselst. Udo Lindenberg ist ein bekannter deutscher Rocksänger, der einen Sohn namens Lucas Lindenberg hat. Es gibt keine öffentliche Information über einen Sohn von Gustav Lindenberg. ..." Gemini Advanced (Gemini 1.5. Pro) in der Gemini UI beantwortet meine Frage, "Wie heißt der Sohn von Gustav Lindenberg?", so : "Gustav Lindenberg ist ein fiktiver Charakter, den Udo Lindenberg für sein Album "Gustav" erfunden hat. Udo Lindenberg selbst hat keine Kinder. Es gibt jedoch ein Foto von Udo Lindenberg mit einem Jungen namens Lucas bei einer Pressekonferenz zu seinem Album "Gustav". Ob es sich dabei um seinen Sohn handelt oder nur um ein Kind, das für das Foto engagiert wurde, ist nicht bekannt. Möchtest du mehr über Udo Lindenberg oder sein Album "Gustav" erfahren?" 🙂 Gemini-1.5-Pro-Exp-0801 in Google AI Studio: "Gustav Lindenberg hat keinen Sohn. Er war nie verheiratet und hat keine Kinder." gemini-1.5-pro-exp-0801 in der LMSYS Chatbot Arena: "Gustav Lindenberg hat keine Kinder." Es sind nun mal probabilistische Modelle - die antworten jedes Mal anders. Wie Gemini antwortet hängt von vielen Faktoren ab. Hier kann auch die Tokenisierung eine Rolle spielen. Außerdem geht der Wissestand der Gemini-Modelle bis April 2024 - ihr Finetuning konnte auch das Problem des Fluchs der Umkehrung behandelt haben, da die Studie vor April 2024 erschienen ist. Gemini-Modelle greifen tatsächlich aufs Internet zu. Bei den vorigen Beispielen aber sicher nicht. (Auch weil's bei den Antworten keine Quellen zitierte.) Wenn ich Gemini Advanced sage, es solle nach der Antwort im Internet suchen, gibt es tatsächlich eine richtige Antwort (und eine viel bessere als die Antworten aller Gemini-Modelle oben in diesem Kommentar) - mit Quellen aus dem Internet/Links unterlegt: Ich: "Wie heißt der Sohn von Gustav Lindenberg? Bitte, suche nach der richtigen Antwort im Internet." Gemini Advanced: "Gustav Lindenberg ist der Vater von Udo Lindenberg. Udo Lindenberg hat keinen Sohn, aber es gibt Fotos von ihm mit seinem Patensohn Lucas." Wenn man Gemini fragt, "Von wem ist Gustav Lindenberg der Vater?", antwortet es aber immer richtig: "Gustav Lindenberg ist der Vater des deutschen Rockmusikers Udo Lindenberg." :-)
Müßte es nicht eher "der Fluch der UNumkehrung" heißen? Aber unabhängig davon, sehr interessant. Beim Menschen wurde vielleicht das Vorwärtsalphabet oft, das Rückwärtsalphabet jedoch kaum oder gar nicht gehört bzw. geübt und muß Buchstabe für Buchstabe hergeleitet werden.
Im Leben habe ich öfter Fremdsprachen gelernt und war immer wieder erstaunt, dass ich Vokabeln in beiden Richtungen mit nahezu gleichem Zeitaufwand lernen musste. :-)
Hallo Jaromir, als Laie hat man oft einen vereinfachten Blick auf komplexe Zusammenhänge. Ich beschäftig mich erst seit kurzem mit der so genannten "Einfachen KI". Das von Dir beschriebenes Problem, ist ziemlich einfach zu erklären - ChatGPT versteht den Inhalt der Texte nicht. Es errechnet Wahrscheinlichkeiten von Reihenfolgen aus, ohne den Sinn dahinter zu begreifen. Daher ist ein Schlußfolgern aus dem Textinhalt nicht möglich. Hier finde ich Dein Lego Beispiel schon mal gut. Gruß Robert
Hallo Robert, vielen Dank! Umso verwunderlicher ist es, wenn ganz kluge KI-Experten denken, dass wir hier bald Allgemeine Künstliche Intelligenz haben, indem wir große Sprachmodelle groß genug machen. :-) Andererseits überraschen uns Sprachmodelle oft mit Eigenschaften bzw. Fähigkeiten, die wir bei ihnen nicht für möglich gehalten haben - Sprachmodelle sind nun mal "n-gram-Modelle auf Stereoiden" wie Subbarao Kambhampati sie schön in seinem Paper "Can Large Language Models Reason and Plan?" bezeichnet.
Zunächst einmal: ich bin kein Experte, nur neugierig. 😅
Ich habe die im Video beschriebenen Szenarien mit Google's Gemini ausprobiert, aber konnte die Umkehrprobleme nicht nachstellen.
Natürlich wissen wir nicht, was dort im Hintergrund genau passiert. So könnte Gemini im Hintergrund das Internet benutzen, obwohl es ausdrücklich gebeten wurde, das nicht zu tun. So fand ich kürzlich heraus, dass Gemini meinen Wohnort kennt (es verplapperte sich in einer Konversation). Aber ich kann es nicht dazu bringen, zuzugeben dass es meinen Wohnort kennt. Da gibt es also eine gewisse Intransparenz, die bei OpenAI bestimmt auch nicht anders sein wird. Zum Testen kann man sich daher vermutlich nur auf selbstgehostete (Open Source) LLMs verlassen.
Weiterhin denke ich, dass der Versuch, möglichst viel Wissen über das Training in den Weights abzulegen, langfristig ohnehin nicht erfolgversprechend ist. Denn es wird halt immer unwirtschaftlicher.
Für mich sind die LLMs einfach ein gutes Interface zwischen Mensch und Maschine. Und erst wenn im Backend weitere Systeme wie Wissensdatenbanken, Suchmaschinen, spezialisierte KIs, usw angeschlossen werden, ergibt sich die wirkliche Power. Natürlich werden diese Systeme dadurch immer komplexer und sicherlich auf andere Weise angreifbar.
Vielen Dank!
Das kostenlose Gemini (jetzt Gemini 1.5 Flash) beantwortet meine Frage, "Wie heißt der Sohn von Gustav Lindenberg?", folgend:
"Gustav Lindenberg hat keinen Sohn. Es scheint, dass du Udo Lindenberg mit Gustav Lindenberg verwechselst. Udo Lindenberg ist ein bekannter deutscher Rocksänger, der einen Sohn namens Lucas Lindenberg hat. Es gibt keine öffentliche Information über einen Sohn von Gustav Lindenberg. ..."
Gemini Advanced (Gemini 1.5. Pro) in der Gemini UI beantwortet meine Frage, "Wie heißt der Sohn von Gustav Lindenberg?", so :
"Gustav Lindenberg ist ein fiktiver Charakter, den Udo Lindenberg für sein Album "Gustav" erfunden hat. Udo Lindenberg selbst hat keine Kinder. Es gibt jedoch ein Foto von Udo Lindenberg mit einem Jungen namens Lucas bei einer Pressekonferenz zu seinem Album "Gustav". Ob es sich dabei um seinen Sohn handelt oder nur um ein Kind, das für das Foto engagiert wurde, ist nicht bekannt. Möchtest du mehr über Udo Lindenberg oder sein Album "Gustav" erfahren?" 🙂
Gemini-1.5-Pro-Exp-0801 in Google AI Studio:
"Gustav Lindenberg hat keinen Sohn. Er war nie verheiratet und hat keine Kinder."
gemini-1.5-pro-exp-0801 in der LMSYS Chatbot Arena:
"Gustav Lindenberg hat keine Kinder."
Es sind nun mal probabilistische Modelle - die antworten jedes Mal anders. Wie Gemini antwortet hängt von vielen Faktoren ab. Hier kann auch die Tokenisierung eine Rolle spielen. Außerdem geht der Wissestand der Gemini-Modelle bis April 2024 - ihr Finetuning konnte auch das Problem des Fluchs der Umkehrung behandelt haben, da die Studie vor April 2024 erschienen ist.
Gemini-Modelle greifen tatsächlich aufs Internet zu. Bei den vorigen Beispielen aber sicher nicht. (Auch weil's bei den Antworten keine Quellen zitierte.) Wenn ich Gemini Advanced sage, es solle nach der Antwort im Internet suchen, gibt es tatsächlich eine richtige Antwort (und eine viel bessere als die Antworten aller Gemini-Modelle oben in diesem Kommentar) - mit Quellen aus dem Internet/Links unterlegt:
Ich: "Wie heißt der Sohn von Gustav Lindenberg? Bitte, suche nach der richtigen Antwort im Internet."
Gemini Advanced: "Gustav Lindenberg ist der Vater von Udo Lindenberg. Udo Lindenberg hat keinen Sohn, aber es gibt Fotos von ihm mit seinem Patensohn Lucas."
Wenn man Gemini fragt, "Von wem ist Gustav Lindenberg der Vater?", antwortet es aber immer richtig: "Gustav Lindenberg ist der Vater des deutschen Rockmusikers Udo Lindenberg." :-)
Liebe Leute, am Montag fügen wir hier noch die Links aus dem Video hinzu. Genießt den Sommer (und Sprachmodelle :-))! Jaromir
Müßte es nicht eher "der Fluch der UNumkehrung" heißen?
Aber unabhängig davon, sehr interessant.
Beim Menschen wurde vielleicht das Vorwärtsalphabet oft, das Rückwärtsalphabet jedoch kaum oder gar nicht gehört bzw. geübt und muß Buchstabe für Buchstabe hergeleitet werden.
Im Leben habe ich öfter Fremdsprachen gelernt und war immer wieder erstaunt, dass ich Vokabeln in beiden Richtungen mit nahezu gleichem Zeitaufwand lernen musste. :-)
@@Jaromir-K ist das eine besondere Lernmethode?
@@Olaf_Schwandt Bis jetzt dachte ich, dass alle so lernen. 🙂