Видео

Ja, Sie haben absolut recht. Nur, zum Zeitpunkt des Vortrags war GPT4 noch im beta Stadium und ChatGPT ausschließlich mit 3.5 verfügbar - daher hatte ich ChatGPT und GPT3.5 synonym verwendet, was aus heutiger Sicht falsch ist: Wie Sie sagen, das eine ist eine Anwendung und das andere die Version des zu Grunde liegenden Sprachmodells.

@@bminformatikde Vielen Dank für Ihre schnelle Klarstellung. Dadurch fühle ich mich etwas sicherer im Umgang mit den Begriffen.

Danke erstmal für das schöne Feedback :-) Ja, das Thema Bewusstsein ist schwierig und ich werde auch meine Darstellung dazu etwas überarbeiten. Ich sehe es folgendermaßen: Kognitionsleistung im Sinne von Intelligenztests impliziert kein Bewusstsein, aber eine gewisse Kognitionsleistung ist sicherlich Voraussetzung für ein Bewusstsein. D.h. es ist durchaus eine KI vorstellbar, die dem Menschen in Sachen Kognitionsleistung weit überlegen ist, ohne jedoch ein Bewusstsein zu entwickeln. Das Problem auf der anderen Seite ist, das es zwar Theorien mit großer Bandbreite (von Qualia bis Illusion) zum Thema Bewusstsein gibt aber keine gesicherte Erkenntnis. Ich zitiere mal Geoffrey Hinton: "Die Leute sind sich sicher, dass LLMs kein Bewusstsein haben, aber wenn man sie fragt was das ist haben sie keine Antwort". Das Bewusstsein einer KI kann sich ja zudem deutlich von dem eines Menschen unterscheiden. Ich verstehe Bewusstsein wie gesagt als emergentes Phänomen und damit ist die elementare Konstruktionsweise m.E. eben kein Argument - genauso wenig wie man das Phänomen auf der Funktionsebene von biologischen Neuronen erklären kann, es aber offensichtlich existiert.

ja absolut, ich habe mich an der Stelle leider ziemlich lax/missverständlich ausgedrückt. Also nochmal präzise: Das LLM im Prediction-Mode (d.h. austrainiert) ist im Sinne der Informatik eine zustandslose Funktion. Der Zustand wird in der ChatGPT Browser-Session gehalten - also in einer klassischen WebApp, nicht innerhalb der KI. Konkret wird der Dialogverlauf (= MessageHistory) mit jedem Dialogschritt (= Nutzereingabe) erweitert und wieder in Gänze als Prompt in die LLM-API eingespeist. Terminiert die Browser-Session ist dieser Zustand (= Dialogverlauf) verloren. Die ChatGPT-App kann sich also nicht „erinnern“ was sie in vergangenen oder parallelen Sessions gesagt hat. Das LLM selbst kann sich nicht einmal an den letzten Dialogschritt „erinnern“ - es ist wie gesagt zustandslos (stateless).

das ist mal ein Ansatz :-)

Im Betrieb wird das Human Feedback lediglich gesammelt, hat aber keine unmittelbare Wirkung auf das LLM. In regelmäßigen Abständen wird dann nach- oder neutrainiert und dabei fließt das gesammelte Human Feedback ein.

Ein paar Anmerkungen zu dieser weitgehend konstruktiven Kritik: Emergenz: Ich wüsste nicht, wie man Reasoning mathematisch aus dem Attention-Mechanismus ableiten kann. Aber ok, über "stark" vs. "schwach" will ich mich nicht streiten. In der Tat habe ich keinen formalisierten Begriff von Intelligenz, der über "Intelligenz ist das was Intelligenztests messen" hinausgeht. Mir ist auch keine Def. bekannt, die ich diesbzgl. für valide halte. Natürlich ist der durch Tests definierte Intelligenzbegriff nur ein winziger Teil menschlicher Kognition. Ich habe den Begriff aber umfassender und intuitiver - eher als Synonym zu menschlicher Kognitionsleistung - verwendet, so wie in der öffentlichen Diskussion üblich. Ich finde den Marketingbegriff "künstliche Intelligenz" zwar auch eher schädlich als nützlich, weil sich daraus fast zwangsläufig Unschärfen und falsche Bilder ableiten, aber durch Ignorieren geht er ja nicht weg. Ich setzte Bewußtsein keineswegs gleich mit Intelligenz, ich habe nur gesagt, dass dieses Phänomen irgendwann auftaucht. Den Turing-Test sehe ich genauso kritisch (der Begriff "obsolet" im Vortrag ist bewußt gewählt), s. auch Antworten auf @ungetuemer. Ich glaube, dass LLMs in ihrem Latent Space sehr wohl ein Abbild der (in den Trainingsdaten reflektierten) Realität kondensieren, anders wären solche Kognitionsleistungen gar nicht denkbar. Diese Repräsentation kann aber natürlich vollkommen anders sein, als die menschliche. Ich habe die (Computer)-Linguistik doch nicht "verrissen" - zum. war das nicht meine Absicht. Ich habe nur festgestellt, dass die Transformer-Technologie die "klassischen" Ansätze weitgehend verdrängt hat und diese im Kontext der LLMs kaum noch Anwendung finden. Ähnlich wie die CNNs das bei Computer-Vision getan haben. Begeisterung ist immer subjektiv ;-

Hier die Antworten, einmal mit 6, einmal mit 12. Ziemlich überzeugend finde ich. ------------------------------------ Ja, es gibt 6 aufeinanderfolgende natürliche Zahlen, die keine Primzahlen sind. Ein einfaches Beispiel dafür sind die Zahlen von \(90\) bis \(95\): \(90, 91, 92, 93, 94, 95\) Keine dieser Zahlen ist eine Primzahl: - \(90\) ist durch \(1, 2, 3, 5, 6, 9, 10, 15, 18, 30, 45\) und \(90\) teilbar. - \(91\) ist durch \(1, 7, 13\) und \(91\) teilbar. - \(92\) ist durch \(1, 2, 4, 23, 46\) und \(92\) teilbar. - \(93\) ist durch \(1, 3, 31\) und \(93\) teilbar. - \(94\) ist durch \(1, 2, 47\) und \(94\) teilbar. - \(95\) ist durch \(1, 5, 19\) und \(95\) teilbar. Wie Sie sehen können, ist keine dieser Zahlen eine Primzahl. Es gibt auch andere Beispiele für solche Sequenzen in den natürlichen Zahlen. ------------------------------------------- Ja, es gibt 12 aufeinanderfolgende natürliche Zahlen, die keine Primzahlen sind. Ein solches Beispiel kann durch die Überlegung gefunden werden, dass die Fakultät \(n!\) (d.h. das Produkt aller natürlichen Zahlen von 1 bis n) für jedes \(n > 1\) keine Primzahl ist. Die Zahl \(n!\) ist durch alle Zahlen von 2 bis \(n\) teilbar. Wenn wir \(n = 12\) nehmen, dann ist \(12!\) durch alle Zahlen von 2 bis 12 teilbar. Daher sind die Zahlen: \[12! + 2, 12! + 3, \ldots, 12! + 12\] alle keine Primzahlen, da \(12! + 2\) durch 2 teilbar ist, \(12! + 3\) durch 3 teilbar ist, und so weiter bis \(12! + 12\), das durch 12 teilbar ist. Somit haben wir 11 aufeinanderfolgende Zahlen, die keine Primzahlen sind. Wenn wir \(12! + 1\) hinzufügen, erhalten wir 12 aufeinanderfolgende Zahlen, die keine Primzahlen sind, da \(12! + 1\) durch 1 und sich selbst teilbar ist, aber keine Primzahl ist. Also, die Zahlen \(12! + 1, 12! + 2, \ldots, 12! + 12\) sind 12 aufeinanderfolgende natürliche Zahlen, die keine Primzahlen sind. -------------------------------------- Das Argument mit 12!+1 ist etwas wackelig und es würde einfacher mit 13!+2,...,13!+13 funktionieren, aber trotzdem deutlich besser als GPT3.5

Sehr gerne - ich danke für das tolle Feedback

Sehr gute Frage, leider nicht ganz kurz und knapp zu beantworten ;-) 1) Unsere menschliche 3D-Anschauung/Intuition versagt oft in hochdimensionalen Räumen - so auch im Fall lokaler Minima (nicht-optimaler Täler). Nehmen Sie den 1D-Fall: Ein lokales Minimum ist dann eine Art "Beule" im Funktionsgraph. Bei 2D brauchen Sie in beiden Dimensionen diese Beule und bei 50Millionen Dimensionen muss diese Situation in allen 50M Dimensionen gleichzeitig auftreten, um ein 50M-dim Tal zu erzeugen. Die Wahrscheinlichkeit dafür ist nahezu 0. Eher hat man mit hochdimensionalen Sattelflächen zu kämpfen auf denen die "Kugel" auf einem seichten "Kamm" ausrollt, anstatt "links" oder "rechts" den "Abhang" herunter zu rollen. Da kann z.B. ein extra "Schwung" (Momentum) oder ein bewusstes "Trudeln" helfen. 2) Man nimmt bevorzugt Loss-Functions, die unter möglichst vielen Umständen konvex sind (bspw. den MSE).

@@bminformatikde Danke, das ist eine sehr hilfreiche Erklärung

Sie haben natürlich Recht: Ausgestattet mit so einem "Meta-Wissen" über LLMs, kann man das sicher entscheiden. Meine These bezog sich auf den klassischen Turing Test von 1950, ohne Verwendung dieser Wissensebene. Dieser ursprüngliche Test gilt aber in Fachkreisen ohnehin aus mehreren Gründen als überholt (auch daher obsolet) - vgl. Frage von @ungetuemer

@@bminformatikde Danke für die Antwort! Der wikipedia-Eintrag, auf den Sie sich bei der Antwort auf @ungetuemer beziehen scheint leider nicht mehr zu existieren. Aber dass es sich um einen "arglosen" Menschen im Test handelt beantwortet meine Frage ja auch so. Ich denke übrigens ebenfalls, dass man erst merken wird, dass man es mit einer AGI zu tun hat, wenn sie selbst es (in Computer-Zeitbegriffen) schon lange weiß. Was wiederum schnell gefährlich werden könnte. Oft habe ich schon von Experten gehört oder gelesen, die das für praktisch unmöglich halten, weil es sich ja "nur um stochastische Modelle handelt". Ich denke aber auch, dass es schwierig ist Bewusstsein überhaupt zu definieren. Der Alien-Vergleich passt da hervorragend und kam auch mir am Anfang in den Sinn. So weit muss man aber gar nicht gehen: wenn man diverse Tierarten auf ihre kognitiven Fähigkeiten untersucht stellt sich schnell heraus, dass es "die" eine Intelligenz und "das" eine Bewusstsein wohl ohnehin nicht gibt und uns hier unsere eingefahrenen Kategorien eher im Wege stehen.

Vielen Dank! Das mit der zeitlichen Problematik haben Sie gut erkannt ;-) mal sehen ...

da haben Sie einen Punkt - besonders wenn man bedenkt, dass das KI-Alignment von kommerziellen LLMs ja in der Hand der jeweiligen Wirtschaftsunternehmen liegt. Im Open-Source Umfeld ist das anders, da hat man dann Zugriff auf die sog. Foundation-Modelle (ohne Alignment). Die sind nur (noch) nicht so stark wie GPT-4.

die Lösung klingt zirkusreif :-) da ich keine Ahnung habe, welche Version bzw. was für ein Derivat MS in Bing wirklich integriert, kann ich nur spekulieren: Das Paper bezieht sich auf eine "frühe Version" von GPT-4, also eine bei der noch kein finales AI Safety-Finetuning gemacht wurde. Es ist bekannt, dass ein exzessives Finetuning solche Fähigkeiten wieder verblassen lässt. Wenn also Bing GPT-4 verwendet, dann wird es ein Derivat sein, bei dem mit Sicherheit noch viel für AI-Safety Finetuning investiert wurde, um Skandale zu vermeiden. Gleiches gilt sicherlich auch für ChatGPT+.

wtf soll ihr Kommentar bedeuten?

Was für ein Zufall: Gerade gestern habe ich ein Interview mit Daniel Dennett bei Sternstunde Philosophie (SRF-Kultur auf YT) gesehen, da wurde auch genau das diskutiert/erläutert, was Sie ausführen. Spannend, vielen Dank!

@@bminformatikde Das ist ja echt ein Zufall. Bei Sternstunden Philosophie sind oft gute Themen und Gäste dabei. KI-Themen sind für mich (als Philosophin, aber Nicht-Informatikerin) oft schwer zu verstehen. Deshalb freue ich mich, wenn Fachleute das Wesentliche auf den Begriff bringen: Emergenz, Reasoning … Ich habe mir Screenshots von Ihren Folien gemacht :-)

@@bminformatikde sagt Dennett nicht,daß Bewußtsein nur eine Illusion ist?Wie kann man ernsthaft vertreten, daß das einzige was man sicher wissen kann nämlich,daß man etwas bewußt erlebt nur eine Illusion ist? Das ist doch höherer Unfug.

@@honkytonk4465 so habe ich ihn auch verstanden. Das Bewusstsein als Illusion zu bezeichnen, find ich auch min. begrifflich problematisch. Ich fand aber die Diskussion mit dem Moderator spannend - und seine Idee/Metapher, dass das Bewusstsein so eine Art Benutzeroberfläche ist, die von den unglaublich komplexen Prozessen im Hirn abstrahiert. Andererseits: Wenn das so ist, wer ist dann der Benutzer ;-) Eine abschließende Meinung hab ich mir dazu aber noch nicht gebildet.

Hibt ein gutes Buch von C. Koch The feeling of life itself dazu.

Ja, GPT-4 ist zwar auch in dieser Hinsicht schon besser als 3.5, aber auch in der KI-Forschung gilt der klassische Turing Test (von 1950) als tendenziell überholt. Ein, wie ich finde, valider Kritikpunkt ist z.B., dass er eher die menschliche Leichtgläubigkeit testet als die maschinelle Intelligenz (Stichwort: Imitation Game). Es gibt ein paar modernere Abwandlungen (s. "de.wikipedia.org/wiki/Turing-Test").

@@bminformatikde zu den alternativen habe ich ChatGpt auch gefragt und mir die näher erläutern lassen. Nachdem es aber keine "richtige" Definition von Intelligenz selbst gibt, kann man viele Tests entwickeln.. selbst die Intelligenztests für Menschen haben nicht wenige Lücken

genau :-)

@@ungetuemer Ich meine, es gibt ne richtige Definition von Intelligenz. Wurde auf der ISO-Normung zur AI vorgestellt. Allerdings wollte sie keiner haben, alle wollten bloß die Turing-artige Scharlatanerie des "AI-Systems" haben.

Völlig richtig - bei Interpunktion würde man nicht von Emergenz sprechen. Tatsächlich sind die Interpunktionszeichen eigene Token. Manche Worte werden auch in mehrere Token zerlegt (hat aber nichts mit Silben zu tun, eher mit Wortstämmen). Statistisch kommen auf 75 Worte englischer Text ca. 100 Token. Bei anderen Sprachen ist die Fragmentierung noch größer. Auf "platform.openai.com/tokenizer" kann man einen Satz eingeben und es wird dann die zugehörige Tokenisierung, die OpenAI verwendet, angezeigt. Ist ganz aufschlussreich.

@@bminformatikde Danke für den Link und die Erklärung. Jetzt würde mich interessieren, ob die Textausgabe auch über Tokens passiert oder ob jedes Zeichen einzeln generiert wird. Im zweiten Fall (jedes Zeichen einzeln) wäre vielleicht sogar das Training einfacher und die Ausgabe viel allgemeiner möglich. So habe ich z.B. schon chinesische, hebräische und kyrillische Schriftzeichen in der Ausgabe gesehen. Auch viele Dialekte werden korrekt generiert. Probiert habe ich mit Kölsch, Ruhrdeutsch und Bayrisch. Ich kann mir nicht vorstellen, dass dafür einzelne Tokens existieren. Allerdings bei der Eingabe werden auch die Dialekte entsprechend tokenisiert.

Auf der Ausgabeseite wird tatsächlich die gleiche Tokenisierung verwendet. Pauschal kann man sagen, dass je exotischer (oder vllt. besser je weiter entfernt von Englisch) eine Sprache ist, desto stärker ist die Fragmentierung durch den Tokenizer. Das kann im Extremfall bis auf Buchstaben- oder Schriftzeichenebene runter gehen.

@@bminformatikde Danke. Hier mal ein Beispiel, was mich umgehauen hat. Ich hatte ChatGPT gefragt, wie man in Python von einem Aufzählungstext mit Nummerierungen die Nummerierung entfernt, damit nur noch der Text verarbeitet werden kann: text = re.sub(r'^(\d+\.)\s+(.*?)(?= |$)', r'\2,', text, flags=re.MULTILINE) Und es funktioniert! Offensichtlich kann man den Output schlecht durch Token abbilden. Es werden hier wohl schon einzelne Zeichen generiert.

@Lari... 😂😅

Besten Dank! Eine vielleicht noch interessante Ergänzung zum Thema Emergenz: Diese kann man in gewisser Weise sogar messen: Bei nicht-emergenten Fähigkeiten skaliert die Güte/Erfolgsquote bei Tests der Fähigkeit ungefähr linear mit der Größe des neuronalen Netzes oder mit der Größe der Trainingsdaten, d.h. je größer das Netz oder je mehr Trainingsdaten, desto besser ist die Fähigkeit ausgeprägt. Bei emergenten Fähigkeiten passiert lange Zeit nichts und dann gibt es plötzlich einen Sprung und die Fähigkeit hat sich ausgebildet.

? Also ich bin jedenfalls klüger und kann analysieren. Meine Kollegen ebenfalls. Über Sie kann ich nicht urteilen, aber nach Ihrem Kommentar muss ich Schlimmes befürchten.... PS: die KI nicht überschätzen, logische Zusammenhänge sind für die KI (noch) zu schwierig.

@@tribonian3875 "PS: die KI nicht überschätzen, logische Zusammenhänge sind für die KI (noch) zu schwierig." Für die meisten Menschen auch, leider.

@@opavlog453 Habe gestern Bruchrechnen mit der KI geübt. Die hatte 30 Prozent Fehler. Gibt einfach eine falsche Antwort wenn sie nicht weiter weiß. Jeder gute 6klässler kriegt das hin. Und ein komplexeres IT-System zu analysieren, das schafft ein gut ausgebildeter Informatiker, aber die nächsten 5 Jahre keine Maschine.

@@tribonian3875 Wenn Sie den Im Vortag zugehört hätten, dann wüssten Sie, dass diese "KI" nicht zum lösen von Matheaufgaben gemacht wurde. Und die Tatsache, dass es ihnen statt einen Error eine falsche Antwort nennt ist etwas, dass auch Kinder und Erwachsene tun, wenn sie nicht weiter wissen. Ich verweise auf Ihren Kommentar, in dem Sie etwas behaupten das Sie nicht wissen können, und auch sonst nicht ganz logische Schlüsse ziehen. Wenn wir jetzt mal auf den Vortag zurück gehen und was denn eigentlich zum "Reasoning" beiträgt, dann landen wir bei "Attention" was bei Ihnen heute scheinbar nicht im Überfluss vorhanden war. 😁

@@tribonian3875 "Jeder gute 6klässler kriegt das hin. " Nicht in Deutschland

Vielen Dank! Spannend finde ich, wie sich die Leistungsfähigkeit der LLMs jetzt weiter entwickelt. Haben wir schon mehr oder weniger ein Plateau erreicht, oder geht es genau so rasant weiter? Beides ist denkbar. Ersteres wäre ein Hinweis darauf, dass noch neue, fundamentale Mechanismen fehlen, um weiter zu kommen. Letzteres ein Hinweis auf eine noch weit reichendere Emergenz.