Besteht ChatGPT die iSAQB-Advanced-Level-Prüfung? 2/x mit Ralf D. Müller
HTML-код
- Опубликовано: 5 окт 2024
- ChatGPT kann Dinge, von denen viele nicht gedacht hätten, dass sie überhaupt möglich sind. Ralf D. Müller hat ChatGPT die iSAQB-Advanced-Level-Beispielaufgabe lösen lassen. In dieser Episode berichtet er, wie er dabei vorgegangen ist. Ralf und Eberhard schauen sich außerdem die Ergebnisse an - und gehen der Frage nach, ob ChatGPT die Advanced-Level-Zertifizierung bestehen würde.
In dieser Episode schauen wir uns die Ergebnisse an und bewerten sie und versuchen ChatGPT zu helfen, sie zu verbessern.
Hallo miteinander
Danke für diesen Beitrag. Ich habe noch eine Frage: Ich habe schon oft gesehen, dass die Benutzer nur im fachlichen Kontext, nicht aber im technischen Kontext gezeigt werden. Würdet ihr das auch befürworten? Aus meiner Sicht macht das durchaus Sinn den/die Benutzer wegzulassen, weil erstens sieht man ja schon im fachlichen Kontext die Benutzer und zweitens, sehe ich den Benefit nicht, wenn man im technischen Kontext nochmals den Benutzer einzeichnet, wenn dieser z.B. den Browser bedient. Danke
Danke für die Frage! In dem technischen Kontext-Diagramm kann man darstellen, mit welcher Technologie die jeweiligen Benutzter bedient werden.
Sehe ich genauso wie Eberhard: die Technologie der Interaktion des Benutzers ist für den technischen Kontext interessant. Dazu gehört das Protokoll (eMail, SMTP, https) aber vielleicht auch das Endgerät (Tablet, Smartphone, Desktop).
Meist kommen im technischen Kontext aber auch noch technische Benutzer hinzu. So kann die Aufnahme eines Administrators in den Kontext u.U. sinnvoll sein.
Die Qualität der Ergebnisse, die KI in komplexen Aufgabenstellungen, wie etwa der Vorbereitung auf die iSAQB-Prüfung, liefert, hängt maßgeblich von der Genauigkeit und Klarheit ab, mit der Menschen den Kontext und die Anforderungen definieren. Diese Erkenntnis unterstreicht die Rolle der Menschen als unverzichtbaren Bestandteil des Lösungsprozesses. Zurzeit. Wie würden sich die Ergebnisse verbessern, wenn jemand in der Lage wäre, seine Vorgaben und den Kontext klarer zu definieren? Und wo genau liegt die Grenze, bei der ein Mensch die Initiative behalten muss und ab wann er diese an die KI übergeben sollte, um den größtmöglichen Nutzen aus der Zusammenarbeit zu ziehen?
Ich glaube, man muss es noch einmal ganz deutlich sagen:
ChatGPT produziert hier die Illusion, dass es eine sinnvolle Architektur erzeugt. Wenn man das Projekt tatsächlich so angehen würde, wäre das eine wirklich schlechte Idee.
In Wirklichkeit hat es die Qualitätsanforderungen nicht verstanden. Damit hat es die Herausforderung nicht verstanden und die Architektur ist nur die Illusion einer Architektur. Sie löst die zentralen Probleme nicht. Wenn man sich meine Lösung zur Beispielaufgabe anschaut, wird hoffentlich deutlich, wie sehr sich die Lösung unterscheidet. software-architektur.tv/tags.html#iSAQB%20Advanced%20Beispielaufgabe . Daraus die Frage abzuleiten, wann Menschen für den Prozess nicht mehr notwendig sind. misst dem Ergebnis einen Wert zu, den es schlicht nicht hat. Ralf und ich haben uns die Frage gestellt, ob man ChatGPT hier besser leiten soll. Ich war dagegen, weil Architekt:innen eben Probleme lösen sollen. Daran sollte sich ChatGPT messen lassen. Man kann einer Architekt:in eine Coach:in zur Seite stellen, die unterstützt, aber dann ist die Architektur eine Lösung der beiden. Das ist was anderes. Wir wollten hier ja das Ergebnis von ChatGPT sehen. Wir haben noch eine Episode gemacht, wo wir schauen, wie ChatGPT jetzt bei Architektur helfen kann: software-architektur.tv/2024/01/26/folge199.html
Wir sollten uns allerdings fragen, wie viele Architekturen an den wirklichen Anforderungen vorbei gehen und wie oft Menschen auch nur die Illusion einer Architektur erzeugen.
Ein zweiter Punkt ist, dass Menschen eben gerade nicht dazu in der Lage sind, "Vorgaben und den Kontext klarer zu definieren". Das Hauptproblem, mit dem ich mich als Berater beschäftige, ist gerade Vorgaben und den Kontext zu verstehen, zu hinterfragen und zu besseren Ideen zu kommen. Man muss allerdings sagen, dass ChatGPT ja auch Fragen stellt, wenn man es dazu anhält, wie Ralf erwähnt und auch als gute Idee empfohlen hat.
Ja, ChatGPT produziert eine Illusion. Für mich stellt sicht die Frage, wie gut die Illusion ist. Der Unterschied zwischen GPT3 und 4 ist enorm. Mit mehr hidden Layers im neuronalen Netz erreicht man viel. Bei Tieren gibt es den de.wikipedia.org/wiki/Spiegeltest um die Selbstwahrnehmung zu testen. Mit multimodalen LLMs kann man diesen Test ähnlich machen - man gibt ihnen immer wieder einen Screenshot de eigenen Chats. Nach nur 1-3 Versuchen erkennen die meisten, dass es sich um den aktuellen Chat mit ihnen selbst handelt. Das ist IMHO mehr als eine Illusion.
Was den LLMs meines Erachtens fehlt, ist das Reflektieren ausserhalb des eigentlichen Chats. Und das wird kommen.
Aber zurück zur eigentlichen Frage: momentan muss der Mensch die Initiative behalten. Die Maschine kann aber gemeinsam erarbeitete Ergebnisse gut ausformulieren.
Das Gespräch mit der Maschine bringt mich auch auf neue, bessere Ideen, ähnlich dem Rubber Ducking (de.wikipedia.org/wiki/Quietscheentchen-Debugging). Bei Architekturentscheidungen kann die Maschine mir mit ihrem Wissen sogar den Lösungsraum extrem erweitern. Darin sehe ich momentan den größtmöglichen Nutzen.
Zu der Frage, wie sich die Ergebnisse bei klareren Vorgaben verbessern - sie würden sich stark verbessern, aber in den klareren Vorgaben wären dann auch schon die Antworten fast vorweg genommen. Da sehe ich wenig Vorteile. Interessant ist die Iteration - hat die Maschine die Möglichkeit Feedback auf ihr Ergebnis zu bekommen, fängt sie an zu iterieren. Dieses Feedback kann u.U. sogar von ihr selbst kommen, indem man sie z.B. fragt, ob die von Ihr aufgestellen Entscheidungen schlüssig sind.
Ich sehe hier noch viel Luft nach oben und dass wir erst am Anfang einer rasanten Entwicklung stehen.
Ja, ChatGPT produziert eine Illusion. Für mich stellt sicht die Frage, wie gut die Illusion ist. Der Unterschied zwischen GPT3 und 4 ist enorm. Mit mehr hidden Layers im neuronalen Netz erreicht man viel. Bei Tieren gibt es den de.wikipedia.org/wiki/Spiegeltest um die Selbstwahrnehmung zu testen. Mit multimodalen LLMs kann man diesen Test ähnlich machen - man gibt ihnen immer wieder einen Screenshot de eigenen Chats. Nach nur 1-3 Versuchen erkennen die meisten, dass es sich um den aktuellen Chat mit ihnen selbst handelt. Das ist IMHO mehr als eine Illusion.
Was den LLMs meines Erachtens fehlt, ist das Reflektieren außerhalb des eigentlichen Chats. Und das wird kommen.
Aber zurück zur eigentlichen Frage: momentan muss der Mensch die Initiative behalten. Die Maschine kann aber gemeinsam erarbeitete Ergebnisse gut ausformulieren.
Das Gespräch mit der Maschine bringt mich auch auf neue, bessere Ideen, ähnlich dem Rubber Ducking (de.wikipedia.org/wiki/Quietscheentchen-Debugging). Bei Architekturentscheidungen kann die Maschine mir mit ihrem Wissen sogar den Lösungsraum erweitern. Darin sehe ich momentan den größtmöglichen Nutzen.
Zu der Frage, wie sich die Ergebnisse bei klareren Vorgaben verbessern - sie würden sich stark verbessern, aber in den klareren Vorgaben wären dann auch schon die Antworten fast vorweggenommen. Da sehe ich wenig Vorteile. Interessant ist die Iteration - hat die Maschine die Möglichkeit Feedback auf ihr Ergebnis zu bekommen, fängt sie an zu iterieren. Dieses Feedback kann u.U. sogar von ihr selbst kommen, indem man sie z.B. fragt, ob die von Ihr aufgestellten Entscheidungen schlüssig sind.
Ich sehe hier noch viel Luft nach oben und dass wir erst am Anfang einer rasanten Entwicklung stehen.