Zur Frage bei 30:57 noch der interessante Zusatz: Gerade weil das Netzwerk so kompliziert ist, sind Adversarial Attacks so "einfach" durchzuführen. Stellt man diese Pixelhaufen aka adversarial examples her und trainiert das Netzwerk mit den richtigen Zahlen und den Pixelhaufen, kann man beobachten, dass die ersten Layer des Netzwerks ausgedünnt werden beim trainieren. Das Netzwerk verliert dabei an "Komplexität" und lässt sich dann nicht mehr "verarschen"
Folie 1 leider fachlich inkorrekt: Die Definition von spezialisierter vs. generativer KI. Hier besteht ein Missverständnis. Generative KI heißt generativ (nicht generell). Das Gegenteil ist diskriminative KI. Eine generative KI kann u.U. auch nur ein Problem lösen, z.B. nur neue Katzen generieren, wenn es auf Katzen trainiert wurde.
Regression und Klassifikation auch nicht richtig erklärt. Aua. Richtig wäre gewesen: Regression ist Vorhersage eines kontinuierlichen Wertes, Klassifikation die Vorhersage eines diskreten Wertes (z.B. einer Klasse).
@@pw7225 Klassifikation ist keine Vorhersage. Vorhersage bezieht sich auf das Fortsetzen einer Reihe aus Datenpunkten. Klassifikation steckt einen Datenpunkt in eine Schublade.
Macht für mich auch den Eindruck, als hätte er "generativ" mit "generisch" verwechselt und in der Folge Klassifikation und Regression falsch in eine Katergorie "spezialisiert" gesteckt. Letztere machen aus einem Eingangsmuster einen i.d.R. niedrigerdimensionalen Ausgangsvektor, während generative ANNs umgekehrt arbeiten und aus einem Vektor im feature space wieder ein (bei Bildern höherdimensionales) Ausgagsmuster erzeugen, d.h. generieren.
Zur Frage bei 29:30 Man könnte in die Trainingsdaten die 11. Kategorie `zufallsbilder` einfügen. Die besteht aus zufällig generierten Bildern. Dann passt man das Netzwerk auf 11-dimensionale Ausgaben an und trainiert neu. Danach sollten zufällige Bilder "viel häufiger nicht als 4 klassifiziert" werden. Es wird trotzdem noch zufällig aussehende Bilder geben, die trotzdem in der 4. dimension den höchsten wert haben und damit falsch erkannt werden.
Da die Aufgabe ja ist, sage mir welche Zahl von 0 bis 9 das ist, würde ein Mensch Wahrscheinlich die gleiche Ausgabe geben (ca. min 17:00). irgendwas zufälliges. Die Lösung wird wohl einfach sein, den Vektor um die Dimension "was anderes" zu erweitern. Das wird technisch wahrscheinlich wohl nichts verändern, könnte aber die Ergebnisse nachvollziehbarer machen (ca. 19:18).
Das was er bei ca. 31:25 erzählt ist ja aber bei einem Menschen nicht anders, wir sehen auch überall Muster wo keine sind, wahrscheinlich mit einer andere Fehlerrate oder eben so das man das halt logisch ausschließt. Nach dem Motto sieht zwar aus wie ein Gesicht auf dem Mars, ist aber nur ein Steingebilde. Zu den Data Poisoning, so wie das Angesprochene Szenario mit den Rauschen, kann man das auch gleich in die Trainingsdaten mit einfließen lassen, wo man das z.B.: 100 mal das Gleiche Bild mit unterschiedliche Rauschmuster einfügt, das sollte sich gut klassifizieren können, da man das Gift sozusagen ja kennt. Könnte das funktionieren? Außer dem stelle ich mir jetzt die Frage, Wie aufwändig das ist (Rechenleistung), Wie viele Varianten benötigt man? Das sollte die Netzte ein wenig resilienter machen
Zur Frage bei 30:57 noch der interessante Zusatz:
Gerade weil das Netzwerk so kompliziert ist, sind Adversarial Attacks so "einfach" durchzuführen. Stellt man diese Pixelhaufen aka adversarial examples her und trainiert das Netzwerk mit den richtigen Zahlen und den Pixelhaufen, kann man beobachten, dass die ersten Layer des Netzwerks ausgedünnt werden beim trainieren. Das Netzwerk verliert dabei an "Komplexität" und lässt sich dann nicht mehr "verarschen"
Folie 1 leider fachlich inkorrekt: Die Definition von spezialisierter vs. generativer KI.
Hier besteht ein Missverständnis. Generative KI heißt generativ (nicht generell). Das Gegenteil ist diskriminative KI. Eine generative KI kann u.U. auch nur ein Problem lösen, z.B. nur neue Katzen generieren, wenn es auf Katzen trainiert wurde.
Regression und Klassifikation auch nicht richtig erklärt. Aua.
Richtig wäre gewesen: Regression ist Vorhersage eines kontinuierlichen Wertes, Klassifikation die Vorhersage eines diskreten Wertes (z.B. einer Klasse).
@@pw7225 Klassifikation ist keine Vorhersage. Vorhersage bezieht sich auf das Fortsetzen einer Reihe aus Datenpunkten. Klassifikation steckt einen Datenpunkt in eine Schublade.
Macht für mich auch den Eindruck, als hätte er "generativ" mit "generisch" verwechselt und in der Folge Klassifikation und Regression falsch in eine Katergorie "spezialisiert" gesteckt. Letztere machen aus einem Eingangsmuster einen i.d.R. niedrigerdimensionalen Ausgangsvektor, während generative ANNs umgekehrt arbeiten und aus einem Vektor im feature space wieder ein (bei Bildern höherdimensionales) Ausgagsmuster erzeugen, d.h. generieren.
Leider falsch
Zur Frage bei 29:30
Man könnte in die Trainingsdaten die 11. Kategorie `zufallsbilder` einfügen. Die besteht aus zufällig generierten Bildern.
Dann passt man das Netzwerk auf 11-dimensionale Ausgaben an und trainiert neu.
Danach sollten zufällige Bilder "viel häufiger nicht als 4 klassifiziert" werden. Es wird trotzdem noch zufällig aussehende Bilder geben, die trotzdem in der 4. dimension den höchsten wert haben und damit falsch erkannt werden.
Kann man versuchen, Erfolg nicht garantiert.
Ladet doch einmal Snicklink ein, dass er erzählen kann, wie er mit KI seine Parodien erstellt. Das fände ich total spannend.
???
Ja mann das wär cool
Da die Aufgabe ja ist, sage mir welche Zahl von 0 bis 9 das ist, würde ein Mensch Wahrscheinlich die gleiche Ausgabe geben (ca. min 17:00). irgendwas zufälliges. Die Lösung wird wohl einfach sein, den Vektor um die Dimension "was anderes" zu erweitern. Das wird technisch wahrscheinlich wohl nichts verändern, könnte aber die Ergebnisse nachvollziehbarer machen (ca. 19:18).
"Zurückweisungsschwelle" - machen wir seit 20 Jahren
Das was er bei ca. 31:25 erzählt ist ja aber bei einem Menschen nicht anders, wir sehen auch überall Muster wo keine sind, wahrscheinlich mit einer andere Fehlerrate oder eben so das man das halt logisch ausschließt. Nach dem Motto sieht zwar aus wie ein Gesicht auf dem Mars, ist aber nur ein Steingebilde. Zu den Data Poisoning, so wie das Angesprochene Szenario mit den Rauschen, kann man das auch gleich in die Trainingsdaten mit einfließen lassen, wo man das z.B.: 100 mal das Gleiche Bild mit unterschiedliche Rauschmuster einfügt, das sollte sich gut klassifizieren können, da man das Gift sozusagen ja kennt. Könnte das funktionieren? Außer dem stelle ich mir jetzt die Frage, Wie aufwändig das ist (Rechenleistung), Wie viele Varianten benötigt man? Das sollte die Netzte ein wenig resilienter machen
Wird versucht, ja.
danke)
Vielen Dank, das war interessant.
English titles are confusing, because it seems like this talk is in English!
there is an english variant on the channel...
Vortrag kommt 10 Jahre zu spät.
Wieso hast du das nicht früher präsentiert?