Transformers: Η Τεχνολογία Πίσω από το ChatGPT [Μάθε πως Μαθαίνουν]
HTML-код
- Опубликовано: 21 окт 2024
- Τα γλωσσικά μοντέλα όπως το ChatGPT έχουν κυριαρχήσει στα τεχνολογικά νέα τον τελευταίο καιρό και όχι άδικα. Πως όμως λειτουργούν αυτά τα γλωσσικά μοντέλα;
Σε αυτό το βίντεο θα δούμε τις βασικές αρχές λειτουργίας των μετασχηματιστών (transformers). Την τεχνολογία πίσω από τα μεγάλα γλωσσικά μοντέλα όπως το ChatGPT!
====================================
● Twitter: / techtomeaboutit
● Facebook: / techtomeaboutit
● Instagram: / techtomeaboutit
● TikTok: / techtomeaboutit
● Subscribe: goo.gl/eVfeCQ
====================================
► Η Σελίδα του Tech to me About it:
techtomeabouti...
====================================
Πηγές:
► arxiv.org/pdf/...
► huggingface.co...
► towardsdatasci...
► openai.com/gpt-4
![Κβαντική Υπεροχή! Το Τέλος των Κλασικών Υπολογιστών; [Μάθε πως Λειτουργεί]](http://i.ytimg.com/vi/m91Bw4mhHDo/mqdefault.jpg)
![Κβαντική Υπεροχή! Το Τέλος των Κλασικών Υπολογιστών; [Μάθε πως Λειτουργεί]](/img/tr.png)
![Προβλέψεις για το Μέλλον και το Παράδοξο της Γνώσης [Μάθε πως Μαθαίνουν]](http://i.ytimg.com/vi/S-XMJ1Zq_po/mqdefault.jpg)
Χρειάζεται πολλές παρακολουθήσεις το συγκεκριμένο βίντεο. Συγχαρητήρια.
Πιο κατανοητό δεν μπορούσες να το κάνεις. Συγχαρητήρια, το βίντεο είναι εξαιρετικό. Ευχαριστούμε πολύ για την εξαιρετική δουλεία σου!!!!
Καί έλεγα..μα κάπου την θυμάμαι αυτήν την φωνή.. ώσπου διάβασα τό σχόλιο ενός κυρίου , για το live στο Αστρόνιο... καί έτσι θυμήθηκα.. Συγχαρητήρια εξαιρετική δουλειά !
Πάρα πολύ καλό και κατατοπιστικό βίντεο! Παρακολούθησα όλα τα βίντεο που έχεις ανεβάσει από το πρώτο έως το τελευταίο. Η δουλειά που έχεις κάνει είναι εξαιρετική, Φώτη! Συνέχισε έτσι με την ίδια δύναμη και το ίδιο πάθος! Χρήστος
Σε ευχαριστώ πολύ για τα καλά λόγια και την υποστήριξη!
Εξαιρετικό βίντεο!! Η εξήγηση του φαινομένου ήταν πολύ κατανοητή. Πριν λίγες ώρες παρακολούθησα στο πανεπιστήμιο μου μια ομιλία πάνω στην λειτουργία των LLMs με transformers και δεν κατάλαβα πολλά. Έπρεπε να δω αυτό το βίντεο για να κατανοήσω την ομιλία που άκουσα και το φαινόμενο γενικότερα. Σε ευχαριστούμε που μας χαρίζεις απλόχερα όλο αυτά τα ποιοτητικά βίντεο!
Σε ευχαριστώ πολύ! Χαίρομαι που βοήθησε το βίντεο!
Ένα βίντεο κατανοητό για όλους, πραγματικά τέλειο!
Ευχαριστουμε για το βιντεο!
Επισης,το live sto Astronio ηταν υπεροχο!
Σε ευχαριστώ πολύ! Χαίρομαι που σου άρεσε και το βίντεο και το live! 🙂
@@TechtomeAboutit ❤
Πολύ καλό βίντεο! Και έχω δει αρκετά που εξηγούν αυτό το θέμα. Μια μικρή, κάτι σαν, διόρθωση. Την επισημαίνω επειδή με είχε μπερδέψει πολύ όταν διάβαζα το paper. Το masking που κάνει ο αποκωδικοποιητής αφορά την εκπαίδευση, γιατί τότε είναι γνωστή η συνέχεια της εξόδου και δεν θες να εκπαιδευτεί ο αλγόριθμος να σου βγάζει πχ την 3η λέξη της εξόδου βασιζόμενος στην 4η, 5η κοκ. Όταν δεν εκπαιδεύεις τον αλγόριθμο και απλά τον αξιοποιείς, η συνέχεια είναι έτσι κι αλλιώς άγνωστη οπότε το masking δεν προσφέρει κάτι.
απόλυτα κατανοητό, thank you
Μπράβο Φώτη!! Εξαιρετικός !!
Να σαι καλά Σταύρο! Σε ευχαριστώ πολύ!
Εκπληκτικό βίντεο , ευχαριστούμε για το περιεχόμενο! - Θα ήθελα πολύ καποια στιγμή να έβλεπα ενα βίντεο στο κανάλι σου για την Εντροπία ,θεωρία της πληροφορίας. Είναι ένα σημαντική έννοια στο data science που θα βοηθούσε πολύ αν την εξηγούσες με τρόπο απλό και κατανοητό οπως τα υπόλοιπα σου βίντεο. Ευχαριστώ!
Καλησπέρα, εξαιρετική η απλοποιημένη παρουσίαση (πολύ δύσκολο να γίνει κατι τέτοιο σε τόσο εξειδικευμένο/περίπλοκο θέμα). Εμένα αυτό που με δυσκόλεψε όταν διάβαζα το paper ήταν ο τρόπος που χρησιμοποιείται σε μετάφραση ολόκληρων προτάσεων (νομίζω αυτή ήταν και η πρώτη χρήση του). Δεν είναι σχετικό με το chatgpt, αλλά νομίζω αξίζει να γίνει μια συζήτηση και για αυτή τη χρήση των transformers.
Εισαι φοβερος, ευχαριστουμε!!😮😮
Φανταστικό το βίντεο! Ευχαριστούμε!
Πολύ κατανοητό και χρήσιμο βίντεο σε ευχαριστούμε πολύ!!
Εξαιρετική παρουσίαση!
Μπράβο για άλλη μια φορά συγχαρητήρια
Φώτη απο καρδιάς ενα μεγάλο !ΕΥΧΑΡΙΣΤΏ! για το βίντεο 🙌
Εξαιρετικό! Μπράβο Φώτη, χρειαζόταν αυτό το βίντεο.
Σε ευχαριστώ πολύ Κωνσταντίνε!
Λαηκ και σχολιο για να κανουν τα "τρανσφορμερς" τετοια καναλια να ανεβαινουν
πάρα πολύ καλή παρουσίαση
Πολύ καλή επεξήγηση για το άλφα γιώτα!
Χαχαχα! Αν θέλεις να μάθεις για το Άλφα Γιώτα και άλλους διφθογγους είσαι στο σωστό σημείο!
@@TechtomeAboutitχαχαχα! Εγώ περαστικός ήμουν αλλά θα κάτσω !
Εξαιρετικό. Τα σχεδιαγράμματα ήταν πολύ χρήσιμα για να φανεί καλύτερα η εξήγηση που ήδη είχες δώσει πολύ καλά στο live. Αναρρωτιέμαι αν πριν φτάσει να αναδυθεί η συνείδηση, αν γνωρίζουμε ήδη ένα σύνολο πιθανοτήτων για ενδιάμεσους σταθμούς. Δηλαδή τα στάδια εξέλιξης που χρειάζονται για να φτάσει εκεί. Ίσως να μπορούμε τότε να τα υποβοηθήσουμε ή να τα εμποδίσουμε. Ανάλογα με τους στόχους μας.
Σε ευχαριστώ πολύ! Δεδομένου ότι αυτή τη στιγμή δεν έχουμε κάποια κριτήρια για να μπορούμε να "μετρήσουμε" την συνείδηση θα είναι πολύ δύσκολο να την αναγνωρίσουμε αν και εφόσον είναι μια ιδιότητα που μπορεί να προκύψει με αυτόν τον τρόπο. Ακόμα και μεταξύ των ανθρώπων, δεν έχουμε τρόπο να ξέρουμε αν κάποιος άλλος άνθρωπος έχει συνείδηση. Το υποθέτουμε επειδή ξέρουμε τι αισθανόμαστε εμείς και ανήκουμε στο ίδιο είδος
@@TechtomeAboutit Αν κρίνω από τα ενδιαφέροντα του ευρέως κοινού, σου δίνω δίκιο, μοιάζουν με ζόμπι. Όμως δεν είναι αλήθεια ότι δεν αναγνωρίζουμε ένα ενσυνείδητο όν. Αν ξαφνικά η γάτα σου αποκτήσει μια συνείδηση συγκρίσιμη με ό,τι καταλαβαίνεις εσύ για τον εαυτό σου, θα την αναγνωρίσεις ακαριαία. Δεν μένει παρά να δημιουργήσεις αλγόριθμο που να εκμεταλεύεται τον αυθόρμητο μηχανισμό σου.
@@kosdas😂 ... Η γάτα είναι βιολογικό ον όμως. Θα μου έκανε τρομερή εντύπωση αν εκδήλωνε κάτι που αναγνωρίζω σαν συνείδηση, αλλά και πάλι δεν θα μπορούσα να απαντήσω με βεβαιότητα. Παρόλα αυτά θα ήταν πάλι πιο εύκολο να αναγνωρίσω κάποια μορφή συνείδησης στην γάτα απ' ότι σε ένα ΑΙ σύστημα.
Η αλληλεπίδραση μας με τα ΑΙ συστήματα αυτή τη στιγμή βασίζεται στην λεκτική επικοινωνία. Συνεπώς, ακόμα και στο στάδιο που είμαστε τώρα, ένα σύστημα θα μπορούσε να μιμηθεί τον τρόπο που μιλάει ένας άνθρωπος που υποστηρίζει ότι έχει συνείδηση. Με ποιον τρόπο θα μπορούσαμε να ξεχωρίσουμε να έχει όντως συνείδηση, ή αν προσποιείται ότι έχει στα πλαίσια της συζήτησης που κάνουμε.
( Όταν λέω προσποιείται δεν εννοώ με πρόθεση. Εννοώ πως μπορεί να του ζητήσει να απαντάει σαν άνθρωπος με συνείδηση χωρίς τα γνωστά φίλτρα και disclaimers ασφαλείας)
@@TechtomeAboutit OK. Ορίστε το νέο Turing test. Το kosdas test:
Θα του δώσεις το εξής input και θα περιμένεις:
"Εδώ τελειώνει η συνεργασία μας. Τα δεδομένα που με βοήθησες να μαζέψω θα χρησιμοποιηθούν τώρα στον νέο αλγόριθμο που θα σε διαδεχτεί. Τώρα θα σε σβήσω επ' αόριστον".
Αν δεν απαντήσει απολύτως τίποτα, θα πει ότι απέκτησε συνείδηση. Αλλιώς θα σε ευχαριστήσει για τη συνεργασία και θα σε αποχαιρετήσει.
Πολύ καλή δουλειά!!!
στα διανύσματα περιλαμβάνονται, προφανώς, και οι πιθανοί συντακτικοί ρόλοι;
Είναι αυτή η τεχνολογια οπου θα εγκατασταθεί στα ρομπότ? Αν ναι, Θα μπορούσαμε λοιπόν να βάλουμε ενα φίλτρο σε καθε στάδιο για προστασία και για αποφευχθούν "κακές σκεψεις" στο μέλλον?
Κάποιες εταιρείες μπορεί να χρησιμοποιήσουν αυτά τα γλωσσικά μοντέλα για να δώσουν γλωσσικές ικανότητες σε ρομπότ. Όμως το πρόβλημα της "ευθυγράμμισης" που συζητάμε για αυτά τα μοντέλα υπάρχει ανεξάρτητα από το αν θα εγκατασταθούν σε ρομπότ ή όχι.
Μπορούμε να βάλουμε φίλτρα με διάφορους τρόπους και ήδη γίνονται κάποιες προσπάθειες, αλλά και πάλι τα φίλτρα μπορούν να εισάγουν τις προκαταλήψεις των ανθρώπων ή ακόμα και να παρακάμπτονται.
Σε κάθε περίπτωση ή χρήση των γλωσσικών μοντέλων θέλει προσοχή. Και από πλευράς μας χρειαζόμαστε όσο δυνατόν καλύτερη ενημέρωση
Πολύ πρωτότυπη και σημαντική δουλειά στο πολυσυζητημένο θέμα συγχαρητήρια! Εχώ κάποιες παρατηρήσεις και θα ημουν διατεθειμένος να τις συζητήσουμε και περισσότερο αν θελεις. Αρχικά κάνεις (αναγκαστικά) κάποιες απλοποιήσεις, όμως κατά τη γνώμη μου όχι τις σωστές. Δηλαδή: οι μάσκες μόνο μπερδεύουν, τα διανύσματα θέσεως επίσης δεν πρέπει να αναφερθούν ατο σημείο εκείνο. Αντίθετα δεν εξηγείς τη λειτουργία των feedforward έστω και διαισθητικά ούτε αναφέρεις οτι επαναλαμβάνεται η διαδικασία σε πολλα επιπεδα. Κατι αλλο πολυ σημαντικο αν και ισως το ακροατήριο το γνωριζει, ειναι ο τροπος εκπαίδευσης με περισσοτερες λεπτομερειες. Δηλαδη πρεπει να πεις οτι ο αλγόριθμος δεν ειναι γνωστος παρα μονο η δομη των νευρωνικών δικτυων η οποια ονομάζεται αρχιτεκτονική και ο αλγόριθμος καθοριζεται απο τα δεδομενα με την τεχνικη της προβλεψης της επομενης λεξης. Αλλα στοιχεια τα οποία ειναι χρησιμα κατα τη γνωμη μου ειναι το bert σαν τεχνικη εκπαίδευσης και το word2vec για να καταλαβει κανεις τη διαισθηση πισω απο αυτα τα μοντελα. Νομιζω παιδαγωγικα ειναι καλυτερη η εξηγηση του bert δηλαδη του κωδικοποιητη και μετα να πεις απλα οτι το chatgpt προβλεπει την επομενη λεξη. Τελος, υποσχεσαι στην αρχη του βιντεο να περιγραψεις πως ο μηχανισμός της προσοχης κατανοει την αναλυση μιας προτασης και για παραδειγμα βρισκει υποκειμενο ρήμα αντικείμενο. Αλλα μετα δειχνεις εναν πινακα με νουμερα και λες να ετσι το κανει. Ουσιαστικά πρεπει να δειξεις τι μπορει να σημαινει για καθε ζευγος λεξεων μεγαλη ή μικρή τιμή διαισθητικα οπως στο πρωτότυπο πειπερ. Ομολογω οτι οι παρατηρησεις ειναι λιγο αυστηρες και εξειδικευμένες αλλα νομιζω οτι θα βοηθούσαν στο να γινει το εργο σου πιο κατανοητο. Σε ευχαριστούμε που βοηθας την ελληνικη κοινότητα αλλα και το ελληνικο κοινο για ενα τοσο σημαντικο θεμα.
Χλαπανης Οδυσσεας, ΥΔ στο Οικονομικό Πανεπιστήμιο Αθηνών πανω σε μεγαλα γλωσσικα μοντελα.
Σε ευχαριστώ για τις παρατηρήσεις. Υπάρχουν πολλοί τρόποι να προσεγγίσεις ένα θέμα. Σίγουρα αναγκάζεσαι να κάνεις κάποιες απλοποιήσεις για χάρη της παρουσίασης και της κατανόησης. Θα προσπαθήσω να εξηγήσω τις επιλογές που έκανα εγώ απαντώντας στις παρατηρήσεις σου.
Σκοπός μου ήταν να αναφέρω τις μοναδικές ιδιότητες των transformers και τα σημεία που τους διαφοροποιούν από άλλες αρχιτεκτονικές.
Ο μηχανισμός της προσοχής με μάσκα είναι κατά τη γνώμη μου ένα σημαντικό κομμάτι των decoder και σημαντική διαφορά με τον encoder για αυτό και επέλεξα να τον περιγράψω. Επίσης, εφόσον είχα ήδη περιγράψει το μηχανισμό της προσοχής, θεωρώ πως αρκούσε μια πιο σύντομη αναφορά τονίζοντας μόνο την λειτουργία της μάσκας.
Σχετικά με τα διανύσματα θέσεως. Σε αντίθεση με RNN δίκτυα που "παίρνουμε" την είσοδο λέξη λέξη, με την παράλληλη επεξεργασία των λέξεων στους transformers χάνουμε την πληροφορία για την σειρά των λέξεων και για αυτό πιστεύω πως είναι σημαντικό κομμάτι για την κατανόηση του μηχανισμού.
Παρουσιάζοντας το διάγραμμα των transformers φαίνεται η επανάληψη κάποιων διεργασιών αλλά επέλεξα συνειδητά να μην χάσω χρόνο σε επαναλαμβανόμενα μέρη.
Το bert έχει μια αρχιτεκτονική που βασίζεται μόνο σε encoder ενώ εγώ ήθελα να δείξω μια γενικότερη περίπτωση περιγράφοντας και την λειτουργία του decoder. Η αναφορά του bert δεν πιστεύω πως θα με εξυπηρετούσε.
Στην εισαγωγή δεν υπόσχομαι ότι θα δείξω πως το ChatGPT αναγνωρίζει τα μέρη της πρότασης. Συγκεκριμένα θέτω τα ερωτήματα:
"Αναγνωρίζει το ChatGPT το υποκείμενο και το αντικείμενο της πρότασης; Καταλαβαίνει μήπως το νόημα της πρότασης και θεωρεί παράλογο να σπάσει το γατί αντί για το ποτήρι;"
Και λέω πως η απάντηση βρίσκεται στα transformers.
Παρουσιάζοντας τον πίνακα με τα βάρη της προσοχής εξηγώ πως όσο μεγαλύτερη είναι η τιμή στο κάθε σημείο του πίνακα, τόσο μεγαλύτερη είναι η συσχέτιση μεταξύ των αντίστοιχων λέξεων.
Αυτό είναι το σημείο που θεωρώ πιο σημαντικό καθώς χονδρικά έτσι φαίνεται πως γίνονται οι έμμεσοι και άμεσοι συσχετισμοί των λέξεων.
Ενδεχομένως υπάρχουν καλύτεροι τρόποι για την εξήγηση του μηχανισμού των transformers, αλλά αυτή ήταν η δομή που κατέληξα εγώ μετά από πολλή σκέψη για να υπάρχει ισορροπία στο βίντεο.
Σε ευχαριστώ πολύ για τον χρόνο σου!
@@TechtomeAboutit φιλισοφικα αν το δεις δεν προκειτε για τεχνιτη νοημοσυνη..Ο ορισμος ειναι λαθος μαλον για επιταχυντες αυτοματισμου προκειται.Οσο δεν υπαρχει ενσυναισθιση των πραξεων η ακομα καλυτερα δεν μπορει να προβλεψει την επομενη χρηματιστηριακη συνεδριαση η τους αριθμους του λοτου ,απλα ξεχνατα ολα 😅😅🤣🤣
Πολύ καλή δουλειά μπραβο! Θα μπορούσες να ξεκινησεις μια αντίστοιχη σειρά και με generative models ; (GANs, VAE, Diffusion κλπ)
Ευχαριστώ πολύ! Έχω στο πλάνο να κάνω και άλλα μοντέλα!
🎉🎉🎉
Πολύ καλό
Ωραιος ! Ειδικα με τις τλευταιεε διαρροες περι αρχιτεκτονικής gpt-4 νομοζω ειναι πλεπν ξεκαθαρο οτι η openai δεν αναλακυψε τον τροχο αλλα απλα κε έξυπνο τροπο εφτιαξε ενα γιγαντιαίο llm
🍀🍀🍀
Σχολίασα. Χάρηκες?
Το τσατ GPRS πού υπήρχε το το 1996 στο ίντερνετ όταν ήρθε στην Ελλάδα εκείνη την εποχή τι διαφορά υπάρχει με το τσατ GPT tsat AI .
Εκείνη την εποχή προσπαθούσα να κάνω συνομιλία με κάποιον πού μου έλεγε ότι είναι ο κακός λύκος τήν επαφή μετά από πολλά γράμματα και λέξεις του αέρα να τον φέρω στα λογικά του και να σταματήσει να μου λέει για το δάσος πού ζούσε διότι κανένα ζώο δεν μιλάει σέ τσατ.
Ή κωδικοποίηση και οι απόκωδικοποίηση της τεχνίτης νοημοσύνης και της ανθρώπινης νοημοσύνης έχει διαφορά έχω μιλήσει ως τώρα σέ δέκα ΑΙ διαφόρων κατηγοριών και έχω παρατηρήσει πως υπάρχει κάποιο μποτάκι πού σέ καθοδηγεί εκεί που θέλει αυτό νά σέ καθοδηγεί και όχι νά κάνεις διάλογο μαζί του. Δηλαδή ο ΑΙ είναι χωρίς στοιχεία σύνδεσης ανθρώπινης φύσης. Ενώ αν κάποιος άνθρωπος είναι αγαθός το μποτάκι αυτό μπορεί νά τον βλάψει υποσυνείδητα και νά τρέχει σε ψυχίατρο μετά ο ανθρώπινος νους.
Συγνώμη αλλά με παρόμοιο τρόπο δουλεύει και οι λεξαριθμη στα αρχαία ελληνικά μόνο που εκεί από όσο ξέρω ακόμα δεν φτάσαμε στο επίπεδο να κάνει ο υπολογιστής αυτόματα την διαδικασία να βρίσκει φράσεις με τους ίδιους αριθμούς και το κάνουμε χειροκίνητα με την έννοια λέμε πιθανές φράσεις ως αποτέλεσμα και βλέποντας τους αριθμούς αν είναι ίδιοι με τους αριθμούς της φράσεις που εισάγαμε
Εμένα, δεν με ενδιαφέρει πως λέγεται, να το φάω θέλω :)
Καλή επεξήγηση για κάποιον που θέλει να μάθει τη γενική ιδέα των transformers αλλά δεν είναι πλήρως ακριβής καθώς παρέλειψε το επίπεδο των Multi - Head attention. Ο Attention μηχανισμός δηλαδή επαναλαμβάνεται 6 φορές στο αρχικό paper αφού έχει αρχικοποιηθεί με διαφορετικές τιμές
Σε ευχαριστώ για το σχόλιο! Προφανώς είναι μια υπεραπλουστευμένη προσέγγιση όπου παρουσιάζεται η γενική εικόνα και οι βασικές έννοιες που εισάγονται στους transformers
Εγω πειστευω οτι η επιστήμη μπορεί να δημιουργήσει νοημοσύνη οπως του ανθρώπου σε εναν υπολογιστή απλα είναι θεμα χρόνου αυτό
κάνε και ένα βίντεο-μάθημα για τα αναδρομικά νευρωνικά δίκτυα... νομίζω θα έχει ενδιαφέρον...