J'espère que la vidéo vous a plu ! Très grosse vidéo, + de 1000 lignes d'animations Manim, mais le sujet vaut bien cela. N'hésitez pas à commenter et partager ça ferait super plaisir ! Quelques ressources et commentaires pour aller plus loin : - évidemment, cette vidéo se base sur les deux récents papiers de recherche d'Antropic AI : Towards Monosemanticity (transformer-circuits.pub/2023/monosemantic-features/index.html) d'octobre 2023, et Scaling Monosemanticity (transformer-circuits.pub/2024/scaling-monosemanticity/index.html). Ces deux papiers sont des bijoux si vous voulez rentrer plus dans les détails (même si la vidéo aborde déjà pas mal des détails des papiers!) - plus récemment, OpenAI a publié les mêmes travaux sur GPT-2 et GPT-4 : openai.com/index/extracting-concepts-from-gpt-4/. Il y a aussi une démo pour voir les concepts trouvés, même si beaucoup moins fourni qu'Anthropic (pas de manipulation de concepts, pas d'analyse des concepts influents etc). Comme mentionné dans la vidéo, une analyse précédente avait été faite il y a 1 an, qui se basait sur les neurones seulement : openaipublic.blob.core.windows.net/neuron-explainer/paper/index.html - dans cette vidéo, pour passer les détails, on a expliqué le fait que les neurones soient polysémiques par l'hypothèse de la superposition de concepts clairsemés. En fait, oui, mais attention ce n'est pas une CN : il peut y avoir polysémie via d'autres phénomènes que la superposition. Pour en savoir plus, voir ce lien : www.lesswrong.com/posts/8EyCQKuWo6swZpagS/superposition-is-not-just-neuron-polysemanticity - tout récemment, deux initiatives ont vu le jour pour interpréter Llama 3 8B. Une première qui analyse seulement les neurones : www.lesswrong.com/posts/TA9eEgiWJfgBcJ7wn/exploring-llama-3-8b-mlp-neurons#:~:text=Note%20that%20the%20Llama%2D3,neurons%20in%20the%20entire%20network. Une seconde initiative a aussi été lancée pour rechercher des concepts dans Llama 3 8B via un SAE : x.com/i/bookmarks?post_id=1800780528549044599 - qu'est-ce que l'interprétabilité mécanistique ? C'est le domaine de l'IA dans lequel s'inscrit cette vidéo. Zoom sur le modèle InceptionV1, un modèle de vision : ruclips.net/video/jGCvY4gNnA8/видео.html - le SAE et la place qu'il prend en ce moment dans la recherche en IA : x.com/i/bookmarks?post_id=1801884637481857231 - le code du projet de la génération des noms de commune + l'analyse des neurones et des concepts : github.com/alxndrTL/villes
Très intéressant d'essayer de savoir ce qu'ils ont dans le crâne, pour le problème de l'alignement ou de l'honneteté des réseaux de neurones, cela pourrait devenir fondamental. Bravo pour le sérieux et l'absence d'effets de manches de ta vidéo !
@@alexandretl pas sûr que ça suffise, je te conseille de lire le blog post "Against Almost Every Theory of Impact of Interpretability" de Charbel-Raphael Segerie, mais ça n'en reste pas moins passionnant !
Excellentes vidéos !!! (joli rappel à mes anciens cours de stats ...). Je conseillerait de regarder les vidéo dans l'ordre inverse de leur sortie (pour celles que j'ai vues) : d'abord "Comment interpréter ce qui se passe dans un réseau de neurones ?" puis ensuite "Qu'est-ce qui se passe dans un réseau de neurones ?". Je crois qu'il est plus facile pour le commun des mortels de comprendre des usage de "concepts" et de leur mesures, pour finir cette excellente vidéo avec le passage de l'algèbre linéaire, et de regarder l'autre, qui explique de manière beaucoup plus pointue ces usages mathématique. Excellente vulgarisation sur des sujets très complexes !! On peut très vite comprendre les extrapolations de problèmes dans des modèles à milliards de paramètres, réductions de dimensions parfois trop grandes, et donc les problèmes "d'hallucination d'IA" parce que la réduction des données a été trop grande et engendre des biais énormes qui n'ont plus de sens sur certains résultats, mais alors l'incapacité à retracer exactement tout ce que fait un modèle IA et ou peut se trouver le "bug de design conceptuel" ...(?)
Merci pour ce retour ! -Oui j'avais d'abord mis dans la playlist la première vidéo mais en effet celle-ci est plus abordable tout compte fait -Oui c'est ça qui sera intéressant par la suite : pouvoir analyser ces réseaux de neurones comme des programmes classiques et trouver des "bugs" pour éventuellement les corriger
Bravo pour ta vidéo très intéressante et qualitative Alexandre, cela m'a permis d'en connaitre un peu plus sur les réseaux de neurones, du coup je vais regarder tes autres vidéo !
Pourrais-tu faire une vidéo sur ton modèle qui génére des noms de commune ? Ca à l'air intéressant ! Ce modèle peut-il être fait sur le modèle d'un MLP ? J'ai du mal à voir comment calculer l'erreur afin de la rétropropager
C'est justement en préparation aha! En fait en vidéo on verra différents modèles plus ou moins performants, et il y aura le MLP en seconde position! Oui en parlera du coût, en fait c'est exactement comme un problème de classification comme MNIST
17:41 Si on prend un modèle non modifié et qu'on pose une question sur le seconde guerre mondiale, est ce qu'on peut artificiellement faire en sorte que le modèle soit obsédé par le concept "Golden Bridge" en mettant par exemple 1000 fois dans le prompt "Golden Bridge" ? J'ai essayé avec GPT 3 et ça n'a pas marché (j'ai associé environ 100 mots "Golden Bridge" dans le prompt), alors à voir si on peut augmenter l'importance de ce concept artificiellement.
Oui ça pourrait peut-être marcher (je me rappelle d'un "bug" il y a quelques mois où l'on mettait comme tu dis beaucoup de fois le même mot dans un prompt et ça faisait dire n'importe quoi au modèle). Après de là à pouvoir contrôler correctement le modèle c'est assez difficile. Et en pratique les modèles ont été alignés/contrôlés donc c'est encore plus difficile.
Un truc m'a fait sourire, fortement, c'est la taille de l'échantillon 16/32/64... qui n'est absolument pas représentatif d'un modèle en centaines de milliards ! Mais comme si ça ne suffisait pas, tu considéres insignifiant l'écart de 8% des polysemiques (donc totalement monstrueux en réalité 😂😂😂)... qui suggère une courbe exponentielle, bien au contraire qui mènerait à une quasi extinction des monosemiques en a peine quelques multiplications par 2 supplémentaires (ce dont je doute). Ce nest pas l'écart qui est non signifiant, c'est l'échantillon en fait. Il serait quand même plus sérieux de faire une étude en millions et avec des écarts de x10 ou x100 pour avoir une idée de ce qui se passe. Pour le reste merci c'est très instructif
Je ne pense pas que nous parlons de la même chose. Les tailles 16/32/64 ne correspondent pas à des "échantillons", mais bien à des nombres de neurones dans les modèles (qui, dans cette Partie 3, n'en possèdent pas des centaines de milliards). Il n'y a donc aucun échantillonnage ici, *tous* les neurones ont été analysés. L'idée de l'expérience était seulement de comparer avec ce qui avait été fait en Partie 2, sur une tâche beaucoup plus simple, et donc sur une série de modèles eux-aussi beaucoup plus petits. Evidemment, et comme suggéré dans la vidéo, tirer une conclusion de ce petit exemple sur des modèles à des centaines de milliards de paramètres n'est pas qqchose à faire (comme vous le dites, on pourrait prévoir une extinction des monosémiques ce qui n'est pas le cas). Les modèles géants ont des dyanmiques beaucoup plus complexes. L'idée de l'expérience n'était pas ça, c'était juste de voir l'effet de l'augmentation de la taille du modèle. Pour finir sur ma réponse, je considère insignifiant l'écart de 8% car, je ne l'ai pas dit mais désigner un neurone (ou même un concept) comme polysémique/monosémique dans ce cas est assez difficile, des fois il est à majorité polysémique mais un exemple vient contre-dire cela, etc. Donc il y a une certaine variation sur ces résultats. J'espère que cela vous aura aidé.
![The moment we stopped understanding AI [AlexNet]](http://i.ytimg.com/vi/UZDiGooFs54/mqdefault.jpg)
J'espère que la vidéo vous a plu ! Très grosse vidéo, + de 1000 lignes d'animations Manim, mais le sujet vaut bien cela.
N'hésitez pas à commenter et partager ça ferait super plaisir !
Quelques ressources et commentaires pour aller plus loin :
- évidemment, cette vidéo se base sur les deux récents papiers de recherche d'Antropic AI : Towards Monosemanticity (transformer-circuits.pub/2023/monosemantic-features/index.html) d'octobre 2023, et Scaling Monosemanticity (transformer-circuits.pub/2024/scaling-monosemanticity/index.html). Ces deux papiers sont des bijoux si vous voulez rentrer plus dans les détails (même si la vidéo aborde déjà pas mal des détails des papiers!)
- plus récemment, OpenAI a publié les mêmes travaux sur GPT-2 et GPT-4 : openai.com/index/extracting-concepts-from-gpt-4/. Il y a aussi une démo pour voir les concepts trouvés, même si beaucoup moins fourni qu'Anthropic (pas de manipulation de concepts, pas d'analyse des concepts influents etc). Comme mentionné dans la vidéo, une analyse précédente avait été faite il y a 1 an, qui se basait sur les neurones seulement : openaipublic.blob.core.windows.net/neuron-explainer/paper/index.html
- dans cette vidéo, pour passer les détails, on a expliqué le fait que les neurones soient polysémiques par l'hypothèse de la superposition de concepts clairsemés. En fait, oui, mais attention ce n'est pas une CN : il peut y avoir polysémie via d'autres phénomènes que la superposition. Pour en savoir plus, voir ce lien : www.lesswrong.com/posts/8EyCQKuWo6swZpagS/superposition-is-not-just-neuron-polysemanticity
- tout récemment, deux initiatives ont vu le jour pour interpréter Llama 3 8B. Une première qui analyse seulement les neurones : www.lesswrong.com/posts/TA9eEgiWJfgBcJ7wn/exploring-llama-3-8b-mlp-neurons#:~:text=Note%20that%20the%20Llama%2D3,neurons%20in%20the%20entire%20network. Une seconde initiative a aussi été lancée pour rechercher des concepts dans Llama 3 8B via un SAE : x.com/i/bookmarks?post_id=1800780528549044599
- qu'est-ce que l'interprétabilité mécanistique ? C'est le domaine de l'IA dans lequel s'inscrit cette vidéo. Zoom sur le modèle InceptionV1, un modèle de vision : ruclips.net/video/jGCvY4gNnA8/видео.html
- le SAE et la place qu'il prend en ce moment dans la recherche en IA : x.com/i/bookmarks?post_id=1801884637481857231
- le code du projet de la génération des noms de commune + l'analyse des neurones et des concepts : github.com/alxndrTL/villes
Tout est fait avec Manim uniquement?
@@alexis91459 Non seulement la partie 2, le reste c'est avec keynote
Très intéressant d'essayer de savoir ce qu'ils ont dans le crâne, pour le problème de l'alignement ou de l'honneteté des réseaux de neurones, cela pourrait devenir fondamental. Bravo pour le sérieux et l'absence d'effets de manches de ta vidéo !
Merci beaucoup pour ton retour qui fait très plaisir !
@@alexandretl pas sûr que ça suffise, je te conseille de lire le blog post "Against Almost Every Theory of Impact of Interpretability" de Charbel-Raphael Segerie, mais ça n'en reste pas moins passionnant !
Très intéressant, merci pour ce contenu de haute qualité, sans flagornerie !
Et merci Kamil 😉
Merci pour ce travail remarquable
Mais pourquoi cette chaine est si peu connu 😢
Je la recomande chaleureusement aux copains perso!
Excellentes vidéos !!! (joli rappel à mes anciens cours de stats ...).
Je conseillerait de regarder les vidéo dans l'ordre inverse de leur sortie (pour celles que j'ai vues) : d'abord "Comment interpréter ce qui se passe dans un réseau de neurones ?" puis ensuite "Qu'est-ce qui se passe dans un réseau de neurones ?". Je crois qu'il est plus facile pour le commun des mortels de comprendre des usage de "concepts" et de leur mesures, pour finir cette excellente vidéo avec le passage de l'algèbre linéaire, et de regarder l'autre, qui explique de manière beaucoup plus pointue ces usages mathématique. Excellente vulgarisation sur des sujets très complexes !! On peut très vite comprendre les extrapolations de problèmes dans des modèles à milliards de paramètres, réductions de dimensions parfois trop grandes, et donc les problèmes "d'hallucination d'IA" parce que la réduction des données a été trop grande et engendre des biais énormes qui n'ont plus de sens sur certains résultats, mais alors l'incapacité à retracer exactement tout ce que fait un modèle IA et ou peut se trouver le "bug de design conceptuel" ...(?)
Merci pour ce retour !
-Oui j'avais d'abord mis dans la playlist la première vidéo mais en effet celle-ci est plus abordable tout compte fait
-Oui c'est ça qui sera intéressant par la suite : pouvoir analyser ces réseaux de neurones comme des programmes classiques et trouver des "bugs" pour éventuellement les corriger
Merci beaucoup pour cette superbe vidéo
Joli travail 🙌🏼
Merci pour ton travail, tes explications sont toujours très claires!
Merci pour ce retour!
Vraiment super vidéo! Très intéressant, très bien tourné et très clair! J'attends les prochaines vidéos avec impatience!
Ca fait super plaisir merci !
Bravo pour ta vidéo très intéressante et qualitative Alexandre, cela m'a permis d'en connaitre un peu plus sur les réseaux de neurones, du coup je vais regarder tes autres vidéo !
Merci beaucoup pour le retour, bon visionnage !
merci pour cette vidéo très intéressante :)
incroyable incroyable incroyable c'est passionnant. merci à toi vraiment tu rends ça clair à moi qui n'ai aucune connaissance pointue sur ce sujet
Merci pour ton commentaire c'est très encourageant!
HEY merci pour ton travail.
Super vidéo !
Excellent travail, merci beaucoup
Excellente vidéo merci !! 👌🏼
Merci pour la vidéo,
c est top
top quali 👌
Superbe vidéo. Est-ce qu'une L3 en mathématiques permet de lire les sources que vous avez partagé ?
Merci! Oui largement je pense (les ressources sont plutôt orientées utilisation et pratique que maths)
Pourrais-tu faire une vidéo sur ton modèle qui génére des noms de commune ? Ca à l'air intéressant ! Ce modèle peut-il être fait sur le modèle d'un MLP ? J'ai du mal à voir comment calculer l'erreur afin de la rétropropager
C'est justement en préparation aha! En fait en vidéo on verra différents modèles plus ou moins performants, et il y aura le MLP en seconde position! Oui en parlera du coût, en fait c'est exactement comme un problème de classification comme MNIST
17:41 Si on prend un modèle non modifié et qu'on pose une question sur le seconde guerre mondiale, est ce qu'on peut artificiellement faire en sorte que le modèle soit obsédé par le concept "Golden Bridge" en mettant par exemple 1000 fois dans le prompt "Golden Bridge" ? J'ai essayé avec GPT 3 et ça n'a pas marché (j'ai associé environ 100 mots "Golden Bridge" dans le prompt), alors à voir si on peut augmenter l'importance de ce concept artificiellement.
Oui ça pourrait peut-être marcher (je me rappelle d'un "bug" il y a quelques mois où l'on mettait comme tu dis beaucoup de fois le même mot dans un prompt et ça faisait dire n'importe quoi au modèle). Après de là à pouvoir contrôler correctement le modèle c'est assez difficile. Et en pratique les modèles ont été alignés/contrôlés donc c'est encore plus difficile.
Un truc m'a fait sourire, fortement, c'est la taille de l'échantillon 16/32/64... qui n'est absolument pas représentatif d'un modèle en centaines de milliards ! Mais comme si ça ne suffisait pas, tu considéres insignifiant l'écart de 8% des polysemiques (donc totalement monstrueux en réalité 😂😂😂)... qui suggère une courbe exponentielle, bien au contraire qui mènerait à une quasi extinction des monosemiques en a peine quelques multiplications par 2 supplémentaires (ce dont je doute). Ce nest pas l'écart qui est non signifiant, c'est l'échantillon en fait. Il serait quand même plus sérieux de faire une étude en millions et avec des écarts de x10 ou x100 pour avoir une idée de ce qui se passe. Pour le reste merci c'est très instructif
Je ne pense pas que nous parlons de la même chose.
Les tailles 16/32/64 ne correspondent pas à des "échantillons", mais bien à des nombres de neurones dans les modèles (qui, dans cette Partie 3, n'en possèdent pas des centaines de milliards). Il n'y a donc aucun échantillonnage ici, *tous* les neurones ont été analysés.
L'idée de l'expérience était seulement de comparer avec ce qui avait été fait en Partie 2, sur une tâche beaucoup plus simple, et donc sur une série de modèles eux-aussi beaucoup plus petits.
Evidemment, et comme suggéré dans la vidéo, tirer une conclusion de ce petit exemple sur des modèles à des centaines de milliards de paramètres n'est pas qqchose à faire (comme vous le dites, on pourrait prévoir une extinction des monosémiques ce qui n'est pas le cas). Les modèles géants ont des dyanmiques beaucoup plus complexes. L'idée de l'expérience n'était pas ça, c'était juste de voir l'effet de l'augmentation de la taille du modèle.
Pour finir sur ma réponse, je considère insignifiant l'écart de 8% car, je ne l'ai pas dit mais désigner un neurone (ou même un concept) comme polysémique/monosémique dans ce cas est assez difficile, des fois il est à majorité polysémique mais un exemple vient contre-dire cela, etc. Donc il y a une certaine variation sur ces résultats.
J'espère que cela vous aura aidé.