La mémoire ne suffit pas | Intelligence Artificielle 8
HTML-код
- Опубликовано: 17 сен 2024
- Dans cette vidéo, on introduit le formalisme de l'apprentissage supervisé, et on étudie les propriétés d'un premier algorithme d'apprentissage : celui des k plus proches voisins, aussi connu sous le nom de k-nearest neighbour.
Facebook : / science4allorg
Twitter : / science__4__all
Tipeee : www.tipeee.com...
Moi en podcast avec Mr Phi :
Version RUclips : / @axiome7403
Version Audio : feeds.feedburne...
Sous-titres sur les autres vidéos : www.youtube.com...
Les algorithmes du vivant | TEDxSaclay
• Les algorithmes du viv...
La quatrième dimension #4 - l'hypercube | Micmaths
• La quatrième dimension...
Le deep learning | Science Étonnante
• Le deep learning
Incomplétude | Passe-Science
• Le théorème d'incomplé...
Processing LHC Data | CERN
• Processing LHC Data
À chacun sa morale ? Relativisme vs réalisme | Monsieur Phi
• À CHACUN SA MORALE ? |...
Le fait qu'un cerveau d'enfant ait une complexité algorithmique de l'orde du giga octet ouvre des perspectives absolument dingues.
Ces fins de video/réponse aux commentaires sont vraiment une excellente idée a mon sens, je pense que t'es le seul a faire ça de cette manière et j'trouve que ça apporte beaucoup au travail de vulgarisation que tu fais, surtout vu le niveau des commentaires. ^^
Merci Lê pour ton travail.
Ce que Lê mentionne dans la vidéo sur les problèmes de dimensions s'appelle la malédiction de la dimension(curse of dimensionality). En ce moment, il y a un cours de Stephane Mallat sur le sujet au collège de France.
Remarque pertinente, à laquelle je propose d'apporter comme petits correctifs linguistiques (poussé, il est vrai, par le nombre impressionnant de commentaires défenseurs de la langue française):
- malédiction ou fléau de la dimension.
- Lê.
J'ai trouvé cet épisode génial, merci !
La phrase de monsieur phi sortie de son contexte le ferait passer pour un dangereux psychopathe
Rhoooo ça va, c'était un enfant, ça compte pas vraiment, non ?
Yeah les choses sérieuses commencent on dirait ! Super vidéo
Si mon ami Durendal a aimé un film je sais que je ne vais pas aimer ce film. S'il l' a détesté il est probable que j'adore, sauf s'il s'agit de Prometheus. Mais comment savoir qu'il n'y aura pas d'autres Prometheus statistiques ? Mince alors.
En prennant beaucoup de films, le ratio "Prometeus" sera soit faible, et donc la prédiction "assez" fiable, soit il sera élevé, et on pourra considérer la prédiction comme non significative statistiquement = besoin de prendre en compte d'autres paramètres. On peut ainsi, pour un groupe d'individus donné définir pour n paramètres, le taux de corrélation maximal atteint (et il existe des méthodes pour rapidement trouver ces bons paramètres) lorsque le taux maximal atteint un certain seul, on considère les individus "reliés par ce paramètre". De la même manière, si on a du mal à extraire des paramètres significatifs, on peut trouver des sous-groupes avec de meilleurs taux de corrélation. Plus les groupes sont grands et liés par un fort taux de corrélation, plus on peut considérer la communauté des individus comme forte (et donc susceptible se se comporter de la même manière).
Dans la vidéo, l'utilisation du kNN est vraiment bien illustrée et bien vulgarisée.
Je ne sais plus si c'est précisé dans la vidéo (si c'est le cas je m'en excuse), mais on peut préciser qu'il existe plusieurs types d'algorithmes d'apprentissage : supervisés, non supervisés, renforcement, et d'autres.
Le KNN, présenté dans cette vidéo, est un algo supervisé.
La plupart des algorithmes supervisés peuvent être utilisés de deux façons :
- pour de la classification : lorsque la cible à prédire est un indice de classe, une valeur discrète (un label).
- pour de la régression : lorsque la cible à prédire est une valeur continue, un nombre réel.
L'exemple de la vidéo est un algo de classification supervisé pour de la classification.
Pour ceux que ça intéresse, y a Stephane Mallat qui fait, en ce moment, un cours au Collège de France sur l'apprentissage et la malédiction de la dimensionalité. ( www.college-de-france.fr/site/en-stephane-mallat/course-2017-2018.htm )
Sujet très ingénieusement bien expliqué ! Facile à suivre et comprendre avec une bonne vitesse d'élocution ce qui est appréciable je trouve
Comme à chaque fois super vidéo, j'apprécie vraiment ton analogie plutôt "scolaire" des k plus proches voisine et surtout celle de la complexité d'échantillonnage, choses que "j'utilisais" sans vraiment comprendre. C'est cool de pouvoirs avoir des réelles explications qui sont à la porter d'un lycéen, sa change de Wikipédia qui est carrément imbuvable à mon niveau. Sinon tu semble être lancé sur un épisode sur l'apprentissage supervisé pour lundi prochain, je voulais savoir si tu pensais faire un épisode sur l'apprentissage non supervisés (Q-learning).
Salut Lê :)
C'était pour dire qu'un code génétique ne suffit pas à lui-seul à donner les consignes à une cellule, il faut également au moins connaitre la méthylation des histone et celle des cytosines (c'est ce qu'on appelle l'épigénétique). Merci pour tes vidéos !
L'épigénétique, d'un point de vue informationnel, c'est du (biological) learning! C'est puiser de l'information de l'environnement ;)
Les modifications épigénétiques intègrent des informations environnementales en effet, mais d'un autres côté elles servent aussi de mémoire : par exemple pour les gènes soumis à l'empreinte parentale. Du coup, la complexité du cerveau de l'enfant ne dépendrait-elle pas en partie de la complexité du cerveau de ses ancêtres, je ne suis pas sûr mais dans ce cas la ne peut-on pas relier la complexité du cerveau de l'enfant à l'entropie du réseaux qui le relit à ses ancêtres + sa complexité intrinsèque ?
En plus, le fait d'intégrer de l'information non-intrinsèque à l'individu permet de réduire le champs de possible et en quelque sorte initialiser le programme d'apprentissage de manière adaptée à l'état de l'environnement à l'instant t0 : c'est comme si on avait un algorithme qui au fur est à mesure de ses réinitialisations devient de plus en plus performant ! Ainsi, on contourne le problème du No Free Lunch Theorem puisque l'algorithme est capable de réduire lui même et automatiquement son champ de recherche et c'est donc le seul algorithme capable de se battre lui-même sur toute les questions possibles ! Je divague sûrement mais ça laisse penser que l’intelligence humaine est vouée à augmenter indéfiniment...
PS : Merci pour ton travail sur tes vidéos elle sont toujours extrêmement intéressantes et divertissantes ;)
je suis fan de ta chaîne et mais tu devrais vraiment soigner la qualité du son, car là ton son est vraiment sourd.
Sinon sur le fond c toujours aussi pertinent et passionnant.
Tu expliques super bien, je suis un fanboy depuis quelques années, continue man
On peut dire qu'il y a déjà une sorte de sélection des meilleurs algorithmes de machine learning qui s'applique : seul les articles de recherche de machine learning les plus cités, dont on peut supposer qu'ils ont les méthodes les plus performantes, vont "survivre" (c'est-à-dire qu'ils seront réutilisés) dans le temps. Il y a une sorte de sélection naturelle sur les articles de recherche.
Salut Lê !
Très intéressante ta vidéo comme d'habitude !
Un petit point de détail cependant qui me fait hérisser le poil (même si ce n'est pas le fond du problème) : Attention quand tu parles de "code génétique", je sais que c'est pour faire un parallèle avec le code informatique mais ça veut dire autre chose : le code génétique c'est la "clé" de traduction qu'utilisent les ribosomes lorsqu'ils synthétisent les protéines à partir de la séquence d'un ARNmessager (lui-même complémentaire d'un des deux brins d'ADN). En gros c'est une table qui fait correspondre trois lettres de l'ADN (ex :GGG) avec un acide aminé (GLY dans ce cas-là)un peu comme le code morse qui fait correspondre une lettre à un suite de points et de traits.
Ce qui fait 3 milliards de caractères c'est plutôt le génome humain :)
Tout à fait passionnant !
Bonjour, a propos de la complexité de snolomonof, es que en informatique par rapport au vivant, l'on tien compte de la symbiose ? Aussi bien au niveau de la flore intestinale que des relation entre differante espece d'oiseau (une espece d'oiseau fait élever ses petit par une autre et par contrainte) ou encore au niveau de l'organisation d'un état (celui des Hommes).
🤗
Un grand merci pour cette vidéo très bien expliquée!
Cool j'aime ce vous faite. Mes encouragements.
Super vidéo qui introduit de manière vraiment naturelle et appropriée le fléau de la dimension!
3:19 L'intégration de Mr.phi absolument magnifique xD
Salut Lê ! D'abord merci pour tes vidéos, je les trouve simplement énormes, j'ai beaucoup appris et surtout réfléchi en les regardant, sans parler de ton Ted Talk ! Je m'étais toujours (enfin façon de parler ;) ) demandé ce que Turing avait été faire du côté de la morphogénèse et là tout prend son sens. Enfin bref, c'est là que ce commentaire se transforme en question. Je souhaiterais revenir sur ta réponse à Laborantin du temps, sur le principe d'une IA créant une autre IA et particulièrement sur l'incapacité de la seconde à être plus complexe que la première. J'ai deux idées en tête. La première est de penser l'IA fille comme une nouvelle entité ( possiblement abstraite) avec laquelle la première IA interagirait. Comme si un algorithme en écrivait un second avec lequel il pourrait échanger des informations, mais dans "l'espace" des IA. En somme, comme une sorte de clone de la première. Je me demande alors, est-ce que l'IA résultant de la somme des deux ne pourrait pas avoir un plus haut degrés de complexité ? En soit, ne serait-ce pas un moyen d'augmenter en quelque sorte l'entropie (au sens de Kolmogorov, si ça a du sens de réfléchir en terme de système dynamique) du système complet, pour permettre une meilleure exploration de l'ensemble des IA ? Ce que je me dis, c'est que si l'IA est un objet qu'on peut qualifier de chaotique (ce qui ne me semble pas complètement fou au vue des avancées qui sont faites dans les dynamiques de réseaux neuronaux, et me semble-t-il, dans l'utilisation de propriétés chaotiques de ceux-ci pour améliorer la résilience dans l'apprentissage d'un input), ou au minimum de complexe, l'introduction d'un clone ne pourrait-elle donner lieu à des comportements non triviaux du point de vue de la première IA ? La seconde question est relative à l'inclusion du hasard dans le clone. En effet, si la réponse à la question précédente est non, alors pourquoi ne pas penser le clone, non pas comme une nouvelle IA générée aléatoirement mais plutôt présentant une petite modification aléatoire ? En ce cas les deux IA seraient bien différentes et leurs interactions pourraient potentiellement donner lieu à de nouveaux comportements et peut-être même plus de robustesse dans l'apprentissage... Et en ce sens, on pourrait penser à créer plusieurs IA filles pour créer un réseau d'IA, un peu comme David Louapre montre dans sa vidéo sur les automates cellulaires, avec des sortes de règles d'interactions et peut-être des conditions pour garder ou supprimer la dernière IA créée, selon sa pertinence. Bon tout ça est peut-être un peu flou, et tu comprendras, au vue de mes tentatives de ramener la réflexion aux systèmes dynamiques, que c'est plutôt ce domaine que j'étudie (conditionnement ? non...^^).
Tes videos sont super interessantes, super accessible pour le grand public. Merci
Humble je dois être ! Impressionné je suis.
C'est toujours aussi génial !
Je voulais savoir si, admettons on créer une IA "parfaite", sera-t-elle capable de comprendre EXACTEMENT comment elle fonctionne ? Je veux dire même les choses qui seront floues, voir impossible de comprendre pour un humain. (Réseaux de neurones, etc ...) Merci !
Selon mon avis elle peut comprendre son fonctionnement mais pas comprendre l'intégralité de son "algorithme" en même temps
Tout dépend de ce qu'il y a derrière le mot comprendre. Ca voudrait dire quoi pour une machine, comprendre ? et, ca veut dire quoi, parfaite ?
Pour un humain, on pourrait dire que comprendre signifie expliquer ses choix et ses décisions. Si on utilise la même définition pour une machine, alors on ne peut pas dire qu'elle les comprend car elle n'a pas conscience de ce qu'elle fait (c'est pareil pour certains animaux qui n'ont pas de conscience et ne sont pas capable de mesure les conséquences de leurs actions sur l'environnement ou leurs congénères). Néanmoins, ce qu'on demande à un algorithme d'IA aujourd'hui, c'est que la décision prise soit suffisamment explicite pour qu'un humain puisse en expliquer l'origine. Les réseaux de neurones n'offrent pas cette explication pour le moment, c'est pour ça qu'ils sont interdits d'utilisation par les assurances pour déterminer les clients à risque (loi européenne d'il y a un an).
Merci pour cette vidéo!
sympa ! le "kernel trick" est aussi très utilisé pour contracter le volume des espaces d'hilbert transformés
C'est marrant, mais c'est exactement mon sujet de these. Je developpe une approche kNN pour les 'sparse data' ou on a peut echantillons par label. Pour l'instant par ex, a partir d'une seule image IRM d'un patient, je peux retrouve dans une base de donnee de milliers de sujets si il a deja ete scanne auparavant ou pas (simplement sur ces caracteristiques anatomiques), ou meme si son jumeaux (a condition qu'ils soient vrai jumeau) a ete scanner, et ceux en quelques secondes (1-2s pour 3000 sujets dans la bdd). Grace a cela, j'ai pu decouvrir des erreurs de labelisation des donnees meme dans certaines base de donnees.
wo super intéressant ça, une IRM laisse transparaître des traces d'un scanner précédent ou l'irm c'est juste les features et le scan/pas scan le label ?
chameau thessa Non en fait les features sont extraites du scan IRM ( = pattern de matiere blanche / matiere grise par ex), et le label est l'id du patient, mais le label n'est pas vraiment necessaire ici. Une fois les features extraites, on est capable, via une approche kNN 'customise' de verifie si cette personne est deja dans la base de donnee ( = a deja ete scannee auparavant). L'IRM ne laisse pas de 'trace'. On compare seulement l'anatomie du sujet a l'anatomie de tous les sujets dans la bdd, et on peut verifie en quelque seconde si le nouveau sujet est deja present dans la bdd.
ah d'accord merci, je me demandais juste si c'était aussi interprétable à l'oeil nu la classification (knn 2 classes)
Comment ca ?
un spécialiste face à une IRM est-il capable de conjecturer l'existence d'un scanner précédent ?
Je n'ai pas vu la vidéo, j'ai déjà très peur. "La logique ne suffit pas." puis, "la mémoire ne suffit pas", et ensuite ce sera quoi ? "Le hasard ne suffit pas." et ensuite on va se retrouver avec rien ne suffit, et en fait il n'y a pas de solution du jeu de l’imitation xD
Bon je dis ça complètement à chaud, mais ce serait drôle de dire qu'en fait le problème est bien plus compliqué que l'on le pense ><
Sur ce, après ce petit commentaire à chaud, je m'en vais de ce pas regarder cette à 99,999999999...% incroyable vidéo :D
Pour que l'algorithme du plus proche voisin puisse marcher il ne faudrait pas que la fonction qui à x associe y soit continue ? Si elle est discontinue on ne peut en rien certifier que la prédiction de x' de rapproche de celle de x même si les deux sont proches ?
Oui ! En effet, il y a des hypothèses techniques que je n'ai pas mentionné. En particulier, il faut que la distribution des x soit un une combinaison de Dirac et de distribution absolument continue par rapport à la métrique de l'espace des features.
Hello, il semble y avoir un élément, en dehors du hasard, capable de faire en sorte que la complexité de Solomonov d'un programme fils soit plus importante que celle du programme père: les données extérieures. L'apprentissage c'est la transformation d'un programme dans un contexte d'exposition à un certain environnement. Cet apprentissage dépend de la complexité du monde, de ses formes de cohérence, de son organisation hiérarchique et structurelle. Le cerveau d'un enfant pourrait il devenir ce qu'il est sans interaction? dans une pièce vide, noir et sans bruit? Il en est très certainement incapable. Ça semble une des clefs de l'apprentissage, réussir à exhiber un programme de complexité faible, capable de capturer la complexité de l'environnement auquel il est soumis. A méditer
NB: au temps pour moi, ce que je viens de dire est trivial.
Oui ! C'est justement l'argument ! L'environnement est indispensable pour aller y puiser de la complexité de Solomonoff utile :P
Oui c'etait mon instant captain obvious
Donc finalement l’aléatoire nécessaire à la "sophistication de Solomonoff" serait les informations auxquelles l'algorithme n'a pas accès à la base : les données d'apprentissage.
Bravo, c'est top !
En tant que grand défenseur de la langue française, je te pardonne d'utiliser des mots anglais juste parce que tu l'as précisé en début de vidéo ! :) Faire des choix et les justifier est le plus important. (et puis, on parle d'informatique donc l'anglais est un peu la langue officielle de ce domaine)
Après, sur la vidéo en elle même, j'ai pas grand chose à dire XD c'est intéressant mais je me contente d'hocher la tête en comprenant vaguement l'idée. J'essaie de m'accrocher mais la démocratie, ça me parlait plus XD
mais ça me fait bizarre qu'il les prononce pas à la française.
les "fitur" et les "labelle".
Paul Amblard hahaha
Il existe déjà des moyens de réduire drastiquement le nombre de variables aléatoires sans avoir autant de données : l'Analayse en Composantes Principales (ou Multiples si on a des V.A. qualitatives). On perd une certaine partie des informations mais, si l'on garde les 5 variables les plus significatives, on garde souvent au moins 50% de l'information en pratique (nécessairement strictement supérieur à 5/N).
On en parlera !
Pour revenir sur la petite AI qui en produit une plus grosse : Tu dis qu'il est nécessaire de faire intervenir le hasard pour compenser le manque de "données" que la petite AI peut fournir...
Mais à ce moment là, la petite pourrait très bien avoir un "plan" pour la grosse, dans le sens où la grosse doit être capable de répondre à telle ou telle instruction pour être validée. À ce moment la petite pourrait générer des prototype via un "semi-hasard" jusqu'à avoir un rendu correspondant à son "plan".
Mais du coup :
- Il faudrait savoir définir très précisément quelles questions permettent de guider la création d'une AI via le hasard
- Est-ce que cela ne serait pas excessif de la créer via un "Trial and error"
- Si les deux conditions sont remplies, est ce que ça ne causerait pas de soucis d'avoir des IA remplissant la même fonction mais différentes dans leur conception (car issu du hasard)
- Oh mon dieu les IA vont développer un conscience et nous exterminer !!!
- Bonne vidéo, continu !
Passionnant de plus en plus passionnant d'ailleurs... Quand est-ce qu'on devra faire un exercice de math chef?
Encore merci pour ton travail !
Lê, est-tu un lecteur du blog Lesswrong ?
Yep ! Je suis très admiratif de Yudkowsky en particulier ;)
Bonjour je suis le gentil commentaire pour le referencement
salut
Super épisode de la série
Sur le thème de la sophistication de Solomonov, que penser d'une IA utilisant une combinaison d'algorithmes type fourmis et/ou algorithme génétique pour générer puis « sélectionner » des codes sources d'IA aléatoires, plus grands qu'elle, mais pertinents, dans la résolution d'un problème qu'elle ne saurait résoudre d'elle-même ?
Yo,
Je pense que tu sous-estimes la puissance de l'algorithme KNN. Effectivement pour passer le test de Turing ce n'est pas vraiment adapté, en revanche c'est très utile pour beaucoup d'autres tâches (et c'est sur ces tâches qu'il y a de l'argent à se faire)
T'es-tu déjà posé la question de savoir à quoi sert la carte de fidélité d'un supermarché ? Non, ce n'est pas pour fidéliser la clientèle (rien n'empêche le client d'avoir une autre carte chez le concurrent). À l'aide de ta carte de fidélité, le supermarché connais tes habitudes de consommation. À l'aide de sondages bien choisi, et de l'utilisation de l'algorithme KNN, le supermarché sais combien tu gagnes, ton niveau d'éducation, ta forme physique et plein d'autres choses encore. En fait, une IA utilisant KNN et ayant accès aux données de ta carte de fidélité saura plus de choses sur toi qu'une IA passant le test de Turing et ayant accès à tes mails. En terme d'application pratique, libre au supermarché d'utiliser ces données pour prévoir des ventes (et donc optimiser sa logistique, négocier de meilleurs contrats avec ses fournisseurs, , etc.) ou bien vendre ces données au plus offrant (bonne chance pour savoir à quelle fin les données seront alors utilisées)
L'inconvénient de ne pas avoir de temps réel n'est pas vraiment problématique pour ces cas d'utilisation.
Mais il y a plus effrayant, reprends le cas de Facebook. Tu donnes l'exemple de prévoir ton appréciation d'un film. Il y a plus utile : prévoir les résultats d'une élection présidentielle. Avant le début officiel des campagnes. Et ça ça pose de nombreux problèmes éthiques. Est-ce que Facebook (ou une partie de ses employés) ont intérêt (ou la volonté) d'influencer le résultat d'une élection ? On parle de plus en plus de la trafication des flux de news sur les réseaux sociaux. Si Facebook le souhaitait, il pourrait assez facilement faire gagner un candidat choisi à l'avance. Et il serait très difficile de prouver ce type de trucage. Quid des lobbys/entreprises achetant les données de Facebook ?
Un parti politique a clairement intérêt à acquérir les données de Facebook pour optimiser sa campagne. Ce qui va bien sûr défavoriser les partis plus petits n'ayant pas les moyens d'acquérir ces données (et de payer le cabinet d'analyse qui va avec).
Là non plus on a pas besoin d'une analyse en temps réel.
Certe KNN ne parlera pas avec toi. Mais KNN sais pour qui tu votera aux prochaines élections.
Et du coup, tu disais qu'un programme ne peut pas produire un programme de complexité supérieure sans un apport extérieur...
Mais est ce qu'une "collaboration" de deux programme le pourrait ? Chaque programme étant l'apport extérieur de l"autre...
A l'instar des humains finalement.
Théo Fradin Au final faire coopérer deux machines avec deux codes distincts revient à faire fonctionner une seule machine avec le code des deux précédentes. Et le résultat sera le même (si ce n'est meilleur).
Pour reformuler la complexité de la coopération de deux programmes est au moins supérieure à la complexité du programme qui réunit ces deux là.
En espérant avoir répondu à ta question. :)
Oximix et donc il serait équivalent d'écrire le programme final à la main finalement
OK OK...
Je suppose que la notion de distance dans l'apprentissage supervisé est similaire que celle que l'on utilise pour créer des arbres KD . D'ailleurs utilise-t'on les BK tree dans le deep learning ?
Ça me fait penser à la microéconomie où l'on calcul les préférences des biens et services des consommateurs réunies en paniers en fonction de leur utilité... #multidisciplinarity. Au fait il y avait à Radio France soirée IA très intéressante ! Je gage que tu y sois allé ;)
0:41 "C'est un peu du Pareil au même" Je confirme :)
Dis Lê, voici la question dont la réponse pourrait-être 42 (joke inside) :
"Quelle est la complexité de Solomonoff de l'univers ?"
Dis autrement, quel est le code minimal à même de simuler l'univers ?
Alors, a priori on ne peut donner qu'un majorant et en plus en supposant une version discrète de l'univers. Et cela dépend des théories physiques dont on veut rendre compte. Mais il y a peut-être bien des débuts de réponses dans des versions simplifiées de la question, non ?
En tout cas, tu m'as donné envie d'y réfléchir alors je vais creuser.
Super vidéo, comme d'habitude. Si la complexité de solomonoff d'une IA capable de passer le test de Turing est évalué à disons 10^15, est-ce que cela nous renseigne sur la taille du training set et/ou de l'espace des faetures qui lui serait nécessaire ?
Salut ! Dans cet épisode tu fait ressortir la liaison entre l'algèbre linéaire et le deep learning que je veux étudier pour mon projet (tipe) de prépa. Aurais tu des sites ou explication pour me guider dans les études mathématiques ?
Oups,c'est pas la bonne vidéo de la série
Algorithme du plus proche voisin, caracteristiques et étiquettes.
Exemple : France, Paris octobre 1940.
Il y a un nouvel habitant dans mon immeuble.
Je l'ai croisé, la forme de son nez m'a donné une impression bizarre. Mais comme il avait l'air riche, j'avais bien envie de le fréquenter.
J'ai demandé à mon proche voisin, un super pote qui aime les mêmes types de personnes que moi.
Il a parlé avec lui.
Ouf... . Il m'a assuré que malgré la forme de son nez il n'était pas juif.
Tout va bien.
Et vivement le machine learning pour faire le tri entre les bons humains et les mauvais..., une belle société de normalisation.
Ouuuuiihhhh !
Que de niaiseries technoscientistes
Salut, excellent contenu comme toujours merci beaucoup :)
Il y a beaucoup d’indices que la complexité de Kolmogorov d’un algorithme capable de résoudre le test de Turing n’est pas si grande que ca :
- Presque tous les humains, qui ont pourtant un cerveau très différent peuvent le résoudre.
- Presque tous les humains, qui ont pourtant eu des expériences très différentes, peuvent le résoudre.
- Les humains peuvent presque toujours résoudre le test de Turing, même si ils perdent ou gagnent un grand nombre de neurones et/ou synapses.
- Il y a 7 milliards d’humains.
- Il y a très peu d’algorithmes capables de résoudre un problème particulier, proches de la complexité minimal pour résoudre ce problème.
Même si la complexité d’un humain particulier est grande (mais sans doute bien bien moins grande que son nombre de synapses), la complexité pour résoudre le test de Turing, ou plus généralement pour être intélligent, doit nécessairement être beaucoup moins grande.
Ceci dit, essayer de s’approcher de la complexisté de Kolmogorov d’un algorithme non trivial, c’est du délire, n’importe qui, qui a fait du "code golfing", et qui a aussi participé à des projets d’envergures peut s’en rendre compte facilement.
Il faut aussi voir qu’il y a quelque chose d’un peu "paradoxal" à vouloir approximer la complexité algorithmique de l’intelligence, quand on pense que ce qui fait l’intelligence est justement d’avoir des algorithmes avec une faible complexité temporelle, et que la complexité temporelle du plus petit algorithme capable de résoudre un problème donné est généralement très grande.
Super vidéo sinon, dont je partage largement les conclusions.
Cependant même si j’aime beaucoup la notion de complexité de Kolmogorov, je pense qu’il faudrait une notion un peu différente pour arriver à ces conclusions.
Vas-tu parler de l'explosion de l'utilisation de l'IA deepfake dans cette série ?
Très bonne vidéo :)
Pense tu à un épisode parler de probabilité/statistique?
On finira par (beaucoup) parler de probabilité sur Science4All... mais pas tant que ça dans cette série.
Ton holigannisme est assez fort pour te faire changer la prononciation des théorèmes ! Sacrée opinion... Mais tu sais c'est pas très grave moi je prononce les deux "EFIoksnjdxfbviNOSoonnrroooovvfff" Continues Lê :)
Le deep learning (ou autre) est certes différent de l'algorithme du plus proche voisin, mais qu'est-ce qui nous dit qu'il ne fait pas aussi que de la mémorisation, contrairement (?) à l'humain qui sait *vraiment* improviser dans une situation inconnue ?
Imagine une nouvelle couleurs qui n'existe pas, qui ne fais pas parti du spectre visible.
Le deep learning ne fait pas que de la mémorisation, tout simplement parce que la quantité d'information qui représente le modèle après l'apprentissage est plus faible que les données d'apprentissage qu'on lui a donné en entrée. Il ne s'agit donc pas d'une mémorisation par coeur.
TKZ on pourrait dire que le machine learning est une forme de compression d'un programme.
En quelque sorte, cependant je parlerais plutôt de modélisation. En effet, il ne s'agit pas seulement de compresser les données connues, mais également d'anticiper le fonctionnement des données inconnues (par exemple pour faire des prédictions).
Un modèle est une simplification (donc une compréhension en un certain sens) de la loi qui a permis de créer les données.
Ce matin au concours CCP en info, fallait programmer knn, ca ma plutôt aidé :D
Toujours au top ! On peut passer te voir à l'EPFL ou pas ? J'habite à côté
#merci
Intéressant, je ne suis pas mathématicien, ni programmeur, mais je me demande :
Ne peut on pas résoudre le problème de la grandeur de dimension 2 puissance (d) des KNN par un mécanisme séquentielle? par exemple prendre d= 2 prendre un seuil d’échantillonnage, par exemple les 10 000 voisin les plus proches, monter d'un dimension d=3 et ainsi de suite jusqu’à s’arrêter d-1 ou d est la dimension ou je perds tous les voisin dans un rayon proche considéré (ou du moins je descend sous un nombre minimale arbitrairement décidé), le calcul serait rapide, et la machine peut le refaire un nombre très élevé de fois, en changeant les (d) sur chaque séquence et en moyennant sa réponse sur le résultat du très grand nombre de séquence utilisé?
enfin je commet probablement bcp d'erreur, mais ta vidéo a le mérite de me faire aimer le métier de programmeur
ça ne fonctionnerai pas parce que deux points qui sont voisins dans certaines dimensions peuvent fort bien être très éloignés dans une autre.
Prenons 3 points de coordonnées (x,y,z) : A(0,0,0), B(1,0,0) et C(0,0,1000)
Si je tente de déterminer quels sont les deux points les plus proches en utilisant ta méthode, alors dans les dimensions (x,y) j'aurai A(0,0), B(1,0) et C(0,0) et on j'en déduirai que A et C sont les plus proches -ce qui n'est de toute évidence pas le cas en 3 dimensions.
Non mais ce qu'il propose @hamid derriche, si j'ai compris c'est de monter progressivement en dimension, pas de compresser la donnée en n'en perdant le sens.
Sinon oui je pense que tu as raison et qu'on fait même déjà comme ça pour éliminer beaucoup de potentiels voisin :) (c'est comme ça qu eje ferais aussi)
Le problème c'est que ce n'est qu'une optimisation et que tu ne diminue pas vraiment la complexité algorithmique, ça prend toujours énormément plus de temps à chaque dimension qu'on rajoute.
Une autre manière encore plus rapide serait de créer des "secteurs" progressivement, à chaque donnée qu'on rajoute, ce qui évite le traitement potentiellement massif lors des prédictions.
voilà, en fait si on prend un seul "individus" et qu'on cherche sa nouvelle position sur une dimension qu'on rajoute, en ayant déjà connaissance de sa position dans les dimensions précédentes, je suppose que le calcul est rapide, ainsi si on défini un rayon arbitraire sur une dimension donnée, supposons que le rayon contient 10 000 voisins, on monte d'une dimension en n'appliquant le calculs qu'à ces 10 000, sur la nouvelle dimension, mettons qu'il ne reste que 1000 voisin dans le rayon, on monte encore d'une dimension en appliquant le calcul que sur les 1000, et ainsi de suite, jusqu'à avoir un nombre minimal admis de voisins, je pense que ça serait rapide à calculer.
Il faudrait refaire ce calcul un très grand nombre de fois, pour essayer de prendre en compte le maximum de "d" possible, et moyenner les réponse, je me figure que c'est une bonne méthode, mais j'imagine que serait assez loin d'une prédiction KNN complète.
Le problème c'est que ce choix de "rayon arbitraire" n'est pas forcément trivial.
Si ton espace multidimensionnel est borné, ou si tu connais la distance moyenne séparant les objets dans cet espaces, dans ce cas oui, tu peux estimer un rayon qui te retournera un nombre d'objets pertinent.
En pratique c'est généralement le cas dans les applications informatiques, donc on peut procéder à ce genre d'optimisation.
Mais si on se penche sur une généralisation mathématique du problème, où cet espace n'est pas nécessairement fini, et où la distance moyenne entre les objets est inconnue, alors déterminer un rayon pertinent peut être un problème. Et même si on trouve un rayon qui nous ramène un nombre d'objets satisfaisant, il se peut que ce qui marche dans une partie de cet espace ne marche pas dans une autre, car les objets ne sont pas forcément répartis de manières uniformes.
Convertir la complexité de Solomonov (tu parles du million) en nombre de ligne de code me semble un abus : un bit n'est pas un octet, un octet n'est pas une ligne de code, une ligne de code en assembleur n'est pas une ligne de code en Python.
Tu dis que le machine learning est incontournable, mais c'est peut-être parce que tu (nous) n'avons pas encore découvert d'autres méthodes. (mais de toute façon, chapeau à Turing pour sa vision)
Pour la complexité des algorithmes qui ne peuvent pas donner lieu à des algorithmes plus complexe (sans incidence exterieure type hasard), ne pourrait-on concevoir un algorithme qui se duplique en n exemplaires qui communiquent entre eux afin d'en élaborer un plus complexe ?
Super série!
Une question tout de même, à la fin de l'épisode tu parles de transformer l'espace syntaxique en espace sémantique. Est-ce que ce résonnement ajoute un niveau d'abstraction au sujet d'étude? Existe t'il différent niveaux d'abstractions (ou de structures théorique pour se référer à la vidéo précédente) permettant une forme de "meta-deep learning" pour dans un premier temps apprendre et puis apprendre à apprendre?
Il semble enffet que oui. Plus le deep learning est "deep", plus son espace de sémantique semble "profond", au sens intuitif du terme. Coïncidence ? Je ne pense pas ;)
Merci pout ta réponse!
J'espère que ce sujet sera traité dans la suite de la série, sinon quel lecture/contenue peut tu conseiller pour creuser plus loin?
Juste une petite remarque sur la complexité du cerveau humain: on ne peut pas conclure que cette complexité soit réductible à l'adn (même pour un foetus) puisque le développement cérébral se fait à l'interface entre le code génétique et l'environnement.
Justement, c'est le mème principe que l'on cherche pour les IA :
le code correspond à l'adn, et les donnés qu'on leur fournie correspond à environnement.
JE m'étais fait la même remarque, ok, je voyais pas les choses comme ça ! bien vu !
et on en parle de l'épigénétique ? (joke)
Tout à fait. Lê s'est juste un peu contredit sur ce point.
Est ce que les notions de bien et de mal ne sont que des notions humaines et donc une IA utilisant le machine learning et issue du machine learning développée par des humains serait soumise à ces contraintes morales ou est hypothétiquement possible de supprimer cet aspect pour une IA ?
Au top Lê ! et oui pour répondre à ta question, cette vidéo, comme les autres m'a plu ! ;)
A priori, de la même manière qu'il existe des psychopathes - i.e. des individus qui ne comprennent pas ces notions-, il semble tout à fait probant que cela soit possible si l'on peut simuler le cerveau d'un individu "lambda".
Intéressant🌼🌼🌷
Pourquoi chaque photo d'un profil facebook doit-elle rajouter une dimension ? Utiliser l'age par exemple est bien plus pertinent pour etablir une similarité ou alors le nombre de photos postées en fonction du temps; cela pourrait servir de substitut. De plus, ils pourraient essayer de regrouper les posts par themes afin de reduire drastiquement le nombre de dimensions.
En disant tout ça, t'es déjà en train de faire du prémâcher le travail de l'IA. Pendant longtemps, c'est comme ça que les chercheurs en IA raisonnaient. Mais l'objectif ultime de l'IA, c'est qu'on n'ait pas à préciser tout cela à la machine. Idéalement, elle apprendrait tout ça toute seule !
Super intéressant !
Mais un truc dont je ne suis pas sûr c'est de mettre une borne supérieure à la complexité du cerveau de l'enfant en considérant la taille du génome qui l'a produit. Il faut prendre en compte l'épigénétique et le fait que les gènes sont interprétés par une autre machine (le corps de la mère) dans laquelle il se développe. Il y a une information accumulée dans les organismes et transmise de parent à enfant depuis des millions d'années et qui n'est pas écrite dans le seul génome. Me semble-t-il...
"Un algorithme seul ne peut pas augmenter sa complexité de Solomonoff" 🤔paradoxal non !? Si tu est fonctionnaliste(ou au moins matérialiste) comment la nature peut-elle construire un algorithme d'une complexité de Solomonoff supérieur ?!
Si toute la physique peut être "théoriquement" simulée algorithmiquement alors-> les parties de l'univers ont une complexité de Solomonoff décroissante, et majorée !!! Donc les premiers instants de l'univers ont une complicité de Solomonoff maximale 🤗. ..Ça me paraît philosophiquement intenable 😜
=> amha, par ajout aléatoire d'information + sélection naturelle (je me suis fait la même remarque, cf. mon post)
La sélection naturelle n'apporte pas de complexité...Et l'aléatoire est la grande inconnu des science: c'est assez décevant comme clef du problème😢
La seule solution : la complexité de Solomonof de l'univers est une constante.
Après je ne suis pas sûr de comprendre ce que tu veux dire par "les parties de l'univers ont une complexité de Solomonoff décroissante".
Il ne me semble pas clair du tout que la complexité de Solomonoff soit une fonction décroissante (pour l'inclusion) de la production de l'algorithme (des parties de l'univers).
Si je regarde la production ultime d'un algorithme (une partie de l'univers entièrement numérisée), il se peut que le moyen le plus court pour y arriver soit de produire une version numérisée de l'univers tout entier PUIS de l'en séparer. La complexité de solomonoff de la partie est donc plus grande que celle du tout car il faut ajouter l'instruction de séparation.
Effectivement il y a un truc à comprendre en cosmologie , un "univers" isomorphe et des lois simples et des constantes précise donne notre pèsent complexe... Mais il suffit de changer une quantité infinitésimal d'une constante l'univers devient d'une simplicité morne.... C'est d'ailleurs une des argumentation du multivers.... De Aurélien Barrau
Super vidéo ! Il me semble que la complexité knn est en O(k log n) et non O(n log k). En indexant les features dans des arbres kd (recherche de complexité moyenne en O(log n) si l'arbre est bien équilibré, c à d si les échantillons sont bien repartis dans l'espace des features) ce qui change qd même la donne car k n'est en général pas très grand et de taille fixe ou presque. Du coup, des minutes de calcul me semblent une valeur énorme, même si on parle de quantités de données monstrueuses...
Justement, je m'étais posé la question récemment de savoir s'il était possible d'indexer des vecteurs pour une recherche en arbre (ou plus généralement une recherche en temps sous-linéaire). Mais il semble que la réponse soit non (même si comme souvent en théorie de la complexité, on n'en a pas de preuve formelle) : t.co/5IAEuDEsKq
Merci pour la réponse. Dans le lien, la question posée est différente du plus proche voisin : on cherche a trouver le vecteur ayant le plus petit produit scalaire (ce qui ne définit pas le plus proche voisin). Dans le cas du plus proche voisin de x, on cherche min_i⟨x-vi, x-vi⟩. Et c'est très différent. En dimension 1, il suffit de prendre un arbre binaire equilibré et on est en ln(n) dans tous les cas. En dimensions supérieures, on est en O(n) dans le pire cas mais qui n'arrive quasi jamais dans la pratique. En fait, si les vecteurs sont "biens répartis" dans l'espace et on est dans ce cas en O(ln(n)). Je crois meme qu'il existe des algos permettant d'être à coup sur en O(ln(n)) www.slac.stanford.edu/pubs/slacpubs/1500/slac-pub-1549.pdf). en.wikipedia.org/wiki/K-d_tree.
Il y a aussi : fr.wikipedia.org/wiki/Locality_sensitive_hashing
Comprendre c'est transformer 2 points dans R en un point dans R² ?
Yann LeCun semble plutot passe au differential programming maintenant, plutot qu'au Deep Learning. Qu'en penses tu et vas tu en parle dans tes videos ?
Merci :)
J'ai regardé (trop ?) vite fait, et je ne suis pas sûr de ce que ça vaut. En particulier, je ne vois pas encore de raisons théoriques de sauter à pieds joints dans le differentiable programming... Mais je suis sûr qu'il va y avoir des articles de recherche spectaculaires d'ici cet été !
Je m'y adapterais si c'est le cas :P
Rho, c'est dommage d'approcher si près du nombre Omega de Chaitin, mais de ne jamais le mentionner :-) Aller, un épisode dédié pour corriger ça ? ;-)
Ne voulais-tu pas dire «labels» au lieu de «features» à 4:15?
La séléction de learning machine par la sélection naturelle existe, l'algorithme s'appelle NEAT
Je pense qu'il serait possible d'écrire un code incompressible très long à la main. En fait c'est l'objectif des langages haut niveau comme Matlab ou python. À chaque ligne que l'on écrit, l'algorithme compilé est bien plus long. Et on arrive à faire des codes de plus en plus complexes avec de moins en moins de lignes grâce à ça. En suivant cette évolution, on doit pouvoir écrire un code très intelligent rapidement puisqu'on utilise des fonctions déjà très intelligentes. On peut le voir comme une très bonne coopération entre des programmeurs. Certains en définissant le langage en question et ses librairies et d'autres en les exploitant.
En fait, créer un nouveau langage de programmation est bien souvent plus compliqué que d'écrire une librairie dans un langage de plus bas niveau qui contient toutes les fonctionnalités voulues. De plus, plus la fonctionnalité est compliqué, plus son intégration dans le langage le sera aussi. Du coup, si ton but est de créer un programme précis, il sera quasiment toujours plus simple d'utiliser un langage bas niveau connu que de recréer un langage haut niveau (puisque ça demande de créer les fonctionnalités + le langage). On peut voir le langage haut niveau comme un assemblage de briques fait avec un langage bas niveau, et donc moins optimisé (mais bon, "incompressible" c'est flou comme mot).
Ah oui je me suis trompé dans ce que j'ai dit. En fait ce que je voulais dire c'est qu'on peu écrire dans un langage haut niveau un code _compressible_ dont le code incompressible équivalant est très long. C'est vrai que c'est flou et que je n'utilise qu'une compréhension intuitive de ce que ça peut vouloir dire. Je pense être incapable d'en donner une définition pertinente ^^'
mais si ton langage ne se définie pas lui même, son code incompréhensible réside dans le code bas niveau :)
D'où la volonté de créer des IA qui apprennent (et donc se définissent) par elles mêmes, où de faire des programmes (comme NEAT) qui sélectionnent la meilleure version après des modifications successives.
Je ne suis pas sûr de suivre. Je suis d'accord que le plus souvent il y a un mélange d'auto-définition (des fonctions du langage en utilisent d'autres écrites avec le langage en question) et d'écriture plus bas niveau. Mais quel est le lien avec la volonté de créer des IA ?
Merci Lê pour cette vidéo. Peux-tu clarifier la raison pour laquelle tu ne remontes que jusqu'au cerveau de l'enfant pour origine du développement d'un cerveau adulte (que l'on pourrait alors entrainer/éduquer pour obtenir un cerveau adulte). Où est l'impossibilité de remonter jusqu'à un organisme mono-cellulaire (ou quelque chose d'encore plus fondamental) puis, de lui appliquer les règles de la sélection naturelle (ou artificielle, une sorte de sélection discriminante pour voir émerger tel ou tel caractère), aboutir à une intelligence comparable à la notre ? Est-ce là que le hasard est nécessaire ? Ce même hasard qui dans la nature se manifeste par les mutations génétiques ? Pourquoi alors ne pas générer des algorithmes qui mutent au hasard et sélectionner dans la génération n+1 ceux qui sont meilleurs (en reconnaissance d'image par exemple) puis de continuer ainsi telle la sélection naturelle ? Coût de calcul trop élevé ? Existe-t-il une autre limite ?
Ces algorythmes existe déjà mais ne sont pas performant pour des situations générales. Les algorythmes génétiques fonctionne sur ce principe et sont très doués pour optimisé des paramètres dans une situation très précise. Si tu change de peu la situation tu est dans l'obligation de le régénérer et de le réentrainer. C'est là qu'apparaît l'intérêt principale du machine Learning, il n'est pas optimisé pour une situations mais pour un cas plus générale. Si tu lui apprend a reconnaître des chiffres écrit à la main , il sera dans la capacité de reconnaître d'autres chiffres qui ne sont pas dans ces données et cela presque instantanément .
Je connais un peu les algorithmes génétiques, et sauf erreur de ma part, ils ne sont utilisés qu'en optimisation numérique (linéaire ou non) mais ils ne sont employés qu'à trouver un optimum (comme les méthodes basées sur le gradient). Autrement dit, ils peuvent trouver la combinaison des variables qui va optimiser la fonction objectif mais ils ne sont pas capables de complexifier le problème en utilisant un hasard constructif (qui rajoute du code au lieu de simplement modifier les valeurs existantes).
faisant du machine Learning pour de la reconnaissance d'image, je peut te dire que notre IA est un simple réseaux de neuronnes, avec des opéation simple entre chaque neuronne. Le code est simple et l'IA rajoute aucune ligne, en faite elle optimise juste des valeur qui font des calculs sur chaque features pour arriver au labels. elle fait moins de 100 ligne de code sans utiliser de Librairie autres que celles de manipulations de matrice . avec 5000 features pour l'entrainement on arrive a 95 % de bonne prevision des label pour 1000 features Inconnues au cerveau .
J'ai commencé à lire le livre sur deeplearningbook.org mais je rencontre des difficultés sur les l'algèbre linéaire. Est-ce vraiment nécessaire de maîtriser cette notion mathématique ?
Атомiх Si tu as envie d'explorer et de comprendre les algorithmes classiques de ML (dont les réseaux de neurones), oui, très clairement. Ou au moins ce qui est expliqué dans le bouquin de Goodfellow. Donc apprend à bien maîtriser le produit matriciel (utilisé tout le temps), la diagonalisation, la SVD, et l'interprétation des valeurs propres et des vecteurs propres. Si tu débutes totalement en algèbre linéaire, je pense que ça vaut le coup de passer un peu de temps à vraiment la travailler (en faisant des exos et tout), puis d'approfondir les notions plus difficiles quand elles apparaissent au cours de tes lectures de ML.
Très bien. Je te remercie de ta réponse. Je vais de ce pas trouver un cours détaillé et en français
Avant de te lancer dans le deep (qui n'est qu'un type d'algo de ML parmi d'autres), tu peux regarder sur OpenClassRoom les tuto de ML et suivre ce mooc de référence recommandé à tous ceux qui débutent le ML www.coursera.org/learn/machine-learning (si tu maîtrises tout ce qui y est expliqué, tu auras réellement un bon niveau sur le sujet).
J'ai fait pas mal de vidéos sur Wandida sur l'algèbre linéaire : ruclips.net/video/vBnB1Nw4pmo/видео.html
Je recommande aussi vivement la série de 3Blue1Brown : ruclips.net/video/kjBOesZCoqc/видео.html
Joseph GARNIER ah d'accord. Eh bien merci. Je vais avoir de la lecture ^^
salut mec, pour ton acné, je te conseil de relaxer un peu pcq tu sembles trop stresser. si c,est un stress intellectuel, on appel ca de l'anxiété donc peut-être moins te prendre la tête ou aller consulter pour un spy (si jamais). pas trop laver ton visage et éviter de péter les pustules. utilise un produit nettoyant genre spectro gel qui fonctionne bien et assèche pas la gueule :P
vrm intéressant comme vidéo, continu c'est extrêmement instructif et c,est des questions à lequel je me posais pas. big up :D
Experience amusante : la partie sur l'algorithme KNN s'est retrouvée injectée dans Siri sur mon iPad (sans faire exprès, juste un hasard où une suite de mots de la video semble avoir été interprétée comme "dis Siri"). Siri me propose en retour le top 10 des logiciels espions... WTF ?!?!
N'y aurait-il pas un problème de traduction du mot "intelligence" dans "artificial intelligence" ?
Intelligence peut se traduire soit par intelligence, soit par renseignement.
Actuellement, les IA sont plus proches du traitement d'informations que de l'intelligence...
ça nous pousse a redéfinir l'intelligence, puis quand on atteindra la puissance de calcul nécessaire a la création d'une véritable conscience on s'interrogera sur notre nature propre et finalement a qu'est ce qui fait le propre de l'homme
Jusqu'à il y a quelques années ,les intelligences artificielles devait utiliser des échantillons humains pour s'entraîner , par exemple , alpha go L'IA de Google qui a cassée le jeu de go s'entrainait sur des millions de parties jouées par des humains avant de savoir correctement jouer. Elle était comme nous quand on apprend les règles a force de les regarder. Nous considérons pourtant ça comme de l'intelligence pour un humain . Pourquoi la refuser à la machine ? La dernière pépite sortie de chez Google il y a quelques mois est d'un nouveaux genre. On ne lui montre plus des millions de parties mais on lui donne juste les règles. Elle crée ses propres stratégies sans s'inspirer de celles des hommes , à sa propre imagination et est bien plus créative que n'importe quels êtres humains alors qu'elle fait exactement le même travail que nous mais en mieux. La même questions ce repose, Pourquoi refuse-t-on d'admettre que la machine est intelligente alors que son architecture est similaire à celle d'un cerveau humain, elle réfléchie comme nous, apprend de la même façon et possède sa propre créativité ? Je pense que c'est assez claire que je suis totalement Fonctionaliste ;) mais je trouve cette hypothèse extrêmement belles et totalement réaliste
Max kitesurf je suis impressionné des résultats de l'IA actuelle mais ce n'est pas encore comparable avec ce dont nous sommes capables.
Notre intelligence n'est pas limitée à une application prédéfinie par des ingénieurs
Si l’intelligence humaine est "produite" par l'organisme humain, lui même produit par celui de nos ancêtres... etc jusqu'à l'origine de la vie, est ce qu'on pourrait dire que l’intelligence humaine est "compressible" en l'origine de la vie c'est à dire pas grand chose, une protéine capable de se répliquer?
Non parce que le processus de sélection naturelle a nécessité l'environnement extérieur, lequel a une grande complexité de Solomonoff.
La construction d'un cerveau d'enfant n'est peut-être pas incluse dans une partie de notre code génétique : il semble qu'il y a l'épigénétique qui joue, ainsi que, découverte toute récente, la bio-électricité (vidéo fascinante ici sur la question : ruclips.net/video/RjD1aLm4Thg/видео.html attention, ça bouscule).
Pour méditer sur l intelligence la complexité et la compressibilité, pourrais t'on utiliser la biologie et l ADN au lieu de l informatique ? La reproduction ADN inclus une forte composante de hasard mais les structures évoluées actuelle résolvent des problèmes insolubles par nos ancêtres unicellulaires d'y à 100000 ans ...
Quelqu'un pourrait exploiter ca pour critiquer ce qui est dit minute 15 ? Avec la grippe j'ai du mal à creuser ma propre idée
Du coup tu en parleras quand de la singularité ? C'est aussi une série en 25 ep ?
Euh... On est plus parti pour quelque chose comme 35 épisodes ^^
Je parlerai de singularité autour de l'épisode 25 :P
1:10 "The Post", pas "Pentagon Papers". Voilà, voilà. :P
Je ne suis peut-être pas le pire, niveau anglicisme :P
Pour sûr, mais ça m'a toujours attéré, des adaptations de titres de films anglophones AUSSI en anglais mais dont le sens se perd. Le sujet du film de Spielberg est bien la rédaction du journal "Washington Post" et ce qu'il s'y passe pendant une crise de révélation.
Pourquoi pas "Le Washington Post" ?
Enfin soit. Merci pour la vidéo. :P
15:34 : On est d'accord qu'avec code source + aléa + sélection darwinienne, on arrive à l'évolution génétique, non ?
17:02 : Le code du cerveau est contenu dans l'ADN... c'est faux, il est contenu dans le quadruplet [ADN + compilateur (= ARN = interprétation du code & conversion) + processeur (= ribosome/Golgi = assignation du code à des fonction simples + interaction avec l'environnement (car la cellule a des échanges avec le milieu extérieur)]. On a aussi l'ADN des mitochondries à prendre en compte. Bref, si on peut extrapoler les 3 premier points à une information inclue dans l'ADN, les interactions avec l'extérieur sont beaucoup plus compliquées à appréhender... Sans doute que la forme et le contenu initial de la cellule + son environement proche contiennent également de l'information indispensable à la création d'un cerveau. (et pour le coup, on va rapidement faire exploser la complexité du "code-source" du cerveau humain...
J'aime bien ton analogie, mais je me demande si ta conclusion est correcte.
La complexité du compilateur me parait négligeable vis à vis de celle du code source et un processeur ne fait qu’exécuter les instructions. Du coup la complexité d'un cerveau humain enfant semble bien être inférieure ou égale à celle du code génétique ?
Est ce que on sait dire si l'intelligence artificielle est raisonne comme un garçon, comme une fille ou bien ça n'a rien avoir?
Ça n'a rien à voir ... ce sont des maths. L'IA pense avec des additions, multiplications, soustractions, min/max, étiquettes (= données labellisées) et marge d'erreur (différence entre le résultat attendu et celui trouvé). Chez l'Humain ce sont les différences physiologiques, cycles hormonaux et l'éducation en société qui change notre façon de penser - pas la structure du cerveau.
Est ce que ça veut dire qu'une machine ne pense ni comme une fille ni comme un garçon mais comme un... un vulcain? ^^
Ouaaai, on peut voir la chose comme ça :p
Même si j'imagine qu'une abstraction en plus (rendant une IA plus humaine) pourrait donner des différences ... c'est en tout cas une des plus grandes questions posées par la singularité - homme, femme, robot, geek ? qui dit mieux ?
bah si l'IA raisonne c'est forcément un garçon, je vois pas le problème ?
la différence de raisonnement entre garçon et fille n'est pas si fondamental.
" raisonne comme un garçon ou comme une fille", c'est juste une façon d’approché certaines situation.
ça dépendra de comment l'IA aura été "éduqué".
Je ne comprends pas l'argument a 14:24 :
'
Si une IA est capable d'écrire une IA avec un code source plus long qu'elle même, en fait le code source plus long est compressible. (...) La complexité de Solomonoff ne sera pas celle de la tache la plus grosse mais de la plus petite.
'
Ok si on admet cet argument on pourra facilement admettre que l'IA initiale a été généré par un cerveau humain.
Donc il n'y a pas de complexité de Solomonoff plus grande qu'un cerveau humain.
Le hasard reste néanmoins une piste intéressante car au final c'est le hasard qui a généré ce cerveau : les mutations associées a la sélection naturelle.
Bientôt la guerre des IA !!!
Il n'y a pas de complexité de Solomonoff plus grande que le hasard de complexité nulle !
sauf que le principe, c'est d'ajouté de l'information de l’extérieur.
un humain, par exemple, vas voir, entendre, apprendre, ... des millions de choses.
et c'est le même principe pour les IA de machine learning.
Bien sur :)
Mais l'argument évoqué, si je le comprends bien, est : seul le hasard peut complexifier un algorithme (dans le sens de Solomonoff).
L'information en entrée du machine learning peut-elle etre considérée comme du hasard ? Traitement statistique ? Émergence d'une règle infaillible macroscopiquement comme la thermo ?
Je ne prétends pas comprendre, d’où ma question...
Néanmoins même sans comprendre l'idée d'un hasard, d'un chaos générateur de stabilité, me plaît bien car le parallèle avec la vie est intéressant.
L'information en entrée (les données en machine learning ou l'environnement pour les humains) peut-être considérée comme du hasard puisque l'algorithme (ou le cerveau) n'a pas accès à cette information. Pour l'algorithme, cette information est donc inconnue, incertaine, imprédictible : aléatoire.
Des données peuvent donc complexifier un algorithme.
C'est quoi la différence entre moyen et bof ?
Seto3000 c’est comme entre un alligator et un crocodile, c’est caillement la même chose ;)
Ha mais Rabbla , j'ai trop ri ;p
ben l'un serait légèrement meilleur si l'autre était un chouia plus mauvais !
moyen c'est moyen quoi, mais c'est moyen
et bof c'est moyen, mais c'est bof quoi
Tu cherches la différence entre un mot et l'un de ses synonymes. 🤔 Quelle est la raison de ce doute ?
First !!
Perso je trouve que les termes français sont plus compréhensible.
Entre 17min10s et 17min30s tu fais une grosse confusion entre ADN et code génétique. Le code génétique est un code comme son nom l'indique et il n'est composé que de 64codons de plus ce code est universel au vivant dc parler de code génétique humain n'a pas vrt de sens.
Est-ce qu'on a vraiment besoin de tout mémoriser pour tout définir ? libraryofbabel.info/
hahaha
Hum, non, désolé. On ne peut pas réduire la complexité algorithmique du cerveau d'un bébé à la taille du code génétique humain.
C'est une erreur de raisonnement compréhensible pour un informaticien, étant donné la nature des machines qu'il utilise, mais factuellement absurde.
Pour vous le démontrer, il suffit de vous faire remarquer qu'à chaque machine de Turing instanciée (cad la machine plus un ruban donné), on peut toujours associer une machine de non-turing, qui résout le même problème en un seul bit de code. On en construit trivialement une avec une machine dotée d'une seule instruction qui lance l'exécution de la la machine de Turing initiale.
Et là, vous ne pouvez prétendre que nous ayons démontré que toute complexité algorithmique était réductible à un bit!
Nous avons simplement déplacé la complexité du code vers le hard (ou même à une sous-fonction, sur le principe d'une bibliothèque).
Ce n'est pas le code génétique, qui créé le cerveau humain, enfin un peu, mais marginalement, c'est le monde extérieur.
L'ADN ne code en rien l'intelligence, l'apprentissage, ni même la forme du cerveau et son organisation. La seule chose qu'il code, ce sont des protéines...
Calculer les niveaux d'énergie d'un électron autour d'un atome d'hydrogène, c'est déjà pas trivial, même sur le di-hydrogène ça devient déjà formellement impossible.
Alors le comportement correct d'une protéine de centaines ou milliers de daltons en solution aqueuse (et tout le reste: atomes de fer capturés, etc.), c'est vraiment très compliqué; si on en met des milliers/millions/milliards, c'est et probablement impossible à des machines mêmes très (très) puissantes.
.la vie est un formidable hack pour mettre à son service une partie de cette puissance computationelle physico-chimique naturelle gigantesque à partir d'une poignée d'instructions simples (quelques centaines de Mbases). En aucun cas on ne peut réduire sa complexité au code ADN, on se trompe de dizaines d'ordres de grandeurs en pensant que l'information est là...
Salut Lê, juste une question bête: à quoi ressemble un espace de dimension 1 million? Il y a moyen de le voir?
Tu peux commencer par imaginer un espace à 1 dimension (une droite graduée par exemple), en suite, tu ajoute une dimension orthogonale (ou simplement linéairement indépendante) à celle-ci, tu es en 2 dimensions (abscisse, ordonnée) un plan par exemple, ou la surface de la terre, une orthogonalité en plus et tu es en 3 dimensions, tous les points à l'intérieur d'un cube par exemple, encore une et tu es en 4 dimensions, tu peux imaginer le temps comme quatrième dimension (tu transforme alors les points de l'espace (x,y,z) en évènements (x,y,z,t) ). Tu peux aussi imaginer en tout point de l'espace à 3 dimensions,, une petite règle graduée, orientée dans une dimension linéairement indépendante des trois autres. Il faut alors essayer d'imaginer poursuivre l'expérience de pensée un grand nombre de fois... Mais il ne me semble pas pouvoir faire plus simple et plus intuitif. En réalité, les chercheurs se représentent juste ces espaces comme des vecteurs avec un grand nombre de composantes et des fonctions à plusieurs variables.
une image en noir et blanc d'1 million de pixel est un espace de dimension 1 million.
(dont chacune des dimensions a une valeur entre 0 et 255, pour une image standard)
Paul Amblard
Je ne m'y connais pas forcément en informatique mais mettre 3 petit bout de carré ne veut pas dire que j'ai un espace en trois dimension?
Maxime Brd
J'aime presque l'image du vecteur. Même si un vecteur, il me semble, indique aussi une direction alors qu'il est plus judicieux d'avoir seulement le sens. Hors, des droites serait plus approprié à mon avis pour décrire ce qu'est une dimension. C'est de toute façon comme ça qu'on représente les fonctions classique sur image.
On pourrait dire que selon la couleur du 1er, 2eme, et 3eme, on a respectivement les positions sur les axes X, Y, et Z.
Ca, c'est pour des dimensions de position, mais une dimension peut représenter tout se à quoi on peut attribué une valeur. Notamment, la couleur d'un pixel, l'age, le nombre d'ami FB, si on a mis un like à une vidéo, ...
3min25 PTDR DE OUF
Deviendra-t-on algocentrique ?
Car une intelligence artificielle ou pas qui peut traiter des algorithmes d’une complexité de 10⁹ ne pourrait pas traiter des algos de 10⁴³, et celle de 10⁴³ ne pourra pas traiter des algos 10¹⁰⁰ et etc.
Donc on compresse. Mais compresser pourrait orienter excessivement les données en centrant vers le résultat attendu, d’où l’algocentrisme qui apporterait une solution satisfaisante en réponse à l’intelligence 10⁹ , mais arbitraire et non pertinente pour l’intelligence 10¹⁰ et plus. Mais quelle sera la réalité ?
Non, autrement, le son, le débit, tout ça, ça va. Tkt et bonne continuation.
par contre je comprend pas pourquoi vous apellez tous google assistant " ok google " xD
Heu... C'est un cours de math ou un cours de langue ??