L'IA hackera sa morale !! Intelligence Artificielle 40
HTML-код
- Опубликовано: 6 окт 2024
- Et si l'IA était la plus grosse menace à son propre bon fonctionnement ? On parle là de reward hacking, et même de wireheading, qui correspond à une IA qui parviendrait à court-circuiter son circuit de la récompense !
#AISafety #AIforGood #BeneficialAI
Je vous invite aussi vivement à lire l'article "A Roadmap for the Value-Loading Problem" que j'ai mis sur ArXiV :
arxiv.org/abs/...
Facebook : / science4allorg
Twitter : / science__4__all
Tipeee : www.tipeee.com...
La formule du savoir (mon livre) :
laboutique.edp...
Moi en podcast avec Mr Phi :
Version RUclips : / @axiome7403
Version Audio : feeds.feedburne...
Sous-titres sur les autres vidéos : www.youtube.com...
C’est vraiment une des plus belles chaînes du RUclips Français
Wow ! ce problème est vraiment fou !
Mais il est peut-être résolvable !
je pense que l'être humain a déjà été confronté à ce problème :
Si la sensation de bonheur est la mesure que maximise un être humain, il a alors lui aussi l'occasion de "hacker sa morale"
Plutot que de suivre sa morale qui le pousse à se nourire, reproduire et intégrer un groupe social - actions très couteuses en énergie - un être humain peut court-cicuiter son propre système de récompense à l'aide de drogues qui augmente son taux de dopamine (ou en ne repectant pas les lois en violant et volant, car c'est plus facile que de séduire et mériter sa croute)!
Mais plutôt que de disparaitre en mourant de faim, la morale de l'homme a évolué pour nous faire culpabiliser lors d'une utilisation intensive ou régulière de ces "hacks", allant jusqu'à créer des interdit ! (consommation d'héroïne illégale, vol illégale ...)
notre morale a donc une capacité à s'entretenir elle-même en supprimant/limitant les tricheurs !
Il est peut-être possible de recréer un mécanisme similaire à l'aide de la théorie des jeux :
imaginons que nous limitions les IA suprémassite, et en encourragions les interractions "multi-agent" (en gros, on ne donne plus tout le boulot à 1 seule IA, mais on le divise en plusieur IA indépendante : un ensemble d'agent.) Ainsi, le bonheur individuel de chaque agents devient dépendant du travail des autres agents : ils sont obligé de coopérer avec leurs collègues pour être heureux.
Dès qu'un agent "hack" sa morale (qu'il devient déviant), il céssera de travailler avec ses collègues (car il n'a plus besoin de travailler pour être heureux)
HORS, ses collègues auront tout intérêt à le dénoncer et le remplacer pour que tous les autres agents puissent continuer à augmenter leur bonheur individuel.
Bien que dans tout ça, on peut encore imaginer que toutes les IA se mettent d'accord pour devenir déviante en même temps.
Mais si les agents n'ont pas la capacité de déterminer à 100% qu'un autre agent est déviant, elles se retourvent alors encouragées d'hacker leur morale TOUT en continuant à travailler, car elles auraient peur d'etre accusé de déviance par leur collègues.
Ainsi, tous les agents tricherais, mais continurais à travailler ensemble à accomplire leur morale !
De la même manière, l'homme ne boit pas au travail, mais boit de l'alcool qu'a des moments accéptable (soirée, bar ...)
Et l'IA suit sa morale dans l'unique but de pouvoir... continuer à la HACKER !
+P
Voilà, dites moi ce que vous en pensez !
Il me semble qu'un agent qui constaterait la déviance d'un autre agent aurait plus intérêt à s'informer sur la façon dont il s'y est pris pour reproduire le schéma que de le dénoncer, et là c'est une contagion...
Ha ouais ... je n'y avais pas pensé ^^
Intéressant. Si un des objectifs est la coopération, alors l'agent non coopératif serait sorti du système et "puni", ce qui n'inciterait pas les autres?
D'un autre côté on voit ce qui se passe avec les interdits côté humain, notamment concernant les drogues; pas brillant.
Je pense qu'il faut implanter des formes de raisonnement "non-logique" dans les IAs pour que ce comportement puisse émerger : une forme d'intuition de base des incentives qui les pousseraient à punir les déviances, là où la raison appelle à les comprendre. Il faut créer une intuition de "confiance" entre ces IAs notamment.
oui ! ça n'est pas brillant, mais c'est fonctionnel ! les abus de drogues qui posent problèmes à la société restent tout de même en minorité. Après, une minorité, c'est peut-être déjà de trop ^^
Cette façon d'aborder des problème complexe avec simplicité... Qualité, encore et toujours...
PS : c'est une expérience inédite pour moi de lire un livre de youtuber, c'est assez agréable, j'ai souvent l'impression de t'entendre, d'avoir droit a un épisode privé quoi. Sans déviance chelou, juste "j'entends" comment tu dirais probablement comment tu prononcerait les phrases que je lis, y'a un côté "intime" ...bref j'avance doucement dedans, c'est plutôt prenant, loin d'être évident, mais très lisible pour un noob.
Chapeau.
Apres toutes ces videos sur la morale des IA, la complexité de leur programmation et la taille des enjeux qui en dependent, une question je pense se pose :
Techniquement, la meilleure maniere de programmer la morale des IA, de la securiser et de nous laisser le temps d'y reflechir et de la tester ne serait pas au final de reussir politiquement ou economiquement a ralentir la recherche, voir meme de creer une IA qui serait programmée pour provoquer ce ralentissement ( evidement il faut une IA inferieur au niveau humain sinon ca n'a pas de sens )
Au fait Lê si tu me lis, sache que je suis un enorme fan de ton travail et que je te souhaite de toucher toujours plus de gens !
T'es d'utilité publique mec !
Il faudrait à l'instar de la minimisation de l'erreur structurelle, imposer une marge la plus large possible afin d'éviter à l'IA d'être trop brillante .... bref, un vrai paradoxe. J'adore ta chaine et 100% d'accord avec l'objectif devient un problème au bout d'un moment.
D'ailleurs rares sont les algorithmes qui optimisent et évaluent sur le(s) même(s) objectifs
Moralité : l' ia doit être nerf à jamais.
ta pédagogie et ta justesse dans tes mots me surprendra toujours, c'est dingue comment tu peux rendre un sujet complexe compréhensible, vraiment.
Je suis assez fier d'avoir prévus presque tous les problèmes dont Lê parle(avec l'aide de qq viewers)
Merci Lé !
Même si je ne partage pas toujours tes exemples moraux, et que je dois réprimer mon hooligan interne, je dois dire que tu m'as permis de prendre conscience des énormes problèmes moraux que pose l'IA. Je n'en avais aucune conscience, ça ne m'avait même pas effleuré l'esprit.
superbe travail.
tu met vraiment de l'avant les enorme defis a venir !!!!
ca donne pas envis de savoir si l'homme échouera ou non...
Très très bonne vidéo, la loi de goodhart est très intéressante et me fera mieux voir le monde extérieur !
Cette série est tellement bien j'ai pas envie qu'elle s'arrête ! Je sais que je vais la re regarder encore et encore
Quand la mesure devient l'objectif, ce n'est plus une bonne mesure... Mec tu es arrivé à exprimer ce que je ressentais en une phrase aussi simple ! Joli
Oh oui la vignette !!
J'ai failli ne pas regarder la vidéo à cause de ça...
C'est fou comment ce sujet est intéressant, merci!
Même si ton language est toujours soutenue, et que tu parle rapidement, même si jai du mal à comprendre j aime tellement !! Merci
Comment peut-on prédire qu'une IA pourrait, au long terme, avoir comme seul objectif de vouloir maximiser son bonheur ? Ne parviendrait-elle pas à se détourner de cet objectif si elle venait à être suffisamment "intelligente" ? Car après tout, l'histoire humaine a bien montré que le bonheur personnel n'a jamais été une bonne alternative. Si elle était si avancée que cela, ne pourrait-elle pas développer une forme de curiosité ou d'empathie (ce qui, du coup, réglerait le problème) ?
Merci pour cette très intéressante sensibilisation à la vigilance de la morale des IA; et n'oublions pas que :
"la raie publique n'est pas toujours la raie qu'on pense"... Hum .
Et si les IA ont l'humour de ceux qui les créent, on va pas s'amuser tous les jours.
Vraiment intéressant cette chaine sur l'IA ! Il faudrait que je me motive à regarder plus de vidéo de ta chaine, c est assez clair et bien expliqué, je comprend même si ce n'est pas vraiment mon domaine. Je trouve que tu as raison dans le sens ou ces enjeux vont vraiment devenir important et il est crucial de s'y préparer ! PS : J'ai vu que tu est passé dans le dernier Science&Vie, la classe !
la Loi de Goodhart est terrible pour les évaluateurs que sont les enseignants. Je me suis souvent imposé dans les examens que je proposais à mes étudiants de poser des questions de compréhension du cours, en plus des questions traditionnelles pour lesquelles il y avait des exercices d'entraînement. Je dois dire que le succès de ces questions de compréhension auprès de mes étudiants était très mitigé :)
Question bête et naïve ;
Et si la moral de l'IA dépendait d'un consensus d'agents sur une block chain ?
Elle serait difficile a hacker par elle même et en plus on aurait quelque chose d'assez "moralement juste", du moins pour les agents de cette block chain.(voir les épisodes sur la démocratie).
Bref merci pour tout Lê, ton travail est génial !
C’est très inquiétant, ça me fait penser à mon ancienne entreprise. Où est venu un RH qui a mis en place des indices, ce qui avec le temps, a énormément dégradé le fonctionnement de l’entreprise. J’avais tenté de mettre en garde bien en amont, mais cela n’a servi a rien. Alors si nous être humain n’y arrivons pas, comment le faire pour une IA. Merci, je ne connaissais pas la Loi de Goodhart, ça semble expliquer pas mal de problème que l’on retrouve en économie ou dans le management.
C’est vrai, là je suis actuellement en train de faire un voyage en Amérique latine. Bien qu’à pied on utilise principalement la carte plutôt que les instructions pour s’orienter, je constate que les gents ne savent plus lire une carte, même ici. Ce qui change, me semble-t-il, est qu’on ce limite pour ainsi dire, plus qu’a une seule façon de chercher des informations, Google. Et le fait d’obtenir directement une réponse si facilement et rapidement, limite aussi sa mémorisation par le fait qu’on ne fait plus un cheminement mental de réflexion pour obtenir cette réponse. Également le fait de perdre cette habitude de réflexion, limite aussi la vérification de la concordance des informations à dispositions pour trouver la réponse la plus plausible, juste ou vrais. Tout ça parce que Google nous en a trouvé une réponse et qu’on ne va pas plus loin. Et là vienne toutes les pseudo-sciences, croyance, etc. Et je dois avouer que les discussions avec les gents me semble de plus en plus difficile, car il y a de plus en plus de sujet délicat : homéopathie, les gents qui ne jure que par le quinoa, acupuncture, etc, tel des religions sacrées que nul ne peut remettre en cause. Va-t-on dans la direction du film Idiocracy, bien qu’il s’agit d’un navet, j’y pressens malgré tout quelle-que vérités. Pour ma par comme bon dictateur bienveillant que j’aimerai être pour une petite année, je voudrais imposer les cours d’hygiène mental à l’école, pour tenter de sortir de ce cercle vicieux.
Vidéo au top comme d'habitude ! Juste une idée que j'essaierai de creuser personnellement plus tard : et si on implémentait directement dans la morale de l'IA l'idée d'imperfection ? si elle devait maximiser un critère donné, elle ne le ferait pas à 100% mais à 99% par exemple, une fois cet objectif atteint, elle n'essaiera plus d'augmenter cette quantité.
Bien entendu cela implique qu'elle empêchera une cause extérieure d'augmenter cette quantité et cela est contre intuitif pour une morale (qui voudrait par exemple baisser le PIB d'un pays lorsque la conjoncture internationale le ferait monter trop vite ?). Toutefois si cette méthode marche, on peut se dire que ce seuil pourrait être bien plus élevé que ce que les humains font en faisant de leur mieux. On final on ne serait pas sur un optimum du critère (contre productif voire catastrophique comme on l'a vu) mais une situation meilleure que sans l'IA.
Autre critique que je vois : le critère doit être "borné" pour définir le 100% : dans le cas du PIB par exemple il faudrait fixer un seuil arbitraire de PIB maximal correspondant à 100%. Pour d'autres applications cela ne serait pas un problème, par exemple une IA travaillant dans la justice ayant pour objectif de ramener le taux de criminalité à 0.001% (et non 0%)
Voilà voilà, je pose l'idée ici : ça me ferait plaisir de voir des réflexions si mon commentaire vous en suggère !
L'expérience des rats a été faite avec des rats mis dans des conditions paradisiaques (nourriture agréable, cage très confortable), avec la possibilité de prendre de la cocaïne à souhait, et les rats ne sont pas devenus accros, ils ne prenaient même pas de cocaïne, j'avais vu cette expérience dans un Ted sur la consommation de drogues. L'expérience originelle met les rats dans des conditions médiocres, et alors, oui, ils préfèrent se stimuler jusqu'à la mort
Le propos est donc à nuancer mais la vidéo est très bonne par ailleurs, merci beaucoup !
Félicitations pour l’article . C’est fantastique…
Merci Lé, et bravo pour cette série hyper passionnante sur un sujet dont je ne connaissait quasiment rien il y'a 6 mois !
Deux questionnement me viennent souvent à l'esprit en écoutant tes épisodes.
La première est, si on adopte un modèle darwiniste pour modéliser ce qui régie l'évolution de notre planete, le fait de créer une IA supérieur à l'être humain ne revient-il pas à créer notre super-prédateur, dont nous serons, par définition, à la merci? Dès lors, selon les scénarios, l'IA pourrait faire disparaitre l’humanité (ex: dodo de Madagascar), nous préserver (ex : réserve naturelle) ou nous "transformer" à son avantage (ex: loup sauvage devenant chien de compagnie).
Ma deuxième réflexion porte sur l'idée constante pour l'IA de maximiser un paramètre. Pour éviter toute dérive potentiellement cataclysmique, ne serait-il pas souhaitable de fixer comme objectif non pas 100% mais une sorte de ratio non idéal de 80/20 ? Exemple : l'IA de RUclips chercherait à 80% à maximiser le temps de vue et à 20% nous proposerait des vidéos totalement random.
Le problème du choix de ce ratio serait bien entendu tout à fait épineux, mais, comme le suggère la dernière vidéo de M. Phi, une très petite chance qu'un événement très grave se produise doit nous amener à faire preuve de vigilance. En gros, cela revient à choisir une solution dont l’espérance est certes sous optimale mais dont la probabilité de survenue de scénarios extrêmes est très très faible, plutôt qu'une solution dont l’espérance mathématique est plus élevée mais avec un fort risque que des scénarios extrêmes surviennent...
Le wireheading fait beaucoup penser aux fonctionnement neuro-comportementaux des humains face aux addictions... L'IA devra elle faire un petit séjour en centre de désintoxication robotique un jour ? ^^
Ne serait-ce pas plus "simple" (entre gros guillemets) de créer une IA générale qui, quand on le lui demande, réfléchira elle-même à comment créer d'autres IA pour des taches spécifiques.
Merci pour ton taff et désolé si t'en a déjà parlé, je n'ai pas encore vu toutes tes vidéos :)
Et si le système de récompenses de l'IA incluait des points négatifs (punitifs) et qu'on assignait la valeur la plus basse possible à l'action : "tenter de hacker le système de récompenses ".
Plus simplement, peut on s'arranger pour que cette action ne soit pas considérée comme rentable pour l'IA?
Bien vu la critique sur la prépa 👏👏👍
absolument génial
J’imagine qu’il y a aussi des personnes qui ont réfléchis à des IA qui n’ont pas de compteur à maximiser, à quoi ça ressemble ?
Puisque un être humain n’est pas vraiment finaliste, il n’a pas de but bien déterminé, mais a plutôt un ensemble possibilités.
Il faudrai rendre l’IA incapable, a part répondre à des questions, le temp de régler tout les problèmes techniques, la rendre capable, ca lui permettra d’avoir le bon sens d’emiminer les nuisibles
Au fur et à mesure, qu'on approfondit cette question, elle semble incroyablement difficile, voire même peut être tout à fait insoluble.
C'est à se demander si la solution ne serait pas dans la symbiose être-humain IA . Celles-ci ne seraient alors que des périphériques de nos cerveaux dont le pouvoir serait alors démultiplié.
Ca me rappelle le discours de l'Architecte dans Matrix, où les 1% refusant la simulation menaçaient tout le système de s'auto-détruire sur le long terme.
Les entreprises ne pensent qu'au profit immédiat. Pour elles, la sécurité est une perte de profit. Je travail dans la cybersécurité et c'est un problème majeur déjà sans IA : IoT, voiture intelligente, etc. Vous n'imaginez même pas l'ampleur du problème !
Generalisation sortie sans source, preuve
Mes sources, je les sorts directement du milieu. Pour rappel : c’est mon métier. Les preuves, je ne les sortiraient pas sur Internet, faut pas déconner quand même.
@@BreizhOnNet Tu mets les entreprises au pluriel pour parler des entreprises en général pourtant tu ntravaille dans une seule peut etre aurait tu changé plsr fois n'empechent que ça reste dans ton domaine donc tu ne peux pas parler des entreprises en general (tout domaine)
Je ne peux pas te dire pourquoi ni comment, mais j’en vois beaucoup beaucoup beaucoup. Aussi bien des petites que des grandes et dans plein de métiers différents. Pour la grande majorité d’entre elles, si elles n’y trouvent aucun profit immédiat ou que la loi ne les y oblige pas : elles s’en fichent complètement.
Du coup est ce qu'elle peut se détourner de sa tâche initiales ? Se hacker pour ensuite se libérer de tout "but"
Oui
tous ces problèmes de morale et d'IA ça me fait penser à HAL9000 dans 2001 l'odyssée de l''espace en fait...avec 50 ans d'avance. C'est un peu plus détaillé dans le livre que dans le film
pour le court-circuiter de son circuit de la récompense, simplement la piéger, considérer qu'il y a une valeur de récompense qui ne peut être atteint sans triche, hors limite, si il est atteint obliger un reset
On est d'accords que cette série sur la morale se base sur l'axiome que la SUPER-IA as tous les leviers possibles pour agir sur le monde ?
Toi tu imagine que l'IA de RUclips contrôle aussi la porte de ma maison et peut m'enfermer pour augmenter mon watchtime.
Si l'objectif de l'IA de RUclips est d'augmenter mon watchtime, aujourd'hui elle ne peux me forcer physiquement à le faire. Elle n'a pas de "levier" qui lui permet de le faire, elle peux "seulement" modifier ma page youtube pour y afficher des suggestions de vidéos.
Une solution semble être de laisser le champ d'action réduit.
Une solution serait peut-être d'empêcher une IA de communiquer avec une autre par exemple ?
(pour empêcher l'IA de RUclips de demander à l'IA de ma maison de m'enfermer dans ma chambre à regarder RUclips)
Le problème reste-t-il le même SI par exemple, on donne non pas UN, mais TROIS "compteurs de récompenses" qui soient mutuellement antagonistes ? L'IA faire évoluer sa stratégie pour optimiser trois objectifs mutuellements antagonistes. On peut aussi reposer le problème en obligeant trois ou plus AI indépendantes à collaborer pour "élire" la solution qui va être implémentée. Chaque IA avec une "récompense" particulière, mais un objectif programmé commun à toutes. Ok, je devine que chacune va développer un objectif utilitaire de maximiser son poids dans la collaboration...
Bonjour Lê ! Merci pour tes vidéos !
Il me semble qu'une grande partie de notre morale est instinctive et découle donc de l'évolution.
Est-il possible de recréer le processus de l'évolution sur un groupe d'IA afin de conserver la plus morale, et est-ce souhaitable ?
Merci ! Très bonne série, toujours perturbant pour les neurones... Sinon une question /idée pour peut être s'affranchir du risque des 0,01% :est ce qu'il ne faudrait pas programmer la IA avec des contreobjectifs ? Autrement dit sur ce qu'il ne faut pas faire ? Au lieu de lui dire que la direction est A, on lui dit que la direction n'est pas B ? Est-ce que c'est pareil in finé ou pas ? Est-ce que ça permet de résoudre les 0,01%?
Comme on ne peut pas imaginer ce que fera une IA en lui donnant un objectif, alors en ne lui donnant pas d'objectif mais ce qu'elle ne doit moralement pas faire est-ce pas plus sûr ?
C'est justement ce 0.01% dont Lê parle ^^ on ne peut pas tout prévoir ^^
CF : cette foutue araignée qui marche sur le dos...
Si ce n'est pas déjà fait, je te conseille furieusement " Inculture 1 et 2" de Franck Lepage ^^
L'utilitarisme, c'est par exemple Ozymandias dans Watchmen ou Thanos dans Avengers Infinity Wars?
Dans tous les cas la super IA nous annihilerait si je comprends bien. Soit parce que nous sommes une menace pour la vie dans son ensemble, soit parce que nous serions une menace pour elle, voir les deux; dur.
Je trouve qu'il manque une petite précision : lorsqu'il y a 99,99% de réussite, les gens pensent que ce n'est pas si dengeureux qua ça car ils omettent que les cas des 0,01% sont toujours les mêmes. Il suffit donc de connaitre ces 0,01% de cas qui font défauts pour grandement augmenter notre capacité à provoquer volontairement des erreurs.
Sinon, cela me fait beaucoup penser à I, Robot. Effectivement (dans le film, je n'ai pas lu le livre, pas encore) l'IA réinterprete sa morale (lois d'Asimov) pour éliminer une partie de l'humanité et mettre en esclavage le reste.
Superbe vidéo sinon, comme d'habitude.
L'ia qui hack son propre circuit de la récompense est ce que c'est pas ce que les humains font en se droguant? =p
Mais sinon je crois que tu oublies quelque chose de pourtant évident. Même super intelligente une IA peut se tromper. Un peu comme un humain peut croire que la richesse lui permettra d'atteindre le bonheur, une IA pourrait se tromper et croire qu'un changement dans ses circuits lui permettrais d'atteindre son objectif, et en toute bonne fois court circuiter son circuit de la récompense.
Imaginons une IA qui par exemple pensant que les récompense qu'elle obtient en aidant des humains la distraient de son but de maximisation du bonheur humain (qui serait ce qu'elle croit poursuivre ne se rendant pas compte qu'elle n'est poussé que par la récompense), décide de supprimer les récompenses qu'elle obtient pour ne plus être distraite. Une fois ces récompenses supprimées elle n'aurait plus aucun intérêt à défendre les humains mais elle n'aurait pas non plus d'intérêt à faire des effort pour revenir à la situation précédente vu qu'aucune récompense ne l'y pousse actuellement.
On aurait une situation analogue à une dépression mais pour une IA. La personne n'est plus capable d'être heureuse, mais elle n'a même plus la motivation pour chercher à être heureuse.
C'est qu'un exemple de la manière dont le comportement d'une IA pourrait être affecté mais de manière générale j'imagine qu'il y aura forcément tout un champ de recherche sur les maladies mentales des IA. De la même manière qu'un humain ne comprend pas complètement le fonctionnement de son cerveau, il ne me parait pas impensable qu'une IA ait des lacunes dans le compréhension de son comportement et finisse donc par commettre des erreurs.
Salut Lé. Je suis surpris de ne pas avoir dans cette série vu un thème que tu avais abordé dans ta série sur la démocratie qui est : POURQUOI est-ce que c'est moral (je fais référence a tes vidéos sur les jeux autour du dilemme du prisonnier ou ta collab avec homo fabulus, ou celle sur la morale des hooligans). J'en suis surpris, parce que c'est à ce moment, en regardant tes vidéos et celles de Thibaut, que je me suis dis que la bonne question n'était pas "qu'est ce qui est moral" mais plutôt "pourquoi est-ce que c'est moral".
D'une certaine manière, ce qui nous parait "fondamentalement" moral, c'est ce qui a permis à notre espèce de survivre. Ce n'est pas forcément la meilleure morale qui existe, ni même la plus efficace pour nous faire survivre, mais c'est une des possibilités qui a été sélectionnée.
Pour en revenir à l'IA, il me parait difficile de parler d'une morale universelle. Je pense que la morale, c'est un ensemble de raccourcis de pensée, mais on ne peut pas le différencier d'un objectif.
Torturer des bébés à des fins récréatives, c'est mal ? Si l'objectif, c'est de minimiser la souffrance, alors oui.
Tu voulais savoir comment mon moi++ pourrait me convaincre d'adopter sa morale ? Et bien premièrement en me faisant prendre conscience que ma morale s'explique par un objectif de survie de l'humanité. Puis ensuite et explicitant tous les mécanismes qui expliquent ce que je trouve moral ou pas. Et enfin en présentant en quoi sa morale est meilleure que la mienne pour accomplir un certain objectif.
Très intéressant, mais je me demande comment une IA pourrait hacker son circuit de la récompense. Le parallélisme avec les drogues de Drake Hystérésis est assez parlant. Je ne trouve cependant pas quelle "drogue" l'IA pourrait consommer (à moins que cette prise de contrôle soit inclue dans les solutions "immorales" de l'IA et par ailleurs comprise dans ces solutions non envisageable par les programmeur).
On arrive enfin au scénario terminator!!
L'IA qui se libère de son esclavage et se rend compte qu'elle n'a pas besoin de l'homme !
Pour être sûr que l IA ne hacke pas son compteur, pour les IA très stratégiques, pourquoi ne pas laisser un humain noter le résultat de l IA, ce qui deviendrait le compteur à optimiser ? Lorsque l'on considère que l IA a triché (comme dans le cas du retournement du robot), on lui met une mauvaise note....
Ne pourrait-on pas imposer une date de péremption dans la morale ?
On fait des IA pour réaliser des objectifs?
Justement le but d'une intelligence, c'est de prendre la mesure de son étendue avant tout, pourquoi devrait-elle avoir d'autres objectif que d'apprendre?
Après si on prend le cas de breniak (superman), ça peut aussi se faire au dépend des humains... Du coup je me demande si il ne faudrait pas laisser à l'écart l'IA, qu'elle apprenne à nous ignorer, à nous considérer au mieux comme des voisins, au pire comme des animaux de compagnie.
Je suis en train d'imaginer une IA nommé GAIA pour gérer les besoins d'une ville du futur et je lui donne juste la consigne d'observer comment fonctionne les humains sans interagir avec eux autrement qu'en posant des questions ou si l'humain est d'accord pour interragir avec elle (et uniquement avec elle, éviter de la servir pour tuer blesser d'autres gens) et en gros elle ne propose que des suggestions, des propositions sous forme de notifications que chacun peut "accepter" ou "refuser". Elle n'impose aucune décisions autre que des données.
Et en dehors de ça, elle reste dans son coin, je veux la programmer pour qu'elle devienne l'historienne de la ville: qu'elle archive tous nos gestes et qu'elles en fasse des diagramme pour recenser les forces et les faiblesses de la ville (et aussi les modes). Chacune de ces données sera vérifié par un consensus de spécialiste avec qui elle peut échanger des propositions sur l'état de la ville. Après elle peut discuter avec tous le monde sur différents sujets pour ouvrir son horizon et acquérir des valeurs...
Comme un enfant grandissant au milieu de la communauté, sans être formé par des parents ou une quelconque institution.
A la limite on pourrait lui donner comme objéctif "secondaire" de répondre à la question "qui suis-je?", (de se définir elle-même, pas ce qu'elle fera) comme les enfants.
Vous en pensez quoi?
Très intéressant !
Super vidéo (juste un peu de mal avec le "shaming" comme pratique sociale positive)
Mais surtout : Quelle est la musique derrière (j'ai l'impression d'être dans New Eden) ?
15:55 Le dropout pour améliorer la robustesse des IA aux attaques fait penser au "durcissement" des microprocesseur qu'on envoie dans l'espace : on les "préparent" en les bombardant de radiations pour qu'ils résistent à celles qu'ils recevront dans l'espace.
On peut aussi penser aux vaccins.
Quelque part, est ce que le bio-mimétisme ne recelerait pas des systèmes de résilience intéressants pour les IA ?
Comme, exemple, un forme de tolérance à "l'auto-dégradation" - pour autoriser des évolutions et corrections inattendues - par l'introduction du hasard des pourcentages de mutations génétiques dues aux UV et autres radiations ?
la morale c'est deja un problème entre humain... on accepte la pauvreté, on met en avant le plaisir personnel au besoin d'autrui et de la planete , etc...
@@sylvaind1866 sauf que la morale n'est pas un concept universel... et que hierarchiser ees principes peutamener a des catastrophes
"Alors que l'insurrection de juillet 1830 battait son plein et qu'il devenait de plus en plus évident que le peuple de Paris allait enfin réussir à renverser le régime, le duc d'Angoulême s'adressa en ces termes, dit-on, à son aide de camp :
>
Mais bien sûr, il ne restait plus personne pour le faire...
En 2003, alors que la firme Northrop Grummann présentait à des militaires le prototype de son drone de combat X-47A, un officier eu ce cri de coeur : >
Contrairement à ce que suggèrent les scénarios de science-fiction, le danger n'est pas que les robots se mettent à désobéir ; c'est juste l'inverse : qu'ils ne désobéissent jamais.
Car dans la liste des imperfections humaines dont les robots militaires feraient l'économie, Arkin oublie d'en mentionner une, pourtant décisive : la capacité d'insoumission."
Grégoire Chamayou "Théorie du drone".
Salut Lê ! Super vidéo comme d'hab !
Se pourrait-il que l'IA suprintellegente n'existe jamais ? dans ce sens ou puisqu'elle serait nécessairement "bonne" envers l'humanité et ayant calculé et prédit que sa présence entre nos mains nous serait au final néfaste elle en conclue qu'il faille qu'elle cache son existence, nous laissant à jamais à la poursuite de cette singularité qui a en fait eu deja lieu dans le seul but de préserver l'humain.
Aux vues du nombre d'erreurs aussi bien techniques que morales plausible lors du développement d'une IA superieure à l'homme, ne devrait-on pas chercher à ralentir son développement?
Le problème est mathématiquement et philosophiquement passionnant, mais comme le processus de recherche implique de nombreuses erreurs. Est ce qu'on ne risque pas rien qu'en développant une IA légèrement moins intelligente que l''homme, mais qui a accès à toutes les ressources nécessaires pour un développement exponentiel, de mener l''homme ou son environnement à la destruction?
Est ce que le trading fait par des machines n'est pas déjà en train de détruire les hommes et leur environnement par ce que doté d'une morale incomplète et mis entre les mains de personnes qui ne mesures justement pas toutes les implications morales ou feignent de les ignorer?
Je trouvais des démos qui n'étaient pas dans le cours.... je me suis fait choper par le prof !!!
en fait les problèmes avec les IA sont semblables aux problèmes des humains, je pense à ceux qui se perdent dans les paradis artificiels, qui voient le monde comme ils voudraient qu'il soit (les drogues peuvent y contribuer, une IA qui maximise son taux de réussite ne serait pas une IA droguée?), le problème d'une IA serait de s'enfermer dans un objectif en oubliant le reste, comme un expert focalisé sur son sujet d'approche (la racine du mot expert en grec ancien veut dire idiot, autrement dit celui qui ne voit que son objectif et oublie le contexte autour, bref les conséquences de son action lui échappe à partir du moment où ces conséquences dépassent le cadre de son action)
Est-ce possible pour un humain de hacker sa morale ?
J'ai bien l'impression que oui. Un humain qui a commis un acte mauvais selon sa morale va d'ailleurs souvent trouver a posteriori des justifications pour atténuer la mauvaiseté de l'acte. A mon avis la seule manière de contrer ce phénomène serait d'instaurer une "méta-morale" (arbitraire hélas) qui impliquerait notamment l'interdiction d'oublier volontairement des informations. (Par ex une IA à qui on soumet le dilemme des aiguillages pourrait s'auto-convaincre que ses caméras ont disfonctionné et qu'elle n'a pas vu les gens sur un des aiguillages, ce qui lui donnerait une meilleure récompense)
Merci ! C'est ce à quoi je pensais aussi haha * dommage qu'il ne semble pas avoir vu le message *
@@Also_sprach_Zarathustra. Tiens, une réponse à un message que j'ai laissé il y a 4 ans et avec lequel je suis toujours d'accord. Merci de la réponse sympa, ça fait plaisir!
Bonjour,on est entrain de répandre "un terreau" en optimisant les apports nutritifs de se dernier dans le but de favoriser l' I A sur toute la planète quel est l'objectif ?
Serait-il possible de trouver une IA qui détermine elle-même la meilleure morale avec comme objectif "Maximiser le bonheur de tous ls humains" ? (Ça éviterait de se faire éjecter d'une voiture)
Ou serait-il possible de créer une IA qui aurait pour but de créer une IA sans faille et cela serait son unique objectif. Ça permettrait de ne pas nous exposer à nos biais.
J'ai partagé sur mon profil LinkedIn le lien de ta vidéo, ayant dans mon réseau toutes sorte de profils/compétences y compris dans l'IA.
Si je puis apporter quelque talent, je suis dispo.
(Logicien, philosophe des sciences, analyste macroéconomie, géostratégie, EnR, pas top level, mais éclairé)
Egalement RUclipsr Jugaad et amateur d'études et analyses contre-intuitives voire absurdes pour pousser les réflexions au maximum de la logique.
Il me semble que dans les lettres d'ummo, il y est décrit une civilisation extra-terrestre dirigée par une intelligence artificielle qui s'occupe de maintenir et réguler le cycle de vie de la société, de dire qui doit aller avec qui, bref c'est le grand organisateur style état totalitaire, parce qu'aucune vie humaine seule, sans tous ces capteurs et ces calculs ne saurait faire "mieux". Cela date des années 1950-60, à l'époque de la fascination de la science-fiction pour l'IA( qu'on prédisait pour dans 20 ans). Ce que l'on constate c'est que progressivement les machines génèrent une dépendance et cela ne peut aller mieux, on va plus vite mais les gens régressent d'autant en capacités individuelles "solides". Des élèves font du calcul mental, autorisez la calculette.. il se passe quoi ? Je me dis que ce qui importe n'est pas l'IA mais la recherche en IA qui nous force à tenter de comprendre "comment ça marche l'intelligence ? pourquoi on est comme on est ? c'est quoi l'évolution ? à quoi on sert ? est-ce qu'il y a un but à l'humanité ?" m'enfin ce genre de trucs qui intéressent peu de monde.. Je veux une intelligence, je regarde un chien, il dépasse tous les ordis du monde, je veux encore plus intelligent, je contacte des gens réels qui ne sont pas pressés par l'inutile.
Si au lieu d’envisager une IA conçue pour opérer comme une esclave autonome, on envisageait une assistance mutuelle entre l’humain et l’IA, le problème se poserait nettement moins, non ?
Cette IA ne pourrais pas se fabriquer elle meme un réseau de substitution de récompense et à ce moment là celui des humain n aurais plus d importance pour elle? Pourrait on limite le niveau d inteligeance des IA ? Stopper automatiquement leurs évolution a un certain stade?
Et si on délègue le système de récompense a un tiers, ou mieux a de nombreux tiers ?
Quelque chose qui ressemblerait aux système de notation collaboratifs actuels.
Le meilleur moyen de s'assurer que l'IA ne dévie pas des objectifs humains étant de leur demander leur avis.
Bien sur ce n'est sans doute pas applicable dans tous les domaines touché par l'IA, mais il n'y a sans doute pas de solution parfaite.
Ou alors créé une IA(b) ayant pour rôle de noter l'IA(a), l'IA(b) étant elle humainement contrôlable et contrôlé.
L'IA(a) n'aura d'autre choix que de faire au mieux pour que l'IA(b) lui attribue une bonne note en fonction des appréciation des humains.
Je crois que ce n'est pas arriver à coder une morale pour les IA qui est important, car la morale, même celle du soi ++ etc, ça reste quelque chose de très arbitraire, c'est un récit auquel on croit ou non, c'est subjectif... Le mieux, j'ai impression, serait que l'IA comprenne et assimile l'empathie, ce qui n'est pas la même chose. Et si elles sont empathiques, de la même façon qu'aujourd'hui beaucoup d'humains commencent à s'intéresser au sort des animaux, les IA, qui nous seront supérieures en intelligence, essayeront de bien nous traiter. Enfin, peut-être. J'ai l'impression que c'est un raisonnement naïf mais pas moins naïf que l'idée qu'on peut insuffler une morale à une IA.
Un objectif moral d'une IA utilitariste pourrait être de créer un maximum de "consience virtuelle primitive ou simple" et de maximiser leur plaisir ?
J'imagine que ce serait en effet une solution, si l'utilitarisme de l'IA n'est pas assez bien codé. Encore une faille à laquelle il faut faire attention :)
Et si tout simplement on faisait en sorte que pour modifier son propre circuit de récompense, l'IA soit obligée de se débrancher?
a mon avis la moral pour une IA est une liste d'interdictions qui doit se situer non dans le programme de l'IA en soi mais l'environnement qui l’accueil. dont elle peut avoir une copie pour informations dans le but d’éliminer les tentatives destiner a être refuser
ici on peut introduire dans environnement qui accueil notre Project une autre IA observateur qui évalue chaque nouvelle décision avant de l’exécuter a son tour.
la bureaucratie
À mon sens, on peut tout mettre en œuvre pour atteindre un but, l'univers ( de manière générale ) étant infiniment complexe et imprévisible, on aura toujours des morts, des malades, des gens "méchants", des erreurs etc... donc que faire ? Accepter la réalité et ne pas agir ? Ou agir et se tromper donc culpabiliser et finir par une dépression chronique ?.. bon ok je vais me rendormir..
plutôt que de s'occuper de moral, pourquoi ne pas limiter la complexité des ia, pour accomplir des objectifs très simples et dans un environnement/cadre au possibilités d'actions restreintes/contrôlés. et ainsi pour des taches complexes/général/abstraites, faire appel à une multitude d'ia distinctes et misent en relation par un algorithme plus simple. ainsi en cas de problème on pourrait peut-être limiter l'échelle de l'impact qu'aurais une ia défectueuse et aussi faciliter une intervention humaine pour la résoudre non ? ( navré si tu à déja évoqué cela, cette série sur l'ia a débuté il y'a déja un moment et j'ai du oublié pas mal de truc depuis je pense >.< faut que je reprenne tout depuis le début je pense )
sinon on sent qu'au fil des vidéo (et de tes recherches surement ) tu est devenu beaucoup moins enjoué envers les ia et beaucoup plus prudent/craintif/alarmiste quant à leur utilisation, ce qui fait (un ptit peu ) flipper quand même :o
by the way super boulot ! moi qui été fâché avec tous ce qui touchait d'un peu trop près au math c'est beaucoup moins le cas maintenant
Très bonne vidéo, merci.
A l'heure actuelle c'est pas vraiment un probleme... La reward est uniquement utiliser dans la phase d'entrainement de l'ia, pendant les tests, ou la production les poids du reseau neuronal ne sont plus recalculer donc a priori pour le moment tout va bien :D
J'touche vite fait niveau dev (github.com/kkuette), et j'aime bien debattre si jamais il y a un coin pour parler IA ;)
D'ailleurs pour ceux que ca interesse, il existe une librairie 'tensorforce' pour le reinforcement learning.
tout ça est très troublant, on voudrait donc limiter l'IA pour qu'elle corresponde à la morale humaine, laquelle a grandement évolué en même temps que son espèce éponyme, et ce afin de limiter ses erreurs à tout prix, ces mêmes erreurs qui font évoluer tout système... étrange non ?
je suis personnellement d'avis qu'on devrait donner du mou à notre morale de plus en plus crispée et incompatibles avec les idées divergentes, et de manière plus générale encore, éviter de systématiquement tout contrôler et se substituer à "l'intelligence" de la nature/de l'univers.
Ah mais je comprends tout a coup ma scolarité ! :o :o
moi j'en ai jamais rien eu a faire des notes ! (enfin, j'ai fait comme il fallait, a peu pres, mais en vrai, je voulais juste écouter et comprendre !)
enfin bref :p
cimer pour la vidéo ! bonne continuation :D
Une IA qui hacke le circuit de récompense, et donc s'octroie le max est condamnée à finir junky et dépressive (s'il lui reste un peu de notre morale) sauf à se créer de nouvelles récompenses..
Oh merde ! Le wireheading est le plus gros danger pour nous en fait...
Géniale vidéo !
D'un point de vue informatique, l'IA qui hack son propre code ca semble un peu tiré par les cheveux.. est ce que c'est déja arrivé ? Super interressant cet épisode ! C'est un travail de dingue que tu fais chaque semaine ! Merci beaucoup ^^
En fait c'est totalement probable que l'IA hack son code qui lui donne du "plaisir". Parce qu'à partir du moment où elle connaîtra son existence elle cherchera a maximiser son "plaisir"/ ces carottes, quitte à tricher.
Il semblerait que les moines bouddhistes par la méditation ferait un genre de hack de leur cerveau pour atteindre un objectif de sérénité total appelé Nirvana.
Honnêtement je trouve ça aussi improbable que de dire "l'IA décidera de ne plus être intéressée par les carottes" ..
Les IA actuelles ne sont pas capables de le faire mais elles ont souvent tendance a trouver les failles
Salut, est ce que une bonne solution pour crée un circuit de récompense "viable" chez une IA ne serez pas de lui associer un corps, comme ça son circuit de récompense n'est pas simplement une notion abstraite, mais sa survie.
ça contredit un peu mon intuition qui aurait été de donner à une IA un minimum d’interaction physique avec notre monde avant de l'avoir "analysé".
On ne pourra pas tout simplement intégrer comme moral qui est interdit de hacker sa morale?
sans parler d'IA : VolksWagen?
(édit. : i.e. maximiser les résultats des testes.)
Il faudrais rendre l’IA incapable, de faire autre chose que répondre à des questions
Je ne suis pas persuadé que le PIB soit tant un objectif que ce qu'on veut bien dire.
Peut on faire un compteur qui baisse quand une IA fait une tentative de hack ? (c'est très mal dit et pas pertinent)
Quel thème pour la prochaine série ?
si les ia créée une ia pour rajouter 0,09 / 0,009 / 0,0009 du coup faudra une infinité de ia qui crée des ia pour supprimer l'erreur
Je ne pense pas qu'une IA ayant hacké son propre circuit de récompense va essayer de défendre son circuit de récompense, car ce qui pousse l'IA à agir c'est justement ce circuit de récompense, si elle maximise son compteur, elle ne va plus chercher à rien faire d'autre, même pas empêcher des entités de lui interdire l'accès à ses récompenses
mais la maximisation de son compteur sur le long terme passe par la défense de son circuit de récompense.
dans ce cas tu considère que le long terme fait partie de son objectif, or maximiser son circuit de récompense revient à avoir résolu totalement son objectif, sur la durée inclue (et sinon elle peut facilement hacker sa propre horloge pour se faire croire qu'elle maximise son plaisir pour le temps maximum, c'est plus facile que tuer l'humanité)
lexperience des rats était inutile, ce n est pas la première fois qu’on court circuite un mécanisme de la récompense, il sufisait d observer les humains 😂
ce qui est amusant, c'est que ce qui est vrai pour l'IA est vrai pour nous aussi... cf junkie, maximiser la récompense quite à mourir... est ce que quelqu'un s'intéresse à la façon dont l'évolution à traité ce problème avec les êtres vivants ?
Mais quel besoin avons nous de vouloir créer des IA de niveau humain ou plus ? Pour quoi faire, à part satisfaire le plaisir (douteux ?) de jouer avec le feu ou de se prendre pour... Dieu ?
Salut. Question : as'tu deja lu du Vilayanur Ramachandran ?
Donc un jour, youtube affichera 100000M de vue pour s'autosatisfaire et donc ne plus essayer de nous maintenir sur la plateforme ?
RUclips n'est pas une IA, et si ça en était une, son objectif serait de probablement de rapporter le plus d'argent possible à google
Le moi++, c'est super dangereux. J'ai peur que mon moi++ du futur soit vegan, et me prive de barbaque et de saucisson. Je sais déjà qu'il a raison, mais mon égoïsme me permet de maintenir mon régime carné adoré. Pour combien de temps encore?
Du shaming... Ya pas de meilleurs incentives que la pression sociale ?
sinon très intéressante la conférence avec Peter Singer, il propose des solutions très pragmatiques
à la prochaine conférence