Lorsqu'on compare des méthodes il faut les comparer vis à vis de la meme tache. La p-value ce n'est pas uniquement une méthode qui a pour tache de se rapprocher de la vérité, c'est aussi une méthode qui a pour tache d’être concrètement applicable par tout chercheur et également d’être compacte. Entre une methode formelle bien meilleur mais incomprehensible par la majorite et une methode plus imprecise qui se met en oeuvre rapidement c'est la seconde la meilleur. Je ne dis pas que la p-value est dans ce cas la, je dis qu'il ne faut pas oublier 50% des criteres utiles a la comparaison des methodes, ici les 50% c'est le facteur humain, sociologique, on ne peut pas imposer à tout chercheur d'etre expert en statistique, c'est un metier, on doit donc rester dans un cadre technique abordable, faire un compromis. Si la science utilise une methode celle ci DOIT etre rapidement utilisable, vaguement interpretable, compacte et si possible quantitative pour qu'on puisse comparer objectivement des etudes entres elles, sinon elle sera belle mais malheureusement utile que dans un monde parallele qui n'est pas le notre.
Il y a quelque-chose qui me semble apparaître plus clairement dans les citations que tu montres compare a ton discours : beaucoup de citations soulignent que le phénomène de s'appuyer si fortement sur la p-value concerne surtout certains domains (biomed, management, politique, sociologie) et pas spécialement l'ensemble de la production scientifique. Typiquement je croise vraiment peu -- et je dis peu uniquement pour rester prudent -- de publications de ce genre en physique expérimentale : aucune p-value ne sont donnees, et encore moins utilise comme outil pour trancher de maniere systemique avec un seuil. La partie "statistique" qu'on va retrouver souvent c'est l'intervalle de confiance, et généralement il est surtout la pour donner une indication de ce qu'on a mesure, pas comme argument conclusif en soi.
@@antoninperonnet6138 oui, je me suis endormi (réellement). Je vous le conseil si vous avez du mal à dormir, c'est plus efficace que des musiques d'ambiance genre "la mer et ses vagues".
Attention, souvent les articles mettent en avant que la pvalue SEULE n'est pas suffisante, pas qu'elle est à rejeter en bloc. Il faut aussi, évidemment, commencer par calculer béta et la taille des effets. Je dis souvent ça à mes étudiants "avec une bonne balance, une pomme a un effet significatif sur votre poids, mais son effet taille est négligeable devant le cassoulet de la veille". En clair: ne mélangez pas "il y a un effet" et le "cet effet est important en pratique". De même pour la prise en compte de béta qui correspond à "si la vraie valeur est loin, effectivement on est bien certain de l'impact mais si la vraie valeur est proche on a bien souvent 50% de risque de dire de la merde". Et dans les "vraies" études avec interractions et tests multiples cela devient effectivement cauchemardesque. Dédicace spéciale aux bio et agri qui me pondent des MANCOVA emboitées à effectifs inégaux où je te fais un split-split-plot et où c'est un immonde foutoir où moi le premier je dois dire "mouhai, c'est pas clair".
Autant j'ai adoré la plupart des séries de vidéos des années passées, autant, j'ai vraiment du mal avec celle-là. Je trouve que c'est vraiment la porte ouverte à tous les relativismes. On a vraiment l'impression que assiste à un effondrement de la science car elle reposerait entièrement sur un outil statistique qui deviendrait subitement totalement incorrect comme si les pommes se mettaient à tomber vers le haut avec la RG pour contredire Newton. Comme il a été quand-même dit dans une vidéo précédente mais écrasé par tout le reste, la p-value marche très bien dans de très nombreux cas. Il faut déjà remarquer que toutes les publications scientifique ne reposent pas sur un calcul de p-value. Par ailleurs, entre une p-value qu'on peut calculer précisément et un formule de Bayes qu'on est incapable d'évaluer parce qu'on n'a aucune idée des valeur de probabilité a priori sauf quelque chose entre 0 et 1, j'ai du mal à croire que les conclusions seront plus pertinente dans le second cas. S'il faut faire attention aux conclusions qu'on tire d'un calcul de p-value, cela vaut tout autant d'une approche Bayesienne. Le choix des outils ne devrait pas se faire en choisissant un camp "Bayésien" ou "fréquentiste" a priori, indépendamment du contexte. Ceci dit, j'ai quand même appris des choses intéressantes sur l'approche Bayésienne. J'en était resté à la simple loi de probabilité conditionnelle sans trop chercher à creuser.
Il est difficile de trouver un bon equilibre. Mais je crois que ce que Le essaye de faire (et moi aussi) c'est d'alerter le plus gd nombre sur les travers ENORMES d'une grande partie de la recherche actuelle. En ce qui me concerne, je le vois au quotidien dans les travaux de mes collegues econometriciens. En sociologie et en sciences-politique les choses sont encore pires car la, en plus de tous leurs biais (motivations politiques, biais de publications etc), les chercheurs n'ont aucune comprehension des outils qu'ils manipulent. Et pourtant les travaux de ces individus sont souvent utilises pour justifier des decisions dont l'impact peut etre enorme.
J'entame un master de statistique en septembre. J'ai hâte de voir ce qu'on va nous enseigner (d'après la faculté, les enseignements sont au plus près des recherches actuelles).
Les statistiques sont une boîte a outil, ils ne sont que le prolongement de l'esprit de celui qui les emploie, mais si tu as la rigueur la curiosité de te mettre à jour et l'humilité de te te mettre en question (ce que je pense vu ton enthousiasme à découvrir cette discipline de la meilleure des manières :) ) tu en fera de grandes choses, mais n'attends pas à ce qu'on te les présente tels quels, tu vas être d'abord déçu des raccourcis qu'on prend lorsque l'on présente une méthode puis tu trouveras ta voie par toi-même et prendra ton pied à mesurer l'impact des détails et subtilités dans les vrais domaines d'applications, avec les défauts qui vont avec, mais l'excitation de servir à quelquechose dans un contexte donné, aspect trop souvent passé sous silence mais qui fait à la fois l'horreur et la beauté des stats ! Je te souhaite de t'épanouir dans cette direction :)
@@actu_r Merci beaucoup! J'espère m'y épanouir autant que tu sembles t'y épanouir en tout cas :) (tu en parles tellement bien que j'imagine que tu travailles/étudies toi même dans ce domaine)
Bonjour Le, il y a bcp de réf cruciales dans ces videos ,existe t il une retranscription écrite non automatique où on peut retrouver les réf de ces citations ?
Je suis toutes les vidéos avec un grand intérêt, et j'avais trouvé super intéressantes les premières vidéos de cette série; mais je n'ai pas réussi à apprécier celle ci. Déjà parce que ça ressemble maladroitement à un mille feuille argumentatif + qu'à la présentation de vrais arguments. C'est + des opinions d'ailleurs. Opinions éclairées sûrement mais bon. Par ailleurs... Cette vidéo est sujette au biais de sélection non ? ;) Et plus important: est-ce que cette série va apporter une alternative ou des pistes à une alternative ? Jusqu'ici on voit plutôt les limites de l'approche fréquentiste + que l'intérêt de l'approche bayesienne, et surtout comment l'approche bayesienne peut s'appliquer réellement en pratique. Ou alors je suis passé à côté, mais j'ai une impression globale que la série traîne en longueur à ce stade. Merci néanmoins toujours pour ton boulot, sur cette série comme sur les debattonsmieux dans un autre registre en ce moment ;)
votre façon d'aborder les sciences est intéressante. et vos points de vues pertinentes. avec vous je vois la recherche scientifique autrement. MERCI BEAUCOUP
bonsoir une video un peu compliquée. il faut la revoir 2x avant de commencer à comprendre les tenants et aboutissants. si je comprends bien on peut faire dire à la p-value ce que l'on veux sous réserve qu'elle soit suffisamment "grande" (ou pas trop petite). la significativité du résultat d'une étude est à prendre au regard du consensus général. la p-value n'est qu'un indicateur bayesien de l'a priori que nous devons avoir d'une affirmation scientifique (surtout en social et en médical) donc les statisticiens ne disent rien de plus que ce que tout le monde sait déja ? "un résultat extraordinaire se justifie par une preuve supérieure au consensus" alors qu'est ce qui est apporté au débat merci de me corriger si je me trompe et qu'en conclure concernant les grands sujets qui divisent notre société ? homéopathie, glyphosate, nucléaire ?
Salut Lê, Je n’ai qu’une chose à te dire : merci pour cette découverte des notions du bayésianisme. Si l’inférence bayésienne est souvent difficile à mettre en œuvre, j’ai l’impression que cette façon de voir les choses peut amener à voir d’une autre façon certains outils statistiques utilisés. Je fais un doctorat en archéologie/archéométrie dans le bassin méditerranéen, où l’usage des statistiques est rare (la vision « latine » de l’archéologie la rattache à l’histoire de l’art, plutôt descriptive, à l’inverse du monde anglo-saxon mieux formé aux mathématiques). L’interprétation des quantifications est presque absente, notamment à cause des problèmes qui posent l’approche fréquentiste et la difficulté d’adopter une approche hypothético-déductive (notamment par manque de moyens qui fait que l’approche exploratoire, plus riche en « découvertes », est privilégiée). Tes vidéos (et celles d’Hygiène Mentale) ainsi que ton livre m’ont notamment donné de quoi réfléchir sur le problème des intervalles de confiance qui, il me semble, ne sont pas adaptées à la réflexion sur une distribution théorique à partir d’une distribution observée. En effet, en calculant par exemple l’écart-type de manière traditionnelle dans une proportion observée d’un type de vaisselle par rapport à une autre, l’intervalle de confiance peut facilement couvrir des valeurs négatives ! (j’imagine sans peine le biais que ça amène dans le calcul de la p-value). Il me semble qu’il est alors plus intéressant d’utiliser des distributions binomiales et de vérifier à partir de quelle fréquence, il y a moins de 2,5 % de chance (par exemple) d’obtenir le nombre de résultat positif ou moins sur l’effectif observé pour la valeur supérieure, et faire l’inverse pour la valeur inférieure. Cette manière de faire me semble mieux coller à la pratique et je suis d’ailleurs en train d’écrire un article à ce propos. Désolé de ce pavé mais je trouvais intéressant de te partager ce que tes vidéos et ton livre m’ont inspiré, et j’attends avec impatience la suite de tes vidéos !
Bonjour Il me semble différent de dire : "l'utilisation de la valeur p doit respecter des conditions déterminées pour avoir le droit de l'interpréter" et "p-value est une erreur d'interpretation partagée par de nombreux scientifiques, rendant la methode scientifique bancale". Si j'ai bien compris ce qui est dit là, c'est qu'il y a une utilisation abusive et irréfléchie de la p-value appuyé par un système editorial defaillant; cela ne peut-il se résoudre par un rappel au champ d'application, non ? C'est comme utiliser un test de student sans avoir vérifié l'homogénéité des variances et la distribution normale, non ? Donc ne s'agit-il pas plus d'un problème de rigueur que d'un problème de choix de la statitiques inferente associée à l'expérience ? Enfin, n'est il pas plus prudent de garder à l'esprit que la méthode statistique lorsqu'elle est rigoureuse, n'a pas d'autre but que de produire un modèle mais que ce modèle est dependant des données qui l'alimentent. En clair : un modèle n'est pas une réalité. Si j'ai 80% de chance de guérison cela ne veut pas dire que je vais guérir ni que je dois y croire... si j'ai 1 chance sur bcp trop de gagner au loto, cela veut-il dire que je vais perdre ?
Intéressant, même si un peu trop de citations. Je n'ai jamais vraiment compris cet archarnement sur ce pauvre p-value. D'abord en tant que statisticienne on m'a appris à faire des tests de Khi2 et les p-values c'est quelques part sur le trajet de la compréhension du concept. Mais la réalité c'est que beaucoup de gens font des "statistiques" sans vraiment avoir été formé ou en ayant oublié ces cours "chiants" (Sic) et compliqués. La p-value, la probabilité d'avoir ce résultat par hasard, à 5% c'est un concept facile à appréhender. Ils mettent leurs données dans l'outil et mixent le tout. Et dans un certain nombre de cas ils veulent juste valider leur hypothèse. Au final il faut plutôt reprocher aux chercheurs : - de refaire le même test NHST jusqu'à l'obtention d'une p-value sous le seuil attendu et de ne publier que les bons résultats - de calculer les seuils de signifiance de p-value n'importe comment (ou pas en prenant systématiquement 5% d'erreurs). Objectivement, la prise en compte du nombre de dimensions et de la taille de l'échantillon pour calculer le bon seuil est difficile. J'imagine que l'idée est de justifier l'inférence bayésienne dans le prochain épisode. Elle n'est pas parfaite non plus et le data mining où elle est beaucoup utilisé a aussi son lot de résultats absurdes. C'est le rapport aux données et à l'esprit critique (chercher mettre en défaut son hypothèse) qu'il faut modifier et rejeter la pression pour justifier son hypothèse plutôt que rejeter des outils qui sont utiles dans leur contexte.
Après 40 ans de recherche je n'ai jamais utilisé ni publié de p-value car, dans toutes mes expériences, comme par exemple des déterminations de constantes de vitesse de réactions chimiques, il s'agissait de déterminer la valeur de ces constantes de vitesse en suivant un modèle théorique existant. Je veux dire par là qu'à moins de remettre en cause tout ce que l'on sait des réactions chimiques, il était certain qu'il y avait une relation de cause à effet entre par exemple la variation d'une concentration d'un produit de la réaction au cours du temps en fonction de la concentration des réactifs utilisés au temps zéro (et de la température). Bref ce que tu dis n'est-il pas limité à certains domaines scientifiques où les relations de cause à effet ne sont pas connues a priori ou vraisemblables car basées sur des lois physiques ?
Tu as une grande chance: tu fais des expériences o ça ne peut que fonctionner parfaitement. Quand je dois étudier l'effet d'un médoc, d'un engrais ou d'une page web c'est un immonde bordel dans les variables et on est toujours sur un échantillon. Toi tu es dans le meilleur des mondes!
@@MrCracou Ce n'est pas une question de chance. C'est une question du type de problème qu'on a à traiter. Contrairement à ce qu'on pourrait croire dans cette série, tous les problèmes scientifiques ne s'adressent pas à coup de p-value, loin de là.
Woah, j'ai l'impression d'assister à une révolution scientifique de mon vivant, c'est excitant ! 🤩 Au lieu de s’apitoyer sur les défauts de la méthode scientifique, on trouve des solutions pour l'améliorer, et ça c'est beau !
Vraiment super cette série sur le Bayésiannisme ! N'empêche je me demande quel thème tu vas choisir après cette série, on dirait vraiment que c'est l'apothéose du cheminement vers lequel tu voulais nous amener. ^^ Peut-être qu'il y aura un nouveau sondage comme celui à la fin de la série sur la démocratie ?
En pratique non, l'homéopathie ne passe pas selon le système bayesien parce que la crédence envers l'homéopathie est faible (ça nique tout ce qu'on sait de la physique et de la chimie, ça vient de vraiment nul part) + les résultats scientifiques sont pas dans le sens de l'homéopathie anyway; y'a vraiment rien à sauver pour l'homéopathie
@lê: Quand on a qu'un marteau, tout ressemble à un clou. N'est-ce pas ce qui se passe avec la p-value? Donc la p-value n'est pas fondamentalement catastrophique (bien que possédant des risques... comme un marteau), mais sur-utilisée et mal comprise. Est-ce le message?
Petite question : Si on admet que le test par hypothèse nulle n'est pas un indicateur de "vérité scientifique". Comment pouvons-nous affirmer, à l'inverse, que les médecines alternatives (par exemple) n'ont aucun effet puisqu'elles ont été démontées par des études scientifiques, alors que ces études emploient les méthodes statistiques traditionnelles pour parvenir à ces conclusions ? Merci pour le valeureux guerrier qui sera en mesure de m'apporter une réponse ! :)
la p-value peut prouver que ça ne marche pas, mais c'est plus compliqué de prouver que ça marche (notamment à cause de la taille de l'effet qui est souvent ignoré, à des fins commerciales).
Tes critiques concernent la science par p-value, mais je crois bien que tu veux l'étendre à l'ensemble de la science par réfutation. Tu n’as pourtant pas abordé l’épistémologie de Karl Popper. Les deux seuls critiques à son égard, portent 1)sur l'utilité des théories dont tu as parler dans l'avant dernière vidéo, 2) sur le fait que le test par p-value n'est une garantie de réfutabilité. La première qui concerne plus exactement la science par réfutation en général serait un homme de paille si elle était adressé à l'épistémologie de Popper. Il n'a jamais prétendu qu'il ne faudrait jamais utiliser une théorie au prétexte qu'elle aurait était réfuté, c'est même le premier à dire que la théorie de Newton reste utile quoique fausse. La seconde porte plus exactement sur le rapport entre la science par p-value et le critère de falsifiabilité. Cela semble résulter d'un malentendu, non seulement Karl Popper était contre toute forme de quantification en épistémologie (donc pas Fréquentiste), mais il avait lui même fournis un fondement à sont critère, à savoir la possibilité qu'une expérience soit contradictoire avec la théorie. Tu t'adresse principalement au fréquentisme sans t'adresser à d'autre épistémologie normative, à commencer par celle de Karl Popper. Comment compte tu nous convaincres que le bayésianisme est la meilleur épistémologie alors que tu as tu ne fait que pointer du doigt les travers de la science par p-value? PS: l'ordre que j'ai donner à tes critiques corresponde à l'ordre auquel j'y penser et non à leur ordre chronologique.
Excellente vidéo !!! Alors que penser de la découverte du boson de Higgs au LHC....avec une confiance relative à une p-value de 6 sigma ? Espérons que c'est bien le Higgs...(les personnes malades doivent-elles continuer à prendre leurs médicaments...je plaisante...quoi que...).
C'est justement le problème de cette série de vidéos (pas si bonne que ça à mon avis), qui vient semer le doute sur des résultats comme la découverte du Boson BEH parce que l'outil statistique utilisé est la p-value. La p-value est LE (UN?) bon outil dans ce cas. Je serais curieux de voir comment on analyserait les données d'ATLAS et de CMS avec une approche Bayesienne ? Elle est sousjascente dans le fait d'avoir affirmé un niveau de probabilité a priori très élevé (mais non chiffrable) de l'existence du boson BEH pour réclamer un financement de l'ordre de 10 milliard de CHF pour le vérifier :)
@@denisnouais3031 Il est nécessaire de douter pour proposer de nouveaux modèles bien meilleur. J'imagine qu'Einstein a du se faire cracher dessus lors de l'année de la publication de la relativité.
Est-ce qu'on peut utiliser les préjugés sans tomber dans une forme de relativisme? (et donc renoncer à un aspect important de la science: son universalité) Mais du coup, est-ce qu'on peut dire que le boson de higgs existe?
il me semble que la p valeure a une place très différente en physique qu'en psychologie par exemple et les préjugés se retrouvent également dans le fréquentisme, étant donné qu'on teste qu'une hypothèse à la fois, il faut en choisir une à privilégier
Avec les dernières vidéos, on a l'impression qu'on ne peut rien conclure des études qui ont été menée dans l'optique d'une comparaison à une p-value. Pourtant, tu as notamment, dans une précédente vidéo, conclu avec confiance au non-risque du glyphosate à partir de ce genre d'études. Donc dans ta conception des sciences, ces études peuvent quand même, dans une certaine mesure, être utilisées. Si on ambitionne de ne pas tirer un trait sur tous les consensus scientifiques, la question est donc comment ?
Je dirais "à vue de nez" (parce que j'ai une très mauvaise compréhension de tout l'aspect matheux et statistique des choses), que la p-value, le fréquentisme etc... ça marche globalement très bien à grand échelle, les biais sont à l'échelle individuelle, théoriques, et en gros en réalité les résultats qu'on obtient sont des descriptions satisfaisantes du réel. Je pense que la sociologie des chercheurs aide à ce que les risques réels de biais soient limités, quand Lé dit que la p-value permet de volontairement ou involontairement biaiser des résultats, il en reste que je pense que la plupart des chercheurs sont ultra prudents de toutes les façons possibles qu'ils connaissent de biaiser les résultats. Et donc finalement le problème serait plus dans l'épistémologie théorique et la possibilité individuelle de forcer des résultats que la critique de tous les consensus et l'idée qu'on ne sait plus rien. Mème le capitalisme le plus vorace n'a jamais réussi à lever une armée de chercheurs à la solde du coca ou du tabac ou autre pour créer un consensus sciemment à base de forçage à la p-value et biais de publications, je dirais que ça peut bien s'expliquer par mon préjugé qu'une sociologie qui va généralement mixer les 3 aspects suivants: "plutôt matérialiste", "plutôt très à gauche", "plutôt introverti", c'est une sociologie qui voit le monde de façon absolument carrée, brute, sans "filtres", et à tendance à être extrèmement maniaque sur le fait de se donner les moyens d'avoir raison, de produire une recherche aussi parfaite que possible, de méticuleusement analyser toute source d'erreur, de se passionner pour le savoir rationnel et scientifique en général etc... et c'est quelque chose de plus puissant que tous les biais de la méthode et du système derrière confondus. Ce que dit Lé à la fin de la vidéo c'est bien "on pourrait faire mieux", la science vise à la perfection dans l'évitement des erreurs, et on pourrait faire mieux dans un paradigme bayésien en effet.
le problème c'est qu'à part dire ce qu'il ne faut plus dire, il n'y a aucune idée de remplacement là dedans. On ne parle plus deffet statisque ? ok et donc? on fait quoi pour savoir le vrai du faux contrairement? c'est quoi le protocole si le doubla aveugle ça suffit pas?
@@myfreedom42 le bayésianisme va un peu plus loin qu'une simple formule, comme le fréquentisme ne se réduit pas à la loi des grands nombres et au théorème central limite
@@SMH54000 tu ne réponds pas à la question. Concrètement, on fait comment pour déterminer s'il est VRAI de dire qu'un médicament est efficace ou non et pour prendre la décision de le commercialiser ou non ?
@@myfreedom42 Dire qu'une chose est vraie n'a aucun sens en bayésianisme. En ce qui concerne la prise de décision, je pense que cette série peut apporter une réponse bien plus convaincante que tout ce que je pourrai dire. Je t'invite aussi à lire le bouquin de Lê, "la formule du savoir", je pense qu'il donne de bons outils pour répondre à ta question. Une idée par exemple serait de partir de ce qu'on connaît des propriétés biochimiques du médicament et du fonctionnement du corps pour se forger une probabilité a priori, puis de l'actualiser par des tests cliniques jusqu'à obtenir une approximation satisfaisante de la probabilité que le médicament soit souhaitable sur le marché.
Comment faire avec nos étudiants en science à qui sont enseignées principalement des méthodes avec p-value ? Et pire encore, qui, quand ils font leur stage au sein d'entreprises, bossent dans des labos dans lesquels le boss, les équipes, leurs fournisseurs (qui sont souvent eux-mêmes des labos) ne travaillent qu' en p-value ? Souvent, ces labos ont aussi à répondre à des contraintes commerciales bien "adaptées" à la méthode avec p-value (et ses défauts) pour qui elle est satisfaisante? Comment va et peut s'effectuer la transition de l'enseignement et de la pratique de cette p-value à celle d'autres méthodes statistiques plus pertinentes?
Se restreindre à des test significatifs c'est seulement regarder les résultats d'une expérience. Ce qui ne vaut pas grand chose. Mais lorsque ces résultats sont discutés avec des résultats précédents (théorie ou autres expériences), alors ils deviennent beaucoup plus intéressants. Il vaut mieux voir la p-value comme un premier filtre de données mais rien de plus qui fonctionne souvent mais pas tout le temps. La discussion des statisticiens sur quel point de vue il vaut mieux adopter entre bayesianisme ou frequentisme ne me semble pas si critique. Les différents filtres de données se valent à peu près avec chacun leurs défauts. Qu'en penses tu Le ? Que penses tu de l'image du filtre ? Il y a moyen de faire des analogies pas mal avec ça :)
Très intéressant Les statistiques qu'on utilise en ce moment sont foireuses et ça ne pouvais pas tomber à un pire moment avec une grande partie de la population qui se joue des Sciences et qui adopte des croyances toujours plus étranges Du coup comment prouver quelque chose ? Quel que soit le système utilisé il aura forcément quelque part des défauts significatifs. En inventant un nouveau système on risque même d'empirer les choses si on ne fait pas attention
"Quand un indicateur devient un objectif, il devient totalement inutile voire nocif" Je ne sais plus de qui c'est, mais ça vaut pour le PIB, la croissance, la p-value, l'espérance de vie (qui peut augmenter avec une espérance de vie en bonne santé qui diminue), etc. Eriger la p-value en objectif, alors que c'est un indicateur, c'est rendre cet indicateur inutile.
Salut Science4All, merci beaucoup pour tes vidéos, Je ne sais pas si tu auras le temps de lire ce message, peut etre que d'autres viewers me repondront, J'avais la notion qu'il fallait, en expérience scientifiques (avec rejet d'hypothèse nulle, j'ai surtout l'expérience de la médecine), fixer le seuil de significativité de p a priori, avant de faire l'expérience, et qu'ensuite, si p< ce seuil (exemple 0.05) c' était "statistiquement significatif" (héhé), mais qu'il était du coup dangereux d'interpréter par exemple p = 0.0001 comme "très très significatif", C'est un peu en contradiction avec ce que tu dis à la 20ème minute? Encore merci, Benoit
Si j'apprécie l'envie de nous faire réfléchir et reconnaitre les imperfections de la science actuelle, j'aimerais maintenant savoir s'il existe des solutions alternatives aux tests randomisés en double aveugles, à l'utilisation abusive de la p-value et autres problèmes soulevés dans tes précédentes vidéos. Si des solutions concrètes n'existent pas encore officiellement, quelles sont les propositions (à part retirer des termes utilisés à tort et à travers) qui sont faites ? Quel rôle joue le Bayésiannisme jusqu'ici ? J'ose espérer des réponses à mes questions, car je trouve les derniers épisodes trop répétitifs et il me paraît essentiel de ne pas simplement critiquer la méthode en place et mettre en valeur les problèmes, mais aussi de proposer des solutions. Une crise restera une crise si on ne réfléchi pas à une solution. Toujours est-il que tes épisodes sont intéressants et la confrontation de points de vue est nécessaire. J'aimerais beaucoup en apprendre davantage sur les points épistémologiques que tu touches à travers tes futurs épisodes (après en savoir plus sur le Bayésiannisme !).
Pour être sûr de bien comprendre: est ce qu'on peut critiquer la p-value et les tests randomisés en double aveugle en montrant que cette méthode prouve une infinité de fois que la fonction inverse est définie sur l'ensemble des réels ?
"Lorsqu'une mesure devient un objectif, elle cesse d'être une bonne mesure." Peut-on résumer une des dérives des publications scientifiques avec cette Loi de Goodhart ? Sinon, pour essayer de prendre un exemple concret, le rejet des effets spécifiques de l'homéopathie est-il une erreur ? Je ne souhaite pas rentrer dans ce débat particulier, mais je questionne la démarche scientifique dont les méta-analyses montrent que les effets de l'homéopathie ne dépassent pas le "simple" (mais non négligeable) effet placebo. Personnellement j'ai tendance à faire confiance à ce genre d'étude, sans exclure de façon définitive l'usage de l'homéopathie (ne serait-ce que pour profiter pleinement de l'effet placebo). Merci pour cette vidéo, qui me semble très dure, mais qui réveille, comme toujours, des questionnements importants.
Une partie des scientifiques est beaucoup plus rigoureuse avec les statistiques : la physique des particules. Pour avoir un indice, il faut 3 sigmas. Une preuve est à 5 sigmas. Et même ainsi, des expériences de réplication sont prévues. De plus, on fait attention à préciser si l'analyse est bayésienne ou fréquentiste.
Mais cependant une question sur la notion de préjugé... Si notre préjugé initial est radicalement opposé à la réalité, on augmente d'autant plus la difficulté d'obtenir la réalité, en tout cas si on compare avec une méthode par laquelle on maintient une certaine ouverture à l'alternative. Et ça me semble une porte ouverte aux biais de confirmation
Désolé mais ce format de lecture sans explication ni développement est vraiment trop compliqué à suivre. C'est bien la première fois que je commence négativement :/
@@neloka4313 je prends les arguments ^^ j'étais peut-être fatiguée mais je n'ai rien suivi à part "les scientifiques sont d'accord pour bannir la p-value" à mon humble avis 3 ou 4 citations bien détaillée aurait eu plus de poids sur mon jugement que cette accumulation continue.
Par rapport au certaines personnes qui n'ont pas trop apprécier la vidéo moi je l'ai plutot trouvé très édifiant! Il est vrai que j'ai éffectué des études en statitisque et écouter que la p-value dont j'ai fait usage pendant longtemps sont des méthodes qui pose problème actuellement bon je sais pas trop mais si les arguments contre cela sont fondés et suivent une cohérences sans faille et qu'une nouvelle théorie surviennent ce sera la bienvenue! Finalement la question que je me pose est de savoir si les méthodes de Machine Learning sont plus fiables que celles des statistique étant donnée que le machine learning se base généralement sur les capacités de prédictions des modèles et que les statistiques se basent avant tout sur la significativité des paramètres avant de voir l'aspect prédictive?
Du coup, une fois qu'on a bien descendu la p-valeur qu'est-ce qu'on fait? Je suppose qu'il faut mieux prendre en compte la taille des effets. D'un point de vue bayésien, "une affirmation extraordinaire requiert des preuves extraordinaires" peut faire qu'on exige des effets beaucoup plus importants et des p-valeurs beaucoup plus faibles lorsque le résultat est très surprenant mais ça nous ramène à l'utilisation de la p-valeur. Autre remarque, c'est une série sur le bayésianisme mais la formule de Bayes n'a été appliquée que pour le monty hall, après pour des vraies données, elle est sans doute beaucoup plus compliquée à appliquer, même impossible.
Lé, je regarde ta série de vidéo depuis un petit moment et j'ai une remarque: je pense que tu te focalise beaucoup sur les problèmes de publications par p-value alors que ce genre de publi généralement recueille un pauvre "meh, ok". Je pense que tout scientifique est conscient du problème que ca pose (alors que j'ai jamais eu de cours de stats et que j'ai arrêté la science sérieuse après le doctorat). Une illustration que l'on voit tous est que un jour on nous explique que "le café va nous tuer" et le lendemain que "le café bon pour la santé" tout ça avec la meme méthode (laissons le p-hacking de coté). C'est pour ca que dans la norme de la connaissance scientifique la publi arrive en 3eme position (une publi n'est qu'un argument de discussion avec plus ou moins de poid) au dessus duquel il y a la meta-analyse (qui as aussi ses biais comme tu l'as montré) mais aussi le consensus, plus subjective, qui est pour le coup une implémentation implicite de la méthode Bayésienne (dont chaque terme, est une publi -ou non d'ailleurs(comme des connaissances autres) - dont l'effet est pondéré). Après si on part sur les évaluation de médicaments (qui pose des problèmes je l'admet) par exemple, c'est impossible d'avoir un consensus dans la mesure ou justement le produit est non connu. On se raccroche à une méthodologie d'évaluation stricte qui laisse peu de place à des répétitions d'expériences jusqu'à ce que ca marche, du p-hacking, ... (cela dit ils posent d'autres problems comme la non prise en compte des spécificités d'une population dans l'évaluation, par exemple tester un medicament plus sur des Caucasiens male).
Avant cette série, je ne savais pas ce que voulait dire ce "p=x", donc je ne prenais jamais en compte la valeur p quand je lisais des articles scientifiques, du coup je m'appuyais surtout sur la méthodologie, sur la taille d'un échantillon. Là maintenant, j'ai presque l'impression que ça ne m'handicapait pas le moins du monde...
Le podcast de Rationnally Speaking qui parle de l'étude EBM et son résultat à 6 sigma est très intéressant; il est expliqué qu'un problème méthodologie est extrêmement probable
Je n'ai pas spécialement aimé cet épisode. J'ai trouvé très intéressant que tu parles du consensus des statisticiens. Cependant j'aurais préféré que tu prennes plus de temps à expliquer/vulgariser ces affirmations. Par ailleurs tu pourrais plus parler des solutions potentielles à apporter pour augmenter la rigueur scientifique. Car cela remet notamment en cause les études sur l'homéopathie si je ne me trompes pas.
Je suis d’accord avec ta première partie ;) mais je pense que c’est prévu dans la série, il commence par les travers et il viendra ensuite a comment améliorer les choses avec des solutions saupoudrées de bayesianisme
13ème épisode. Et toujours pas de proposition concrète... A force de critique non-constructive, ne renforcez-vous pas l'idée inverse de ce que vous dites ? (la méthode scientifique actuelle est belle et bien la moins mauvaise ! A condition de ne pas lui faire dire ce qu'elle ne dit pas.)
Vidéo très intéressante comme habituellement dont il sort beaucoup de remises en questions. Toutefois si je résume à l'extrême voici ce que je comprends : les sciences/ la méthode scientifique se basent sur les statistiques pour définir ce qui est vrai. Les statisticiens disent que c'est très mal utilisé... et c'est tout!?! Comment peut on critiquer et préconiser l'arrêt pur et simple de l'utilisation des stats de la façon qu'on fait et cela depuis longtemps, sans indiquer la bonne méthode à suivre ?? S'il y a une meilleure méthode il faut en faire une vidéo. Si elle n'existe pas, ou si les statisticiens ne sont pas d'accord sur celle-ci, il est trop tôt pour critiquer la méthode scientifique (dire que c'est de la m....) et il est plutôt temps de se mettre d'accord (dire ce qu'il faut faire). C'est comme quand on a repéré que la théorie de Newton ne prévoyait pas toutes la trajectoire de mercure et que du coup on la rejetait complètement. Alors que c'est la meilleure théorie de son époque et pour de nombreuses années. Mon raisonnement, ma compréhension sont probablement erronés, et si vous pouvez m'indiquer où se trouve l'erreur je suis preneur. Et si je suis vraiment convaincu une bière sera la récompense :-) Avec une vidéo sur ce que ça doit être par exemple ... Merci en tout cas pour ces vidéos intéressantes et remuantes.
Attention quand même dans la lecture des papiers: celui à 10.00 ne dit pas qu'il ne faut pas utiliser la pvalue, mais qu'il faut utiliser la second generation p-value Dans celui à 11.18 il dit qu'en fait il faut se méfier des hypothèses simples (forcément, sur un grand échantillon ça passe pas) mais qu'on doit préférer des pdf et penser aux hypothèses composites (ce qui est, il faut le dire, un vaste débat et un sujet passablement compliqué. Saint Bonferonni priez pour nous!)
Quand tu vois que le soleil se lève tous les matins, tu peux "inférer" qu'il se lèvera demain. Ce n'est pas une preuve qu'il va se lever mais ton expérience passée te suggère que le soleil va se lever.
Sur le niveau de preuve pour la parapsychologie, je me dis ok ça prouve pas que c'est scientifiquement démontré que ça existe, mais quand même, soit on est passé à côté de quelque chose dans l'analyse des covariables et facteurs de confusion (au moins dans la diffusion des études) , soit j'ai très grandement sous estimé la probabilité que ça existe (et que mon nouvelle a priori devrais être plutôt en faveur de l’existence), j'ai pas pris le temps de lire tous ce qui a été publié sur le sujet, donc je reste sur l'idée que ça n'existe pas, mais je me souviens de cours de psyco avec des phénomènes mis en évidence avec des p-values à 0.1 voir 0.2 (avec des mécanismes explicatifs quand même).
Il est difficile de trouver un bon equilibre. Mais je crois que ce que Le essaye de faire (et moi aussi) c'est d'alerter le plus gd nombre sur les travers ENORMES d'une grande partie de la recherche actuelle. En ce qui me concerne, je le vois au quotidien dans les travaux de mes collegues econometriciens. En sociologie et en sciences-politique les choses sont encore pires car la, en plus de tous leurs biais (motivations politiques, biais de publications etc), les chercheurs n'ont aucune comprehension des outils qu'ils manipulent. Et pourtant les travaux de ces individus sont souvent utilises pour justifier des decisions dont l'impact peut etre enorme.
Mais du coup... Est ce que ça veut dire que les études faites ne sont pas sûres ? Ça pourrait donner du crédit à.... Je ne sais pas... Au hasard l'homéopathie. Signé un biologiste apeuré par cette idée
0:16 Preuve scientifique ? Non, il y a des preuves, par exemple en mathématique. Ah, au sens de "preuve définitive" ? Non, ça, ça n'existe pas en science... Et la réfutation reste un critère important de scientificité, même si comme tu le soulignes bien il n'est pas suffisant.
Pour l'instant, je ne suis pas bayesien, c'est peut-être voué à changé mais les premières vidéos ne m'ont pas convaincu ; Toute les erreurs que l'on cite avec la p-value et son exploitation (bayes 10) sont selon moi dûes a une application non rigoureuse de la méthode scientifique tel quelle devrait être en théorie. C'est peut-être pas spécialement applicable en pratique, mais je préfère ça à utiliser P[T] qui selon moi est juste pas estimable.. Bref je regarde avec attention les autres vidéos parce que la théorie bayesienne à l'air franchement sexy quand même, je cherche vraiment à comprendre ce mécanisme.
à 5min35 : vous faites croire à un truc révolutionnaire alors que c'est vieux comme le monde... En effet, la lecture de l'extrait de cet article défend une "nouvelle approche" qui est en réalité défendue depuis des lustres dans toutes les sciences : "mieux vaut une étude à grande échelle (embrassant toute la diversité des facteurs d'influence non-maitrisables), plutôt que plein de petites études". C'est surtout vrai dans les domaines très multifactoriels (psychologie, biologie, environnement...).
Affirmation extraordinaire = non réaliste ? Faut-il une démonstration extraordinaire pour autant ? Si qqn affirme sauter 20 mètres en longueur, il suffit d'un saut pour le prouver. Peut-être fait-on allusion aux théories d'Einstein, jugés extraordinaires pour l'époque et qui ont demandé de grandes démonstrations. Quant aux prévisions sur le futur des IA, n'est-on pas plus dans la spéculation ou l'extrapolation que dans la démonstration ?
à 16min : de telles phrases (dont la plupart sont tout simplement FAUSSES, en ce sens qu'elles confondent "certitude absolue" et "probabilité de se tromper") font dire à la p-value tout ce qu'elle ne dit pas (on continue à enfoncer des portes ouvertes). Et puis on aurait pu, avec de telles phrases, conclure tout simplement : "ne faites plus rien, ne concluez plus jamais rien !". On est bien avancé...
Avez-vous fait vous-même des MESURES expérimentales ? Un scientifique regarde d'abord la taille d'effet, tout simplement parce qu'il MESURE des choses. C'est ensuite qu'il calcule une p-value. Je n'ai jamais rencontré un seul scientifique qui regarde la p-value avant la taille d'effet (parce que ce n'est pas possible !). Même réflexe quand il lit une publi. Vous travestissez le monde scientifique en faisant passer certains travers marginaux pour des généralités. Je souhaite ici le dénoncer une fois de plus.
Je comprends toute cette série de vidéo, comme une découverte de la non séparation possible à un certain niveau entre le sujet observant et le ou les objets observés... Bref la découverte de l'unicité de chacun, et du potentiel créateur "de réalité perso" de chacun. Rien de bien nouveau , mais par contre l'approche statistique du "problème" semble a priori nouvelle, inédite.
à 11min17 : re-NON ! Quand la taille d'échantillon devient grande, tout est davantage fiable. Y compris la p-value ! Même un bayésien serait être d'accord avec ça (et je suis prêt à en faire la preuve mathématique, mais ça serait long ici).
J ai aidé à une étude de sciences sociales en faisant un de ces tests de rejets d hypothèse nul.. je pensais avoir aidé ^^" mtn j ai envie de dire Oups
Je vois bien que tu te contrefous des commentaires vu que pas mal de remarques t'invitant à un peu de nuance sont méprisés en blocs, mais je me permet de rajouter mon grain de sel au moins pour qui passerait par là et serait tenter d'apporter de la "crédance" à cette étrange vidéo sans argument (que des avis péremptoire énumérés ... c'est ça le bayesianisme ??) : Le "petit p" à une signification précise. Les dérives que tu dénonces (de même que tous ces auteurs que tu cites) relévent de la mauvaise compréhension et utilisation de l'outil, pas d'une remise en cause de sa réelle capacité à remplir son rôle. En plus (une nouvelle fois ...) tu dis des choses simplement *FAUSSES* (enfin, cette fois c'est pas directement toi, vu que tu cites des propos d'autres auteurs, mais tu les avances comme digne de confiance, ce qui est un peu du même tonneau), comme p.ex. quant les tests de réfutation d'hypothèse nulle serait d'un apport marginal aux progrès réels ... juste regarde l'évolution de la mortalité cardio-vasculaire ces dernières décennies, l'efficacité des traitements actuels contre le VIH, l'essor de traitements novateurs pour de plus en plus de cancers, ... C'est marginal pour toi ? ..... Bref ... Je parcours ton recueil de vidéo car ça me parait toujours essentiel de remettre en cause ses certitudes et de les confronter honnêtement à des théories / croyances alternatives, mais malheureusement plus j'en vois de ta chaîne plus j'ai l'impression que c'est surtout _tes_ certitudes qu'il est urgent de remettre en question ...
Très maladroit comme épisode, certains pourrait te reprocher un mille feuille argumentatif, d'argument d'autorité. Certes il existe un problème mais cettd manière de présenter les choses c'est ni très pédagogique, c'est du matraquage de plusieurs redite, pendant trop longtemps. Pire tu risques de fournir des arguments qui seront détournée par toute une population anti science. Un épisode entier de citation ça n'as pas beaucoup d'intérêt, il serait mieux de commenter un petit nombre de citation plutôt que d'en lire une vingtaine.
à 9min50 : NON ! Les p-value ne confondent pas la taille d'effet et la précision ! Ce sont les mauvais scientifiques qui font cette confusion entre taille d'effet et p-value. Une autre de vos vidéos s'appelle "arrêtons de partager la stupidité". Vous en êtes à la limite.
Tu nous sortirais pas un biais de publication car ceux qui croient encore à la p value n'en font pas des articles ? Ta metha analyse est donc biaisée non? Je plaisante, hein!
5 лет назад+2
Une suite d'arguments d'autorité lâchés sans analyse me laisse un poil sceptique :S
Un argument d'autorité est dû au statut social d'une personne. Il s'agit là plutôt d'un consensus de personnes dont c'est l'objet du travail, et pas simplement parce qu'il s'agit d'une intuition
L'air de rien cette vidéo est au cœur d'ENORMES (et je pèse mes mots) problèmes politiques et sociaux dans nos sociétés. Problèmes qui sont à peine évoqués du bout des lèvres dans la vidéo, je suppose pour éviter l'hooliganisme. Je comprends, mais je trouve un peu dommage de ne pas avoir mis les pieds dans le plat un peu plus.
c'est pour cela que je n'aime pas les notes à l'école et encore moins les moyennes car on perds de l’information, du contexte. Ce qui est important, entre autre, est de savoir quel fautes l'élève a fait et si les a corrigé au suivant.
Lorsqu'on compare des méthodes il faut les comparer vis à vis de la meme tache. La p-value ce n'est pas uniquement une méthode qui a pour tache de se rapprocher de la vérité, c'est aussi une méthode qui a pour tache d’être concrètement applicable par tout chercheur et également d’être compacte. Entre une methode formelle bien meilleur mais incomprehensible par la majorite et une methode plus imprecise qui se met en oeuvre rapidement c'est la seconde la meilleur. Je ne dis pas que la p-value est dans ce cas la, je dis qu'il ne faut pas oublier 50% des criteres utiles a la comparaison des methodes, ici les 50% c'est le facteur humain, sociologique, on ne peut pas imposer à tout chercheur d'etre expert en statistique, c'est un metier, on doit donc rester dans un cadre technique abordable, faire un compromis. Si la science utilise une methode celle ci DOIT etre rapidement utilisable, vaguement interpretable, compacte et si possible quantitative pour qu'on puisse comparer objectivement des etudes entres elles, sinon elle sera belle mais malheureusement utile que dans un monde parallele qui n'est pas le notre.
Il y a quelque-chose qui me semble apparaître plus clairement dans les citations que tu montres compare a ton discours : beaucoup de citations soulignent que le phénomène de s'appuyer si fortement sur la p-value concerne surtout certains domains (biomed, management, politique, sociologie) et pas spécialement l'ensemble de la production scientifique. Typiquement je croise vraiment peu -- et je dis peu uniquement pour rester prudent -- de publications de ce genre en physique expérimentale : aucune p-value ne sont donnees, et encore moins utilise comme outil pour trancher de maniere systemique avec un seuil. La partie "statistique" qu'on va retrouver souvent c'est l'intervalle de confiance, et généralement il est surtout la pour donner une indication de ce qu'on a mesure, pas comme argument conclusif en soi.
C'est sûrement très intéressant mais honnêtement, je me vois pas t'écouter énoncer des aphorismes durant 24 minutes. Vivement la prochaine vidéo
J'ai direct sauté à 17 minutes perso
Je crois que c'est la vidéo la plus réberbative de la chaine...
C'est la première fois que je n'en vient pas à bout !
@@antoninperonnet6138 oui, je me suis endormi (réellement). Je vous le conseil si vous avez du mal à dormir, c'est plus efficace que des musiques d'ambiance genre "la mer et ses vagues".
@@ludovicjeanson3820 lol
Attention, souvent les articles mettent en avant que la pvalue SEULE n'est pas suffisante, pas qu'elle est à rejeter en bloc. Il faut aussi, évidemment, commencer par calculer béta et la taille des effets.
Je dis souvent ça à mes étudiants "avec une bonne balance, une pomme a un effet significatif sur votre poids, mais son effet taille est négligeable devant le cassoulet de la veille". En clair: ne mélangez pas "il y a un effet" et le "cet effet est important en pratique". De même pour la prise en compte de béta qui correspond à "si la vraie valeur est loin, effectivement on est bien certain de l'impact mais si la vraie valeur est proche on a bien souvent 50% de risque de dire de la merde".
Et dans les "vraies" études avec interractions et tests multiples cela devient effectivement cauchemardesque. Dédicace spéciale aux bio et agri qui me pondent des MANCOVA emboitées à effectifs inégaux où je te fais un split-split-plot et où c'est un immonde foutoir où moi le premier je dois dire "mouhai, c'est pas clair".
On m'a toujours dit de me méfier des discours avec des musiques qui font peur en fond !
Autant j'ai adoré la plupart des séries de vidéos des années passées, autant, j'ai vraiment du mal avec celle-là. Je trouve que c'est vraiment la porte ouverte à tous les relativismes. On a vraiment l'impression que assiste à un effondrement de la science car elle reposerait entièrement sur un outil statistique qui deviendrait subitement totalement incorrect comme si les pommes se mettaient à tomber vers le haut avec la RG pour contredire Newton. Comme il a été quand-même dit dans une vidéo précédente mais écrasé par tout le reste, la p-value marche très bien dans de très nombreux cas.
Il faut déjà remarquer que toutes les publications scientifique ne reposent pas sur un calcul de p-value. Par ailleurs, entre une p-value qu'on peut calculer précisément et un formule de Bayes qu'on est incapable d'évaluer parce qu'on n'a aucune idée des valeur de probabilité a priori sauf quelque chose entre 0 et 1, j'ai du mal à croire que les conclusions seront plus pertinente dans le second cas. S'il faut faire attention aux conclusions qu'on tire d'un calcul de p-value, cela vaut tout autant d'une approche Bayesienne.
Le choix des outils ne devrait pas se faire en choisissant un camp "Bayésien" ou "fréquentiste" a priori, indépendamment du contexte.
Ceci dit, j'ai quand même appris des choses intéressantes sur l'approche Bayésienne. J'en était resté à la simple loi de probabilité conditionnelle sans trop chercher à creuser.
Il est difficile de trouver un bon equilibre. Mais je crois que ce que Le essaye de faire (et moi aussi) c'est d'alerter le plus gd nombre sur les travers ENORMES d'une grande partie de la recherche actuelle. En ce qui me concerne, je le vois au quotidien dans les travaux de mes collegues econometriciens. En sociologie et en sciences-politique les choses sont encore pires car la, en plus de tous leurs biais (motivations politiques, biais de publications etc), les chercheurs n'ont aucune comprehension des outils qu'ils manipulent. Et pourtant les travaux de ces individus sont souvent utilises pour justifier des decisions dont l'impact peut etre enorme.
J'entame un master de statistique en septembre. J'ai hâte de voir ce qu'on va nous enseigner (d'après la faculté, les enseignements sont au plus près des recherches actuelles).
Les statistiques sont une boîte a outil, ils ne sont que le prolongement de l'esprit de celui qui les emploie, mais si tu as la rigueur la curiosité de te mettre à jour et l'humilité de te te mettre en question (ce que je pense vu ton enthousiasme à découvrir cette discipline de la meilleure des manières :) ) tu en fera de grandes choses, mais n'attends pas à ce qu'on te les présente tels quels, tu vas être d'abord déçu des raccourcis qu'on prend lorsque l'on présente une méthode puis tu trouveras ta voie par toi-même et prendra ton pied à mesurer l'impact des détails et subtilités dans les vrais domaines d'applications, avec les défauts qui vont avec, mais l'excitation de servir à quelquechose dans un contexte donné, aspect trop souvent passé sous silence mais qui fait à la fois l'horreur et la beauté des stats ! Je te souhaite de t'épanouir dans cette direction :)
@@actu_r Merci beaucoup! J'espère m'y épanouir autant que tu sembles t'y épanouir en tout cas :) (tu en parles tellement bien que j'imagine que tu travailles/étudies toi même dans ce domaine)
Paris 6?
Bonjour =) alors ? Comment on t'a enseigné les choses ?
Bonjour Le, il y a bcp de réf cruciales dans ces videos ,existe t il une retranscription écrite non automatique où on peut retrouver les réf de ces citations ?
Je suis toutes les vidéos avec un grand intérêt, et j'avais trouvé super intéressantes les premières vidéos de cette série; mais je n'ai pas réussi à apprécier celle ci.
Déjà parce que ça ressemble maladroitement à un mille feuille argumentatif + qu'à la présentation de vrais arguments. C'est + des opinions d'ailleurs. Opinions éclairées sûrement mais bon.
Par ailleurs... Cette vidéo est sujette au biais de sélection non ? ;)
Et plus important: est-ce que cette série va apporter une alternative ou des pistes à une alternative ? Jusqu'ici on voit plutôt les limites de l'approche fréquentiste + que l'intérêt de l'approche bayesienne, et surtout comment l'approche bayesienne peut s'appliquer réellement en pratique. Ou alors je suis passé à côté, mais j'ai une impression globale que la série traîne en longueur à ce stade.
Merci néanmoins toujours pour ton boulot, sur cette série comme sur les debattonsmieux dans un autre registre en ce moment ;)
votre façon d'aborder les sciences est intéressante. et vos points de vues pertinentes. avec vous je vois la recherche scientifique autrement. MERCI BEAUCOUP
Quel épisode stimulant.
c'est quoi la musique de fond ??
bonsoir
une video un peu compliquée. il faut la revoir 2x avant de commencer à comprendre les tenants et aboutissants.
si je comprends bien on peut faire dire à la p-value ce que l'on veux sous réserve qu'elle soit suffisamment "grande" (ou pas trop petite). la significativité du résultat d'une étude est à prendre au regard du consensus général.
la p-value n'est qu'un indicateur bayesien de l'a priori que nous devons avoir d'une affirmation scientifique (surtout en social et en médical)
donc les statisticiens ne disent rien de plus que ce que tout le monde sait déja ? "un résultat extraordinaire se justifie par une preuve supérieure au consensus"
alors qu'est ce qui est apporté au débat
merci de me corriger si je me trompe
et qu'en conclure concernant les grands sujets qui divisent notre société ? homéopathie, glyphosate, nucléaire ?
Nicolas Smigielski merci pour ce commentaire cela permet toujours de mieux comprendre ces vidéos parce que avec mes 16 ans c’est un peu compliqué
Antoine du Fresne Pareil...Des fois je suis un peu largué
Tu as fais une erreur, l'étude s'appelle en fait "Beyond moving beyond a world beyond p beyond 0.05" ça arrive a tout le monde, t'inquiète ! ;)
Salut Lê,
Je n’ai qu’une chose à te dire : merci pour cette découverte des notions du bayésianisme. Si l’inférence bayésienne est souvent difficile à mettre en œuvre, j’ai l’impression que cette façon de voir les choses peut amener à voir d’une autre façon certains outils statistiques utilisés.
Je fais un doctorat en archéologie/archéométrie dans le bassin méditerranéen, où l’usage des statistiques est rare (la vision « latine » de l’archéologie la rattache à l’histoire de l’art, plutôt descriptive, à l’inverse du monde anglo-saxon mieux formé aux mathématiques). L’interprétation des quantifications est presque absente, notamment à cause des problèmes qui posent l’approche fréquentiste et la difficulté d’adopter une approche hypothético-déductive (notamment par manque de moyens qui fait que l’approche exploratoire, plus riche en « découvertes », est privilégiée).
Tes vidéos (et celles d’Hygiène Mentale) ainsi que ton livre m’ont notamment donné de quoi réfléchir sur le problème des intervalles de confiance qui, il me semble, ne sont pas adaptées à la réflexion sur une distribution théorique à partir d’une distribution observée. En effet, en calculant par exemple l’écart-type de manière traditionnelle dans une proportion observée d’un type de vaisselle par rapport à une autre, l’intervalle de confiance peut facilement couvrir des valeurs négatives ! (j’imagine sans peine le biais que ça amène dans le calcul de la p-value).
Il me semble qu’il est alors plus intéressant d’utiliser des distributions binomiales et de vérifier à partir de quelle fréquence, il y a moins de 2,5 % de chance (par exemple) d’obtenir le nombre de résultat positif ou moins sur l’effectif observé pour la valeur supérieure, et faire l’inverse pour la valeur inférieure. Cette manière de faire me semble mieux coller à la pratique et je suis d’ailleurs en train d’écrire un article à ce propos.
Désolé de ce pavé mais je trouvais intéressant de te partager ce que tes vidéos et ton livre m’ont inspiré, et j’attends avec impatience la suite de tes vidéos !
2:54 on n'utilise pas le SMR pour avoir une petite idée de ça justement ?
Bonjour
Il me semble différent de dire : "l'utilisation de la valeur p doit respecter des conditions déterminées pour avoir le droit de l'interpréter" et "p-value est une erreur d'interpretation partagée par de nombreux scientifiques, rendant la methode scientifique bancale". Si j'ai bien compris ce qui est dit là, c'est qu'il y a une utilisation abusive et irréfléchie de la p-value appuyé par un système editorial defaillant; cela ne peut-il se résoudre par un rappel au champ d'application, non ?
C'est comme utiliser un test de student sans avoir vérifié l'homogénéité des variances et la distribution normale, non ?
Donc ne s'agit-il pas plus d'un problème de rigueur que d'un problème de choix de la statitiques inferente associée à l'expérience ?
Enfin, n'est il pas plus prudent de garder à l'esprit que la méthode statistique lorsqu'elle est rigoureuse, n'a pas d'autre but que de produire un modèle mais que ce modèle est dependant des données qui l'alimentent. En clair : un modèle n'est pas une réalité. Si j'ai 80% de chance de guérison cela ne veut pas dire que je vais guérir ni que je dois y croire... si j'ai 1 chance sur bcp trop de gagner au loto, cela veut-il dire que je vais perdre ?
Intéressant, même si un peu trop de citations.
Je n'ai jamais vraiment compris cet archarnement sur ce pauvre p-value. D'abord en tant que statisticienne on m'a appris à faire des tests de Khi2 et les p-values c'est quelques part sur le trajet de la compréhension du concept.
Mais la réalité c'est que beaucoup de gens font des "statistiques" sans vraiment avoir été formé ou en ayant oublié ces cours "chiants" (Sic) et compliqués. La p-value, la probabilité d'avoir ce résultat par hasard, à 5% c'est un concept facile à appréhender. Ils mettent leurs données dans l'outil et mixent le tout. Et dans un certain nombre de cas ils veulent juste valider leur hypothèse.
Au final il faut plutôt reprocher aux chercheurs :
- de refaire le même test NHST jusqu'à l'obtention d'une p-value sous le seuil attendu et de ne publier que les bons résultats
- de calculer les seuils de signifiance de p-value n'importe comment (ou pas en prenant systématiquement 5% d'erreurs). Objectivement, la prise en compte du nombre de dimensions et de la taille de l'échantillon pour calculer le bon seuil est difficile.
J'imagine que l'idée est de justifier l'inférence bayésienne dans le prochain épisode. Elle n'est pas parfaite non plus et le data mining où elle est beaucoup utilisé a aussi son lot de résultats absurdes.
C'est le rapport aux données et à l'esprit critique (chercher mettre en défaut son hypothèse) qu'il faut modifier et rejeter la pression pour justifier son hypothèse plutôt que rejeter des outils qui sont utiles dans leur contexte.
Merci pour ces traductions et ce partage !
Après 40 ans de recherche je n'ai jamais utilisé ni publié de p-value car, dans toutes mes expériences, comme par exemple des déterminations de constantes de vitesse de réactions chimiques, il s'agissait de déterminer la valeur de ces constantes de vitesse en suivant un modèle théorique existant. Je veux dire par là qu'à moins de remettre en cause tout ce que l'on sait des réactions chimiques, il était certain qu'il y avait une relation de cause à effet entre par exemple la variation d'une concentration d'un produit de la réaction au cours du temps en fonction de la concentration des réactifs utilisés au temps zéro (et de la température). Bref ce que tu dis n'est-il pas limité à certains domaines scientifiques où les relations de cause à effet ne sont pas connues a priori ou vraisemblables car basées sur des lois physiques ?
Tu as une grande chance: tu fais des expériences o ça ne peut que fonctionner parfaitement. Quand je dois étudier l'effet d'un médoc, d'un engrais ou d'une page web c'est un immonde bordel dans les variables et on est toujours sur un échantillon. Toi tu es dans le meilleur des mondes!
@@MrCracou Ce n'est pas une question de chance. C'est une question du type de problème qu'on a à traiter. Contrairement à ce qu'on pourrait croire dans cette série, tous les problèmes scientifiques ne s'adressent pas à coup de p-value, loin de là.
Woah, j'ai l'impression d'assister à une révolution scientifique de mon vivant, c'est excitant ! 🤩
Au lieu de s’apitoyer sur les défauts de la méthode scientifique, on trouve des solutions pour l'améliorer, et ça c'est beau !
Vraiment super cette série sur le Bayésiannisme ! N'empêche je me demande quel thème tu vas choisir après cette série, on dirait vraiment que c'est l'apothéose du cheminement vers lequel tu voulais nous amener. ^^ Peut-être qu'il y aura un nouveau sondage comme celui à la fin de la série sur la démocratie ?
Du coup, il faudrait réhabiliter l'homéopathie où j'ai rien compris ?
En pratique non, l'homéopathie ne passe pas selon le système bayesien parce que la crédence envers l'homéopathie est faible (ça nique tout ce qu'on sait de la physique et de la chimie, ça vient de vraiment nul part) + les résultats scientifiques sont pas dans le sens de l'homéopathie anyway;
y'a vraiment rien à sauver pour l'homéopathie
Je voudrais bien un exemple concret ou, un truc vrai est réfuté par p-value ?
L'absence de pouvoirs parapsychologiques?
Vidéo excellente, comme toujours !
@lê: Quand on a qu'un marteau, tout ressemble à un clou. N'est-ce pas ce qui se passe avec la p-value? Donc la p-value n'est pas fondamentalement catastrophique (bien que possédant des risques... comme un marteau), mais sur-utilisée et mal comprise. Est-ce le message?
Petite question : Si on admet que le test par hypothèse nulle n'est pas un indicateur de "vérité scientifique". Comment pouvons-nous affirmer, à l'inverse, que les médecines alternatives (par exemple) n'ont aucun effet puisqu'elles ont été démontées par des études scientifiques, alors que ces études emploient les méthodes statistiques traditionnelles pour parvenir à ces conclusions ? Merci pour le valeureux guerrier qui sera en mesure de m'apporter une réponse ! :)
la p-value peut prouver que ça ne marche pas, mais c'est plus compliqué de prouver que ça marche (notamment à cause de la taille de l'effet qui est souvent ignoré, à des fins commerciales).
Tes critiques concernent la science par p-value, mais je crois bien que tu veux l'étendre à l'ensemble de la science par réfutation. Tu n’as pourtant pas abordé l’épistémologie de Karl Popper. Les deux seuls critiques à son égard, portent 1)sur l'utilité des théories dont tu as parler dans l'avant dernière vidéo, 2) sur le fait que le test par p-value n'est une garantie de réfutabilité. La première qui concerne plus exactement la science par réfutation en général serait un homme de paille si elle était adressé à l'épistémologie de Popper. Il n'a jamais prétendu qu'il ne faudrait jamais utiliser une théorie au prétexte qu'elle aurait était réfuté, c'est même le premier à dire que la théorie de Newton reste utile quoique fausse. La seconde porte plus exactement sur le rapport entre la science par p-value et le critère de falsifiabilité. Cela semble résulter d'un malentendu, non seulement Karl Popper était contre toute forme de quantification en épistémologie (donc pas Fréquentiste), mais il avait lui même fournis un fondement à sont critère, à savoir la possibilité qu'une expérience soit contradictoire avec la théorie. Tu t'adresse principalement au fréquentisme sans t'adresser à d'autre épistémologie normative, à commencer par celle de Karl Popper. Comment compte tu nous convaincres que le bayésianisme est la meilleur épistémologie alors que tu as tu ne fait que pointer du doigt les travers de la science par p-value?
PS: l'ordre que j'ai donner à tes critiques corresponde à l'ordre auquel j'y penser et non à leur ordre chronologique.
Excellente vidéo !!! Alors que penser de la découverte du boson de Higgs au LHC....avec une confiance relative à une p-value de 6 sigma ? Espérons que c'est bien le Higgs...(les personnes malades doivent-elles continuer à prendre leurs médicaments...je plaisante...quoi que...).
C'est justement le problème de cette série de vidéos (pas si bonne que ça à mon avis), qui vient semer le doute sur des résultats comme la découverte du Boson BEH parce que l'outil statistique utilisé est la p-value. La p-value est LE (UN?) bon outil dans ce cas. Je serais curieux de voir comment on analyserait les données d'ATLAS et de CMS avec une approche Bayesienne ? Elle est sousjascente dans le fait d'avoir affirmé un niveau de probabilité a priori très élevé (mais non chiffrable) de l'existence du boson BEH pour réclamer un financement de l'ordre de 10 milliard de CHF pour le vérifier :)
@@denisnouais3031 Il est nécessaire de douter pour proposer de nouveaux modèles bien meilleur. J'imagine qu'Einstein a du se faire cracher dessus lors de l'année de la publication de la relativité.
Est-ce qu'on peut utiliser les préjugés sans tomber dans une forme de relativisme? (et donc renoncer à un aspect important de la science: son universalité)
Mais du coup, est-ce qu'on peut dire que le boson de higgs existe?
Rapporté à un d20 cela peut même témoigner d'un succès critique!
il me semble que la p valeure a une place très différente en physique qu'en psychologie par exemple
et les préjugés se retrouvent également dans le fréquentisme, étant donné qu'on teste qu'une hypothèse à la fois, il faut en choisir une à privilégier
D'autres éléments statistiques pourraient être utilisés comme la "variance expliquée" au lieu de la p-value, ou souffre-t-elle de limites similaires ?
Avec les dernières vidéos, on a l'impression qu'on ne peut rien conclure des études qui ont été menée dans l'optique d'une comparaison à une p-value. Pourtant, tu as notamment, dans une précédente vidéo, conclu avec confiance au non-risque du glyphosate à partir de ce genre d'études. Donc dans ta conception des sciences, ces études peuvent quand même, dans une certaine mesure, être utilisées. Si on ambitionne de ne pas tirer un trait sur tous les consensus scientifiques, la question est donc comment ?
Je dirais "à vue de nez" (parce que j'ai une très mauvaise compréhension de tout l'aspect matheux et statistique des choses), que la p-value, le fréquentisme etc... ça marche globalement très bien à grand échelle, les biais sont à l'échelle individuelle, théoriques, et en gros en réalité les résultats qu'on obtient sont des descriptions satisfaisantes du réel.
Je pense que la sociologie des chercheurs aide à ce que les risques réels de biais soient limités, quand Lé dit que la p-value permet de volontairement ou involontairement biaiser des résultats, il en reste que je pense que la plupart des chercheurs sont ultra prudents de toutes les façons possibles qu'ils connaissent de biaiser les résultats. Et donc finalement le problème serait plus dans l'épistémologie théorique et la possibilité individuelle de forcer des résultats que la critique de tous les consensus et l'idée qu'on ne sait plus rien. Mème le capitalisme le plus vorace n'a jamais réussi à lever une armée de chercheurs à la solde du coca ou du tabac ou autre pour créer un consensus sciemment à base de forçage à la p-value et biais de publications, je dirais que ça peut bien s'expliquer par mon préjugé qu'une sociologie qui va généralement mixer les 3 aspects suivants: "plutôt matérialiste", "plutôt très à gauche", "plutôt introverti", c'est une sociologie qui voit le monde de façon absolument carrée, brute, sans "filtres", et à tendance à être extrèmement maniaque sur le fait de se donner les moyens d'avoir raison, de produire une recherche aussi parfaite que possible, de méticuleusement analyser toute source d'erreur, de se passionner pour le savoir rationnel et scientifique en général etc... et c'est quelque chose de plus puissant que tous les biais de la méthode et du système derrière confondus.
Ce que dit Lé à la fin de la vidéo c'est bien "on pourrait faire mieux", la science vise à la perfection dans l'évitement des erreurs, et on pourrait faire mieux dans un paradigme bayésien en effet.
le problème c'est qu'à part dire ce qu'il ne faut plus dire, il n'y a aucune idée de remplacement là dedans. On ne parle plus deffet statisque ? ok et donc? on fait quoi pour savoir le vrai du faux contrairement? c'est quoi le protocole si le doubla aveugle ça suffit pas?
bayes
@@SMH54000 c'est une formule, pas une protocole ça...
@@myfreedom42 le bayésianisme va un peu plus loin qu'une simple formule, comme le fréquentisme ne se réduit pas à la loi des grands nombres et au théorème central limite
@@SMH54000 tu ne réponds pas à la question. Concrètement, on fait comment pour déterminer s'il est VRAI de dire qu'un médicament est efficace ou non et pour prendre la décision de le commercialiser ou non ?
@@myfreedom42 Dire qu'une chose est vraie n'a aucun sens en bayésianisme. En ce qui concerne la prise de décision, je pense que cette série peut apporter une réponse bien plus convaincante que tout ce que je pourrai dire. Je t'invite aussi à lire le bouquin de Lê, "la formule du savoir", je pense qu'il donne de bons outils pour répondre à ta question. Une idée par exemple serait de partir de ce qu'on connaît des propriétés biochimiques du médicament et du fonctionnement du corps pour se forger une probabilité a priori, puis de l'actualiser par des tests cliniques jusqu'à obtenir une approximation satisfaisante de la probabilité que le médicament soit souhaitable sur le marché.
Merci pour cette vidéo.
Par contre j'ai pas trop aimé le côté "mille feuille argumentatif".
J'attends la suite avec grand hâte =)
Lê que penses-tu du travail d’E. T. Jaynes sur les probabilités bayésiennes ?
Il retourne maison?
Comment faire avec nos étudiants en science à qui sont enseignées principalement des méthodes avec p-value ? Et pire encore, qui, quand ils font leur stage au sein d'entreprises, bossent dans des labos dans lesquels le boss, les équipes, leurs fournisseurs (qui sont souvent eux-mêmes des labos) ne travaillent qu' en p-value ? Souvent, ces labos ont aussi à répondre à des contraintes commerciales bien "adaptées" à la méthode avec p-value (et ses défauts) pour qui elle est satisfaisante? Comment va et peut s'effectuer la transition de l'enseignement et de la pratique de cette p-value à celle d'autres méthodes statistiques plus pertinentes?
Surtout que 5%... Tout joueur de D&D sait que c'est très significatif.
Pourquoi j'ai l'impression que D&D connait un nouvel essor en ce moment ? J'en entends parler régulièrement.
N'importe quel dps sur WoW vendrait sa mère pour +5% crit ^^
@@weak7897 parce que D&D connait un nouvel essor en ce moment.
@@lachouettealouest ou alors c'est juste que les jeux de roles et de sociétès sont à la mode. ont peut le voir rien qu'ici sur youtube.
Se restreindre à des test significatifs c'est seulement regarder les résultats d'une expérience. Ce qui ne vaut pas grand chose. Mais lorsque ces résultats sont discutés avec des résultats précédents (théorie ou autres expériences), alors ils deviennent beaucoup plus intéressants. Il vaut mieux voir la p-value comme un premier filtre de données mais rien de plus qui fonctionne souvent mais pas tout le temps. La discussion des statisticiens sur quel point de vue il vaut mieux adopter entre bayesianisme ou frequentisme ne me semble pas si critique. Les différents filtres de données se valent à peu près avec chacun leurs défauts. Qu'en penses tu Le ? Que penses tu de l'image du filtre ? Il y a moyen de faire des analogies pas mal avec ça :)
Très intéressant
Les statistiques qu'on utilise en ce moment sont foireuses et ça ne pouvais pas tomber à un pire moment avec une grande partie de la population qui se joue des Sciences et qui adopte des croyances toujours plus étranges
Du coup comment prouver quelque chose ? Quel que soit le système utilisé il aura forcément quelque part des défauts significatifs. En inventant un nouveau système on risque même d'empirer les choses si on ne fait pas attention
"Quand un indicateur devient un objectif, il devient totalement inutile voire nocif"
Je ne sais plus de qui c'est, mais ça vaut pour le PIB, la croissance, la p-value, l'espérance de vie (qui peut augmenter avec une espérance de vie en bonne santé qui diminue), etc.
Eriger la p-value en objectif, alors que c'est un indicateur, c'est rendre cet indicateur inutile.
Salut Science4All, merci beaucoup pour tes vidéos,
Je ne sais pas si tu auras le temps de lire ce message, peut etre que d'autres viewers me repondront,
J'avais la notion qu'il fallait,
en expérience scientifiques (avec rejet d'hypothèse nulle, j'ai surtout l'expérience de la médecine),
fixer le seuil de significativité de p a priori, avant de faire l'expérience,
et qu'ensuite, si p< ce seuil (exemple 0.05) c' était "statistiquement significatif" (héhé), mais qu'il était du coup dangereux d'interpréter par exemple p = 0.0001 comme "très très significatif",
C'est un peu en contradiction avec ce que tu dis à la 20ème minute?
Encore merci,
Benoit
Plus je regarde de vidéo moins je comprend.
Bonjour... n'étant pas scientifique je me demande où en est aujourd'hui le dépassement des p-value dans la communauté scientifique ?
Si j'apprécie l'envie de nous faire réfléchir et reconnaitre les imperfections de la science actuelle, j'aimerais maintenant savoir s'il existe des solutions alternatives aux tests randomisés en double aveugles, à l'utilisation abusive de la p-value et autres problèmes soulevés dans tes précédentes vidéos.
Si des solutions concrètes n'existent pas encore officiellement, quelles sont les propositions (à part retirer des termes utilisés à tort et à travers) qui sont faites ? Quel rôle joue le Bayésiannisme jusqu'ici ? J'ose espérer des réponses à mes questions, car je trouve les derniers épisodes trop répétitifs et il me paraît essentiel de ne pas simplement critiquer la méthode en place et mettre en valeur les problèmes, mais aussi de proposer des solutions. Une crise restera une crise si on ne réfléchi pas à une solution.
Toujours est-il que tes épisodes sont intéressants et la confrontation de points de vue est nécessaire. J'aimerais beaucoup en apprendre davantage sur les points épistémologiques que tu touches à travers tes futurs épisodes (après en savoir plus sur le Bayésiannisme !).
Pour être sûr de bien comprendre: est ce qu'on peut critiquer la p-value et les tests randomisés en double aveugle en montrant que cette méthode prouve une infinité de fois que la fonction inverse est définie sur l'ensemble des réels ?
Que pensez vous de la critique de Norman J. Wildberger (youtube : Insights into Mathematics) sur le manque de rigueur général en mathématiques ?
Bravo Lê. La psychiatrie n'existe "scientifiquement" qu'ainsi.
Très bonne idée cette vidéo. Je ne pensais pas qu'il existait autant de controverse sur ce sujet. Sans vous, je serai passé à côté de ce débat. Merci.
"Lorsqu'une mesure devient un objectif, elle cesse d'être une bonne mesure."
Peut-on résumer une des dérives des publications scientifiques avec cette Loi de Goodhart ?
Sinon, pour essayer de prendre un exemple concret, le rejet des effets spécifiques de l'homéopathie est-il une erreur ?
Je ne souhaite pas rentrer dans ce débat particulier, mais je questionne la démarche scientifique dont les méta-analyses montrent que les effets de l'homéopathie ne dépassent pas le "simple" (mais non négligeable) effet placebo.
Personnellement j'ai tendance à faire confiance à ce genre d'étude, sans exclure de façon définitive l'usage de l'homéopathie (ne serait-ce que pour profiter pleinement de l'effet placebo).
Merci pour cette vidéo, qui me semble très dure, mais qui réveille, comme toujours, des questionnements importants.
Une partie des scientifiques est beaucoup plus rigoureuse avec les statistiques : la physique des particules.
Pour avoir un indice, il faut 3 sigmas. Une preuve est à 5 sigmas. Et même ainsi, des expériences de réplication sont prévues. De plus, on fait attention à préciser si l'analyse est bayésienne ou fréquentiste.
Mais cependant une question sur la notion de préjugé... Si notre préjugé initial est radicalement opposé à la réalité, on augmente d'autant plus la difficulté d'obtenir la réalité, en tout cas si on compare avec une méthode par laquelle on maintient une certaine ouverture à l'alternative. Et ça me semble une porte ouverte aux biais de confirmation
Superbe vidéo!
Désolé mais ce format de lecture sans explication ni développement est vraiment trop compliqué à suivre. C'est bien la première fois que je commence négativement :/
"commente" au lieu de "commence" tu voulais dire nan ? Mais sinon, je suis assez d'accord avec toi.
Pas d'accord. :)
@@andresbriones8054 exact mon correcteur a fait des siennes ^^
@@neloka4313 je prends les arguments ^^ j'étais peut-être fatiguée mais je n'ai rien suivi à part "les scientifiques sont d'accord pour bannir la p-value" à mon humble avis 3 ou 4 citations bien détaillée aurait eu plus de poids sur mon jugement que cette accumulation continue.
Par rapport au certaines personnes qui n'ont pas trop apprécier la vidéo moi je l'ai plutot trouvé très édifiant! Il est vrai que j'ai éffectué des études en statitisque et écouter que la p-value dont j'ai fait usage pendant longtemps sont des méthodes qui pose problème actuellement bon je sais pas trop mais si les arguments contre cela sont fondés et suivent une cohérences sans faille et qu'une nouvelle théorie surviennent ce sera la bienvenue! Finalement la question que je me pose est de savoir si les méthodes de Machine Learning sont plus fiables que celles des statistique étant donnée que le machine learning se base généralement sur les capacités de prédictions des modèles et que les statistiques se basent avant tout sur la significativité des paramètres avant de voir l'aspect prédictive?
Du coup, une fois qu'on a bien descendu la p-valeur qu'est-ce qu'on fait? Je suppose qu'il faut mieux prendre en compte la taille des effets. D'un point de vue bayésien, "une affirmation extraordinaire requiert des preuves extraordinaires" peut faire qu'on exige des effets beaucoup plus importants et des p-valeurs beaucoup plus faibles lorsque le résultat est très surprenant mais ça nous ramène à l'utilisation de la p-valeur. Autre remarque, c'est une série sur le bayésianisme mais la formule de Bayes n'a été appliquée que pour le monty hall, après pour des vraies données, elle est sans doute beaucoup plus compliquée à appliquer, même impossible.
Lé, je regarde ta série de vidéo depuis un petit moment et j'ai une remarque: je pense que tu te focalise beaucoup sur les problèmes de publications par p-value alors que ce genre de publi généralement recueille un pauvre "meh, ok". Je pense que tout scientifique est conscient du problème que ca pose (alors que j'ai jamais eu de cours de stats et que j'ai arrêté la science sérieuse après le doctorat). Une illustration que l'on voit tous est que un jour on nous explique que "le café va nous tuer" et le lendemain que "le café bon pour la santé" tout ça avec la meme méthode (laissons le p-hacking de coté). C'est pour ca que dans la norme de la connaissance scientifique la publi arrive en 3eme position (une publi n'est qu'un argument de discussion avec plus ou moins de poid) au dessus duquel il y a la meta-analyse (qui as aussi ses biais comme tu l'as montré) mais aussi le consensus, plus subjective, qui est pour le coup une implémentation implicite de la méthode Bayésienne (dont chaque terme, est une publi -ou non d'ailleurs(comme des connaissances autres) - dont l'effet est pondéré).
Après si on part sur les évaluation de médicaments (qui pose des problèmes je l'admet) par exemple, c'est impossible d'avoir un consensus dans la mesure ou justement le produit est non connu. On se raccroche à une méthodologie d'évaluation stricte qui laisse peu de place à des répétitions d'expériences jusqu'à ce que ca marche, du p-hacking, ... (cela dit ils posent d'autres problems comme la non prise en compte des spécificités d'une population dans l'évaluation, par exemple tester un medicament plus sur des Caucasiens male).
Avant cette série, je ne savais pas ce que voulait dire ce "p=x", donc je ne prenais jamais en compte la valeur p quand je lisais des articles scientifiques, du coup je m'appuyais surtout sur la méthodologie, sur la taille d'un échantillon. Là maintenant, j'ai presque l'impression que ça ne m'handicapait pas le moins du monde...
Le podcast de Rationnally Speaking qui parle de l'étude EBM et son résultat à 6 sigma est très intéressant; il est expliqué qu'un problème méthodologie est extrêmement probable
Brillant. Bravo de pouvoir lier avec une syntaxe parfaite le langage et les statistiques
Je n'ai pas spécialement aimé cet épisode. J'ai trouvé très intéressant que tu parles du consensus des statisticiens. Cependant j'aurais préféré que tu prennes plus de temps à expliquer/vulgariser ces affirmations. Par ailleurs tu pourrais plus parler des solutions potentielles à apporter pour augmenter la rigueur scientifique. Car cela remet notamment en cause les études sur l'homéopathie si je ne me trompes pas.
Je suis d’accord avec ta première partie ;) mais je pense que c’est prévu dans la série, il commence par les travers et il viendra ensuite a comment améliorer les choses avec des solutions saupoudrées de bayesianisme
@@wakatpr6583 je l'espère aussi :-)
13ème épisode. Et toujours pas de proposition concrète... A force de critique non-constructive, ne renforcez-vous pas l'idée inverse de ce que vous dites ? (la méthode scientifique actuelle est belle et bien la moins mauvaise ! A condition de ne pas lui faire dire ce qu'elle ne dit pas.)
Vidéo très intéressante comme habituellement dont il sort beaucoup de remises en questions. Toutefois si je résume à l'extrême voici ce que je comprends : les sciences/ la méthode scientifique se basent sur les statistiques pour définir ce qui est vrai. Les statisticiens disent que c'est très mal utilisé... et c'est tout!?!
Comment peut on critiquer et préconiser l'arrêt pur et simple de l'utilisation des stats de la façon qu'on fait et cela depuis longtemps, sans indiquer la bonne méthode à suivre ??
S'il y a une meilleure méthode il faut en faire une vidéo. Si elle n'existe pas, ou si les statisticiens ne sont pas d'accord sur celle-ci, il est trop tôt pour critiquer la méthode scientifique (dire que c'est de la m....) et il est plutôt temps de se mettre d'accord (dire ce qu'il faut faire).
C'est comme quand on a repéré que la théorie de Newton ne prévoyait pas toutes la trajectoire de mercure et que du coup on la rejetait complètement. Alors que c'est la meilleure théorie de son époque et pour de nombreuses années.
Mon raisonnement, ma compréhension sont probablement erronés, et si vous pouvez m'indiquer où se trouve l'erreur je suis preneur. Et si je suis vraiment convaincu une bière sera la récompense :-)
Avec une vidéo sur ce que ça doit être par exemple ...
Merci en tout cas pour ces vidéos intéressantes et remuantes.
Attention quand même dans la lecture des papiers: celui à 10.00 ne dit pas qu'il ne faut pas utiliser la pvalue, mais qu'il faut utiliser la second generation p-value
Dans celui à 11.18 il dit qu'en fait il faut se méfier des hypothèses simples (forcément, sur un grand échantillon ça passe pas) mais qu'on doit préférer des pdf et penser aux hypothèses composites (ce qui est, il faut le dire, un vaste débat et un sujet passablement compliqué. Saint Bonferonni priez pour nous!)
Ça a l'air super intéressant. Ca veut dire quoi "inférer" ? 😜
...
Quand tu vois que le soleil se lève tous les matins, tu peux "inférer" qu'il se lèvera demain. Ce n'est pas une preuve qu'il va se lever mais ton expérience passée te suggère que le soleil va se lever.
Déduire
@@anashimmi1154 inférer ce n'est pas déduire c'est un peu plus subtil que ça
Pierre Bléteau pas tout à fait : un événement ou une donnée va inférer sur nos croyances. Du moins de ce que j’ai compris ^^
19:49
Des preuves extraordinaires requierts des preuves extraordinaires ?!
Fatigué lê, non ?
Merci
Sujet tres interessant
beaucoup trop d'interprétations selon moi...
Sur le niveau de preuve pour la parapsychologie, je me dis ok ça prouve pas que c'est scientifiquement démontré que ça existe, mais quand même, soit on est passé à côté de quelque chose dans l'analyse des covariables et facteurs de confusion (au moins dans la diffusion des études) , soit j'ai très grandement sous estimé la probabilité que ça existe (et que mon nouvelle a priori devrais être plutôt en faveur de l’existence), j'ai pas pris le temps de lire tous ce qui a été publié sur le sujet, donc je reste sur l'idée que ça n'existe pas, mais je me souviens de cours de psyco avec des phénomènes mis en évidence avec des p-values à 0.1 voir 0.2 (avec des mécanismes explicatifs quand même).
Il est difficile de trouver un bon equilibre. Mais je crois que ce que Le essaye de faire (et moi aussi) c'est d'alerter le plus gd nombre sur les travers ENORMES d'une grande partie de la recherche actuelle. En ce qui me concerne, je le vois au quotidien dans les travaux de mes collegues econometriciens. En sociologie et en sciences-politique les choses sont encore pires car la, en plus de tous leurs biais (motivations politiques, biais de publications etc), les chercheurs n'ont aucune comprehension des outils qu'ils manipulent. Et pourtant les travaux de ces individus sont souvent utilises pour justifier des decisions dont l'impact peut etre enorme.
Mais du coup... Est ce que ça veut dire que les études faites ne sont pas sûres ?
Ça pourrait donner du crédit à.... Je ne sais pas... Au hasard l'homéopathie.
Signé un biologiste apeuré par cette idée
Sauf que l'homéopathie s'est fait défoncée et par p-value et par bayes.
El famoso sophisme de la pente savonneuse
l'homéopathie a l'intérêt d'être de la merde quelle que soit la méthode!
C'est rare mais pour le coup, sur cette vidéo je n'ai rien appris :/
0:16 Preuve scientifique ? Non, il y a des preuves, par exemple en mathématique.
Ah, au sens de "preuve définitive" ? Non, ça, ça n'existe pas en science...
Et la réfutation reste un critère important de scientificité, même si comme tu le soulignes bien il n'est pas suffisant.
Pour l'instant, je ne suis pas bayesien, c'est peut-être voué à changé mais les premières vidéos ne m'ont pas convaincu ; Toute les erreurs que l'on cite avec la p-value et son exploitation (bayes 10) sont selon moi dûes a une application non rigoureuse de la méthode scientifique tel quelle devrait être en théorie. C'est peut-être pas spécialement applicable en pratique, mais je préfère ça à utiliser P[T] qui selon moi est juste pas estimable.. Bref je regarde avec attention les autres vidéos parce que la théorie bayesienne à l'air franchement sexy quand même, je cherche vraiment à comprendre ce mécanisme.
à 11min44 : là, d'accord !
Merci.
à 5min35 : vous faites croire à un truc révolutionnaire alors que c'est vieux comme le monde... En effet, la lecture de l'extrait de cet article défend une "nouvelle approche" qui est en réalité défendue depuis des lustres dans toutes les sciences : "mieux vaut une étude à grande échelle (embrassant toute la diversité des facteurs d'influence non-maitrisables), plutôt que plein de petites études". C'est surtout vrai dans les domaines très multifactoriels (psychologie, biologie, environnement...).
Affirmation extraordinaire = non réaliste ? Faut-il une démonstration extraordinaire pour autant ?
Si qqn affirme sauter 20 mètres en longueur, il suffit d'un saut pour le prouver.
Peut-être fait-on allusion aux théories d'Einstein, jugés extraordinaires pour l'époque et qui ont demandé de grandes démonstrations.
Quant aux prévisions sur le futur des IA, n'est-on pas plus dans la spéculation ou l'extrapolation que dans la démonstration ?
à 16min : de telles phrases (dont la plupart sont tout simplement FAUSSES, en ce sens qu'elles confondent "certitude absolue" et "probabilité de se tromper") font dire à la p-value tout ce qu'elle ne dit pas (on continue à enfoncer des portes ouvertes). Et puis on aurait pu, avec de telles phrases, conclure tout simplement : "ne faites plus rien, ne concluez plus jamais rien !". On est bien avancé...
Avez-vous fait vous-même des MESURES expérimentales ? Un scientifique regarde d'abord la taille d'effet, tout simplement parce qu'il MESURE des choses. C'est ensuite qu'il calcule une p-value. Je n'ai jamais rencontré un seul scientifique qui regarde la p-value avant la taille d'effet (parce que ce n'est pas possible !). Même réflexe quand il lit une publi. Vous travestissez le monde scientifique en faisant passer certains travers marginaux pour des généralités. Je souhaite ici le dénoncer une fois de plus.
Je comprends toute cette série de vidéo, comme une découverte de la non séparation possible à un certain niveau entre le sujet observant et le ou les objets observés... Bref la découverte de l'unicité de chacun, et du potentiel créateur "de réalité perso" de chacun.
Rien de bien nouveau , mais par contre l'approche statistique du "problème" semble a priori nouvelle, inédite.
J'ai pas trop accroché au format de l'épisode. C'est science 4 peers du coup ...
à 11min17 : re-NON ! Quand la taille d'échantillon devient grande, tout est davantage fiable. Y compris la p-value ! Même un bayésien serait être d'accord avec ça (et je suis prêt à en faire la preuve mathématique, mais ça serait long ici).
J ai aidé à une étude de sciences sociales en faisant un de ces tests de rejets d hypothèse nul.. je pensais avoir aidé ^^" mtn j ai envie de dire Oups
Didons ils n'y vont pas de main morte les statisticiens !
Alan Turing le GOAT
Je vois bien que tu te contrefous des commentaires vu que pas mal de remarques t'invitant à un peu de nuance sont méprisés en blocs, mais je me permet de rajouter mon grain de sel au moins pour qui passerait par là et serait tenter d'apporter de la "crédance" à cette étrange vidéo sans argument (que des avis péremptoire énumérés ... c'est ça le bayesianisme ??) :
Le "petit p" à une signification précise. Les dérives que tu dénonces (de même que tous ces auteurs que tu cites) relévent de la mauvaise compréhension et utilisation de l'outil, pas d'une remise en cause de sa réelle capacité à remplir son rôle. En plus (une nouvelle fois ...) tu dis des choses simplement *FAUSSES* (enfin, cette fois c'est pas directement toi, vu que tu cites des propos d'autres auteurs, mais tu les avances comme digne de confiance, ce qui est un peu du même tonneau), comme p.ex. quant les tests de réfutation d'hypothèse nulle serait d'un apport marginal aux progrès réels ... juste regarde l'évolution de la mortalité cardio-vasculaire ces dernières décennies, l'efficacité des traitements actuels contre le VIH, l'essor de traitements novateurs pour de plus en plus de cancers, ... C'est marginal pour toi ? .....
Bref ... Je parcours ton recueil de vidéo car ça me parait toujours essentiel de remettre en cause ses certitudes et de les confronter honnêtement à des théories / croyances alternatives, mais malheureusement plus j'en vois de ta chaîne plus j'ai l'impression que c'est surtout _tes_ certitudes qu'il est urgent de remettre en question ...
Très maladroit comme épisode, certains pourrait te reprocher un mille feuille argumentatif, d'argument d'autorité. Certes il existe un problème mais cettd manière de présenter les choses c'est ni très pédagogique, c'est du matraquage de plusieurs redite, pendant trop longtemps. Pire tu risques de fournir des arguments qui seront détournée par toute une population anti science. Un épisode entier de citation ça n'as pas beaucoup d'intérêt, il serait mieux de commenter un petit nombre de citation plutôt que d'en lire une vingtaine.
à 9min50 : NON ! Les p-value ne confondent pas la taille d'effet et la précision ! Ce sont les mauvais scientifiques qui font cette confusion entre taille d'effet et p-value. Une autre de vos vidéos s'appelle "arrêtons de partager la stupidité". Vous en êtes à la limite.
Tu nous sortirais pas un biais de publication car ceux qui croient encore à la p value n'en font pas des articles ? Ta metha analyse est donc biaisée non?
Je plaisante, hein!
Une suite d'arguments d'autorité lâchés sans analyse me laisse un poil sceptique :S
Un argument d'autorité est dû au statut social d'une personne. Il s'agit là plutôt d'un consensus de personnes dont c'est l'objet du travail, et pas simplement parce qu'il s'agit d'une intuition
Punaise je pige rien alors que j'aimerai bien
L'air de rien cette vidéo est au cœur d'ENORMES (et je pèse mes mots) problèmes politiques et sociaux dans nos sociétés. Problèmes qui sont à peine évoqués du bout des lèvres dans la vidéo, je suppose pour éviter l'hooliganisme. Je comprends, mais je trouve un peu dommage de ne pas avoir mis les pieds dans le plat un peu plus.
+++
c'est pour cela que je n'aime pas les notes à l'école et encore moins les moyennes car on perds de l’information, du contexte.
Ce qui est important, entre autre, est de savoir quel fautes l'élève a fait et si les a corrigé au suivant.
First
Non
Lé, des fois je me dis que tu es trop intelligent pour comprendre la connerie des hommes.
alors pas sûr qu'il ait compris ton commentaire.
@@denisnouais3031 Moi par contre j'ai bien compris le tien, tkt...