Information et complexité (1) - Stéphane Mallat (2021-2022)

Enseignement 2021-2022 : Information et complexité
Cours du 19 janvier 2022 : Information et complexité
Professeur : Stéphane Mallat
Chaire Sciences des données
Les problèmes de classification peuvent se modéliser de façon déterministe ou probabiliste. Ces deux approches se distinguent par la façon de représenter l’information a priori. En grande dimension, les modèles stochastiques offrent des représentations souvent plus fines des données en mettant en évidence les phénomènes de concentration qui sont au cœur des probabilités et des statistiques.
La première partie du cours concerne les bases des statistiques mathématiques, qui ont été établies il y a un siècle par Ronald Fisher à travers les notions d’estimations consistantes, de modèles paramétriques, de maximum de vraisemblance, et d’information de Fisher. L’apprentissage des réseaux de neurones se fait le plus souvent par maximisation de la vraisemblance des paramètres.
La seconde partie du cours concerne la théorie de l’information de Shannon qui permet de quantifier l’information intrinsèque apportée par des données, à travers la notion d’entropie. L’une des applications est la compression de données. La théorie de la complexité est ici considérée à travers la recherche de structures parcimonieuses ou de régularités, permettant de construire des paramétrisations de distributions de probabilités en grande dimension.
Retrouvez les enregistrements audios et vidéos du cycle et son texte de présentation :
www.college-de...
Retrouvez tous les enseignements du Pr Stéphane Mallat :
www.college-de...
Le Collège de France est une institution de recherche fondamentale dans tous les domaines de la connaissance et un lieu de diffusion du « savoir en train de se faire » ouvert à tous.
Les cours, séminaires, colloques sont enregistrés puis mis à disposition du public sur le site internet du Collège de France.
Découvrez toutes les ressources du Collège de France :
www.college-de...
Suivez-nous sur :
Facebook : / college.de.france
Instagram : / collegedefrance
LinkedIn : / collègedefrance