École polytechnique learning platform

Découvrez notre formation continue Science des données.
Avec l’explosion et la profusion des données disponibles dans un grand nombre de domaines, les nouvelles techniques de collecte et d’analyse vont affecter de façon profonde l’ensemble des secteurs de la vie économique, mais aussi certains secteurs de la recherche.
La formation en big data en formation continue, offre une introduction aux meilleurs outils méthodologiques pour appréhender et exploiter les données massives,
Une immersion dans l’univers des data  à travers un parcours intensif portant sur les fondamentaux en sciences des données.

L'apprentissage automatique est une discipline scientifique qui s'intéresse à la conception et au développement d'algorithmes permettant aux ordinateurs d'apprendre à partir de données. L'un des principaux objectifs de l'apprentissage automatique est d'apprendre automatiquement des modèles complexes et de prendre des décisions intelligentes sur la base de ces modèles. L'ensemble des données possibles qui alimentent une tâche d'apprentissage peut être très vaste et diversifié, ce qui fait de la modélisation et des hypothèses préalables des problèmes critiques pour la conception d'algorithmes pertinents.

Ce cours vise à compléter le premier cours sur l'apprentissage automatique.

Langue du cours : Anglais

More and more companies are actively investing human and financial resources in  data management  technologies in order to improve and making effective decision making. This is mainly because a  wide class of data analytics operations (e.g., statistical analysis, machine learning, ad-hoc queries) for supporting decision makers requires to process massive data sets in order to ensure high precision of analysis result. In addition, companies are more and more interested in extracting, transforming, store and analyse data involving massive and heterogeneous data collections coming from external sources (social networks, competitors' movements, market trends, etc.), typically made available by Web applications.

The  main aim of this course is to give students a deep and solid understanding of the state of the art of Big Data systems and programming paradigms, and to enable them to devise and implement efficient algorithms for analysing massive data sets. The focus will be on paradigms based on distribution and shared-nothing parallelism, which are crucial to enable the implementation of algorithms that can be run on clusters of computers, scale as the size of input data increases, and can be safely executed even in the presence of system failures.

Lectures will give articular emphasis to the MapReduce paradigm and the internal aspects of its related runtime support Hadoop, as well as to MapReduce-based systems, with a particular focus on Spark that provides users with powerful programming tools and efficient execution support for performing operations related to complex data flows. The attention will be then given to mechanisms and algorithms for both both iterative and interactive data processing. A particular attention will be given to SQL-like data querying,  graph analysis, and the development of  machine learning algorithms.

A large part of the course consists of lab-sessions where students develop parallel algorithms for data querying and analysis, including algorithms for relational database operators, matrix operations, graph analysis, and clustering. Lab-sessions rely on the use of both desktop computers and Hadoop clusters on Google Cloud.

Connu dans un premier temps pour ses succès dans le domaine des télécommunications, le traitement du signal fait désormais partie de tous les domaines de traitement des données qui demande d'analyser, d'extraire et de transformer des informations numériques. Ce cours est une introduction au domaine du traitement du signal et requiert donc les connaissances de base d'analyse (transformée de Fourier), de probabilités (variables aléatoires, processus aléatoire) et d'algèbre linéaire.

Le cours commence par une présentation d'analyse de Fourier et de filtrage analogique avec des exemples explicatifs tels que la modulation et l'optique de Fourier en astronomie. Ensuite nous introduirons l'échantillonage de signaux et le filtrage du signal numérique qui est devenu le standard de fait dans les applications pratiques. Nous étudierons le très important algorithme de la transformée de Fourier rapide et discuterons des exemples de filtrage dans le traitement de l'image. Nous étudierons ensuite les aspects aléatoires/stochastiques des signaux et le filtrage linéair optimal du signal et du bruit lorsqu'ils sont modélisés comme des processus stochastiques. sera également pris comme exemple pour l'étude des modèles autorégressifs. La dernière partie du cours présentera brièvement plusieurs représentations de signaux couramment utilisés, comme la transformée en cosinus discrète (TCD) et les transformées d'ondelettes utilisées dans l'encodage de JPEG et les reconstruction d'images. La transformée de Fourier à court terme sera également présentée pour modéliser les signaux non stationnaires. Enfin, quelques approches récentes basées sur l'apprentissage machine seront présentées, comme le dictionnaire d'apprentissage et reconstruction du signal par l'apprentissage profond.

Ce cours sera complété par des travaux pratiques en Python/Numpy qui permettront aux étudiants de mettre en oeuvre les méthodes vues en cours sur des problèmes pratiques tels que la génération d'un sgnal audio et le filtrage.

Le cours sera en anglais ou en français selon le public, avec un support de cours en anglais.
Des connaissances sur Python/Numpy sont fortement recommendées pour les travaux pratiques.

**Evaluation** : Rrapports de travaux pratiques (60%) et examen final théorique + pratique sur moodle (40%)

Objectifs

La statistique est la discipline fondamentale derrière la science des données. Il est fondamental d'avoir une compréhension profonde de la théorie et des méthodes classiques utilisées en statistique. C'est un prérequis avant de suivre un cours d'apprentissage automatique.

Syllabus

• Eléments de la théorie de la décision : risque, perte, règles de décision
• Décisions optimales, absence de biais, équivariance, statistiques suffisantes
• Estimateur ponctuel : Z-estimateur, M-estimateur
• Résultats asymptotiques : loi des grands nombres, théorème de la limite centrale, cohérence, normalité asymptotique
• Maximum de vraisemblance, information de Fisher, Kullback Leibler, optimalité asymptotique
• Tests : définitions, lemme de Neyman-Pearson, test uniformément le plus puissant, valeur p, tests bilatéraux
• Cadre bayésien
• Tests non paramétriques

Evaluation

• devoir maison
• examen

Langue du cours Anglais

L’apprentissage automatique pour le calcul scientifique est un domaine de recherche récent basé à la fois sur l’apprentissage automatique et sur les outils de calcul scientifique. Son objectif est le développement de nouvelles méthodes robustes, efficaces et interprétables pour résoudre des problèmes en science et ingénierie, tels que les équations aux dérivées partielles (EDPs), l’identification de paramètres ou les problèmes inverses.

Nous débuterons par des généralités sur l’apprentissage machine en mettant l’accent sur l’apprentissage supervisé, du perceptron jusqu’aux réseaux convolutifs.

Nous nous intéresserons ensuite à la résolution numérique d’EDPs par des réseaux de neurones, notamment les PINNs (Physics-Informed Neural Networks). Cette approche permet de combiner la résolution d’EDPs et la prise en compte de données expérimentales. Nous présenterons à la fois les méthodes et les algorithmes sous-jacents, ainsi que leurs justifications théoriques.

Nous explorerons également l’apprentissage des opérateurs par des réseaux de neurones pour l’identification des paramètres et les problèmes inverses. Dans le contexte des EDPs, ces nouveaux réseaux apprennent directement la dépendance paramétrique fonctionnelle à la solution. Ainsi, ils sont capables d’apprendre toute une famille d’EDPs, contrairement aux méthodes ou réseaux classiques qui résolvent généralement une instance spécifique de l’équation.

Toutes les sessions en petits classes se dérouleront à l’aide de notebooks Jupyter. Un mini-projet permettra de mettre en pratique les notions et méthodes enseignées et de les appliquer à des systèmes concrets.

Le cours sera enseigné par une équipe pédagogique constituée d’Hadrien Montanelli (Chargé de Recherche à l’Inria et Chargé d’Enseignement à l’École Polyechnique), Samuel Kokh (Directeur de Recherche au CEA) et Loïc Gouarin (Ingénieur de Recherche à l’École Polytechnique).