Titre

Long range dependence in Machine Learning

Résumé

La modélisation de la mémoire longue dans les données est un défi central auquel sont confrontées les applications modernes de l'apprentissage automatique aux séries temporelles. Nous présentons ici une manière de formaliser le concept de mémoire longue. Nous expliquons comment on peut estimer la mémoire longue dans la pratique et nous étudions son impact dans les algorithmes d'apprentissage automatique à la fois d'un point de vue empirique et théorique. Nous présentons deux applications : les systèmes de recommandation et les réseaux neuronaux séquence à séquence.

Bibliographie

A. Burashnikova, M. Clausel, M.R. Amini, Y.Maximov, N. Dante, Recommender systems, when memory matters. European Conference on Information Retrieval (2022).

M. Clausel, F. Roueff, M.S. Taqqu, Large scale reduction principle and application to hypothesis testing. Electronic Journal of Statistics (2015)

A. Greaves-Tunnell, Z. Harchaoui A statistical investigation of long memory in language and music. International Conference on Machine Learning (2019)

M. Poli, S. Massaroli, E. Nguyen , D.Y. Fu, T. Dao, S. Baccus, Y. Bengio, S. Ermon, C. Ré Hyena hierarchy: Towards larger convolutional language models. arXiv preprint arXiv:2302.10866. 2023 Feb 21

Biographie

Marianne Clausel (IECL, Université de Lorraine) est depuis septembre 2017, professeure à l'Université de Lorraine, affiliée à l'IECL. Elle est également collaborateur externe de l'équipe SiMul au CRAN. De 2011 à 2017, elle a été professeure associée dans l'équipe DAO du Laboratoire Jean Kuntzmann (Université Grenoble Alpes). Depuis avril 2019, Marianne est membre du Conseil scientifique de la Société française d'apprentissage automatique. De février 2022 à septembre 2023, elle a été membre du conseil scientifique de l'INSMI (Institut national des sciences mathématiques et des interactions), qui est l'un des dix instituts du CNRS. En 2018-2019, elle a été membre du Comité "Intelligence Artificielle" de l'Agence nationale française (CES 23), participant à la sélection des projets ANR dans ce domaine.  Depuis mars 2018, Marianne est membre associée de l'équipe APTIKAL du Laboratoire d'Informatique de Grenoble, travaillant principalement sur l'apprentissage automatique et l'analyse de données. Elle a travaillé avec ce groupe pendant cinq ans. De septembre 2017 à août 2021, Marianne Clausel a été membre du conseil d'administration de l'AMIES. Elle est, à ce jour, toujours impliquée dans les interactions avec les PME. De 2015 à 2021 : Membre du Jury de l'Agrégation Externe de Mathématiques. Marianne a été impliquée dans les procédures de sélection des professeurs de mathématiques du secondaire, notamment pour l'épreuve orale "Modélisation". De septembre 2019 à août 2021, elle a également été co-responsable, avec F. Nicaise, de l'option "Probabilité et Statistique" de l'Agrégation Externe (pilote de l'option A de modélisation).