Résumé

Le succès remarquable des réseaux de neurones profonds (RNP) est souvent attribué à leur grand pouvoir d'expression et à leur capacité à approximer des fonctions de complexité arbitraire. En effet, les réseaux de neurones profonds sont des modèles hautement non linéaires, et les fonctions d'activation qui y sont introduites en sont largement responsables. Alors que de nombreux travaux ont étudié le pouvoir expressif des DNNs à travers l'objectif de leurs capacités d'approximation, la quantification de la non-linéarité des DNNs ou des fonctions d'activation individuelles reste un problème ouvert. Dans ce travail, nous proposons la première solution théorique solide pour suivre la propagation de la non-linéarité dans les réseaux neuronaux profonds, en mettant l'accent sur les applications de vision par ordinateur. Le score d'affinité que nous proposons nous permet de mieux comprendre le fonctionnement interne d'un large éventail d'architectures et de paradigmes d'apprentissage différents. Nous fournissons des résultats expérimentaux détaillés qui mettent en évidence l'utilité pratique du score d'affinité proposé et son potentiel pour des applications de longue portée. (https://arxiv.org/abs/2310.11439)

Résumé

L'échantillonnage d'une mesure cible lorsque seules des informations partielles sont disponibles (par exemple, une densité non normalisée comme dans l'inférence bayésienne, ou des échantillons réels comme dans la modélisation générative) est un problème fondamental dans les statistiques computationnelles et l'apprentissage automatique. Le problème de l'échantillonnage peut être formulé comme une optimisation sur l'espace des distributions de probabilité d'une divergence bien choisie (par exemple une divergence ou une distance). Dans cet exposé, nous discuterons de plusieurs propriétés des algorithmes d'échantillonnage pour certains choix de divergences (connus ou nouveaux), à la fois en ce qui concerne leurs aspects d'optimisation et de quantification.