Graphs for deep learning representations

Abstract

Ces dernières années, les méthodes d'apprentissage profond ont atteint l'état de l'art dans une vaste gamme de tâches d'apprentissage automatique, y compris la classification d'images et la traduction automatique. Ces architectures sont assemblées pour résoudre des tâches d'apprentissage automatique de bout en bout. Afin d'atteindre des performances de haut niveau, ces architectures nécessitent souvent d'un très grand nombre de paramètres.Les conséquences indésirables sont multiples, et pour y remédier, il est souhaitable de pouvoir compreendre ce qui se passe à l'intérieur des architectures d'apprentissage profond.Il est difficile de le faire en raison de: i) la dimension élevée des représentations, and ii) la stochasticité du processus de formation. Dans cette thèse, nous étudions ces architectures en introduisant un formalisme à base de graphes, s'appuyant notamment sur les récents progrès du traitement de signaux sur graphe (TSG). À savoir, nous utilisons des graphes pour représenter les espaces latents des réseaux neuronaux profonds. Nous montrons que ce formalisme des graphes nous permet de répondre à diverses questions, notamment: i) mesurer des capacités de généralisation, ii) réduire la quantité de des choix arbitraires dans la conception du processus d'apprentissage, iii) améliorer la robustesse aux petites ix x RÉSUMÉ perturbations ajoutées sur les entrées, and iv) réduire la complexité des calculs.