Réseaux de neurones : principes et applications à des corpus textuels (Max Beligné et Ange Richard, 3 février 2023)

Cette séance des Vendredis Quanti proposée le 3 février 2023 par Max Beligné (Progedo, PUD Grenoble Alpes) et Ange Richard (Pacte) portait sur les principes des réseaux de neurones et leurs applications à des corpus textuels.

Après avoir présenté un projet de construction de notebooks en R autour d’une formation au Deep Learning (Fidle), Max Beligné présente le principe de fonctionnement des plongements de mots de première génération comme Word2Vec. Il finit par un exemple d’utilisation pour étudier l’évolution sémantique d’un terme dans un corpus à partir d’un exemple tiré de sa thèse.

Ensuite, Ange Richard aborde les architectures plus récentes utilisées en Traitement Automatique des Langues, à savoir les LLM (Large Language Models), basés sur la technologie des Transformers. Pour illustrer l’utilisation de ces LLM pour la sociologie, iel décrit ensuite un exemple de “fine-tuning” d’un de ces modèles issu de son travail de thèse consacré à la détection automatique de citation, avant de revenir sur la problématique des biais de ces modèles.

L’enregistrement vidéo de la séance
(1h47, fin de la présentation et début de la discussion à 1h38) :