Le LS2N organise la journée scientifique du GDR TAL 20223 sur le thème des « Modèles de langue aux domaines de spécialité » le 7 septembre 2023 à Nantes. La journée sera organisée autour de présentations orales invitées, de présentations sous la forme de posters et de démos (cf. appel ci-dessous) ainsi que d’une table ronde.

Thèmes

Les modèles de langue de grande taille (LLM) constituent aujourd’hui le composant central de toute solution du Traitement Automatique des Langues (TAL). Néanmoins leur exploitation pour le traitement de domaines de spécialité requiert de faire face à de nombreux défis en raison de la spécificité thématique, du genre et des caractéristiques linguistiques et stylistiques de ces domaines.

L’objectif de cette journée est de rassembler des chercheur.ses et des industriel.les des communautés francophones du TAL, de la RI et de la parole pour échanger et faire le point sur les dernières avancées et
problématiques autour des questions d’exploitation des LLM pour le traitement des domaines de spécialité.

Les communications porteront sur les thèmes suivants (liste non exhaustive) :

–   Interdisciplinarité des LLM, avantages et limites de modèles « encore plus grands » par rapport à des modèles spécialisés ;
–   Adaptation des LLM à un domaine de spécialité (pré-entraînement, ajustement, adaptation des architectures) ;
–   Ingénierie de l’instruction et du prompt (few-shot learning, zero-shot learning, contrastive learning) ;
–   Injection de connaissances externes et explicabilité des modèles ;
–   Transfert interlingue (cross-lingual transfer) et approches multimodales ;
–   Prise en compte des spécificités linguistiques du domaine (style, discours…) ;
–   Prise en compte de la quantité et de la nature des ressources disponibles (corpus, bases de connaissances) pour ce domaine ou des
domaines voisins ;
–   Récentes avancées dans le domaine médical, scientifique, juridique, financier… ;
–   Sous-domaines, biais, diversité et inclusion dans les LLM ;
–   Aspects légaux et éthiques au travers des modèles.

Orateur.trice.s. invité.e.s

Nous aurons le plaisir d’accueillir et d’écouter

• Olivier FERRET (LASTI, CEA List),
• Ha NGUYEN (LIA – Avignon Université)
• Lila BOUALILI (LIG – Université Grenoble Alpes)

qui nous parleront d’adaptation des modèles de langue et d’apprentissage profond, respectivement du point de vue du Traitement Automatique des Langues, de la Parole et de la Recherche d’Information.

 Intervenant.es à la table ronde

Nous aurons le plaisir d’accueillir et de questionner :

• Benoît CRABBÉ (Professeur, LLF – Université Paris Cité),
• Hicham EL BOUKKOURI (Research Scientist, Dilitrust),
• Nona NADERI (Junior Professor Chair, LISN – Paris-Saclay university),
• Nicolas GREFFARD (Data Scientist / Responsable Innovation, Valeuriad),
• Sonia DESMOULIN-CANSELIER (CR, UMR_C 6297 Droit et Changement Social, Nantes Université).

François YVON (ISIR/CNRS & Sorbonne Université) animera cette session.

Programme

• 9:15 – 9:45 – Accueil des participants

• 9:45 – 10:00 – Discours d’ouverture : Emmanuel Morin, Solen Quiniou, Nicolas Hernandez

• 10:00 – 11:00 – Conférence invitée : Olivier Ferret (CEA LIST) – « Adaptation des grands modèles de langue au domaine : le point de vue du Traitement Automatique des Langues »

• 11:00 – 11:30 – Pause café

• 11:30 – 12:30 – Conférence invitée : Ha Nguyen (LIA) – « Self-Supervised Speech Representation Learning »

• 12:30 – 13:00 – Nouvelles du GdR : Béatrice Daille (présidente du GdR TAL)

• 13:00 – 14:30 – Déjeuner + Posters et démonstrations

• 14:30 – 15:30 – Conférence invitée : Lila Boualili (LIG) – « Adapter les LLMs au domaine de la Recherche d’Information »

• 15:30 – 16:00 – Pause café

• 16:00 – 17:30 – Table ronde
• 17:30 – Fin de journée

Programme détaillé ici

Contact

Pour toute question, contactez Solen Quiniou ou Nicolas Hernandez
(prénom.nom@univ-nantes.fr).