Animateurs
Benoît Favre (TALEP LIS), Damien Lolive (EXPRESSION IRISA), Pascale Sébillot (Linkmedia IRISA)
Le langage naturel est multimodal par essence, alors que la communauté TAL s’est principalement concentrée jusqu’à présent sur le message verbal véhiculé, écrit ou oral. Dans le contexte actuel de mise en avant d’applications liées à l’intelligence artificielle et à la robotique, il est stratégique de développer des forces autour du traitement du langage multimodal, c’est-à-dire du langage porté par les différentes modalités. Les avancées en apprentissage automatique, notamment avec l’apprentissage profond, rendes les approches multimodales beaucoup plus accessibles (logiciels et modèles pré-entraînés disponibles par exemple), et l’expertise présente en France sur un certain nombre de thématiques du TAL mettant en jeu diverses modalités montre que les forces en présence sont prêtes à aborder un tel challenge.
Ce GT explorera un certain nombre de questions importantes pour le TAL qui sont particulièrement intéressantes dans un cadre multimodal, comme par exemple l’adaptation à des publics spécifiques (prise en compte du handicap, du niveau de langue, de l’âge…), la mutualisation des méthodologies et des modèles pour l’analyse et la génération, l’évaluation de la pertinence des systèmes de TAL multimodal (comment évaluer la production de contenu multimodal ? Comment établir le meilleur canal de communication d’un message ?)…
Dans un premier temps, trois thématiques liées à ces objectifs seront explorées :
- modèle du langage multimodal : construire des corpus et cadres d’évaluation pour mieux étudier la multimodalité du signifiant en intégrant les dernières avancées en linguistique et disciplines associées conjointement avec l’établissement de modèles computationnels correspondants ;
- dialogue et robotique : créer des outils de TAL multimodal à destination de la communauté robotique mettant en avant la généricité et la couverture des applications possibles ;
- TAL multimodal et cerveau : étudier comment l’être humain manipule le langage multimodal en collaboration avec les sciences cognitives et neurosciences, dans le but de mieux comprendre et de bio-inspirer la création de représentations multimodales.
Activités
- Journée du GT2 Intermodalité et multimodalité du 22 novembre 2021 – Distanciel
- Journée de travail du GT2 Intermodalité, multimodalité du 25 juin 2020 (10h-16h) à Marseille
- Journée du 24 octobre 2019 LIG Grenoble
- Axe de réflexion 2018 Intermodalité et multimodalité Rapport
- Axe de réflexion 2018 Productions langagières Rapport
Liste de diffusion
Les personnes intéressées pour participer aux travaux du GT2 ou suivre ses activités sont invités à s’abonner à la liste de diffusion gdrtal-intermodalite@services.cnrs.fr.
Pour ce faire, envoyez, depuis l’adresse mail que vous souhaitez voir intégrer à la liste de diffusion, un message à sympa@services.cnrs.fr contenant uniquement le sujet : subscribe gdrtal-intermodalite@services.cnrs.fr Prénom Nom (corps du message vide).
Pour diffuser un message sur la liste, adressez-le à gdrtal-intermodalite@services.cnrs.fr.
Si vous souhaitez vous désabonner ultérieurement de la liste, il vous suffira d’adresser un message composé du seul sujet unsubscribe gdrtal-intermodalite@services.cnrs.fr à sympa@services.cnrs.fr.
