Dialogue homme-machine multimodal

Notre manière de percevoir les objets qui nous entourent détermine nos choix langagiers et gestuels pour les désigner. Les gestes que nous produisons structurent notre espace visuel, les mots que nous utilisons modifient à leur tour notre manière de percevoir. Perception visuelle, langage et geste entretiennent ainsi de multiples interactions. Il s'agit bien d'une seule problématique qui doit être appréhendée globalement, premièrement pour comprendre la complexité des phénomènes de référence aux objets, deuxièmement pour en déduire une modélisation informatique exploitable dans tout système de dialogue homme-machine qui se veut un tant soit peu compréhensif. Cet ouvrage explore ces deux étapes à l'aide d'un modèle à la fois cognitif et formel, celui des "domaines de référence". Tout acte de référence se produit dans un sous-ensemble d'objets, ce sous-ensemble appelé domaine de référence étant implicite et pouvant découler de multiples indices. Parmi ces indices, certains proviennent du contexte visuel et de l'énoncé émis, d'autres sont liés à l'intention, l'attention et la mémoire de l'utilisateur. L'ouvrage décrit la nature et le fonctionnement de ces domaines de référence, ainsi que la manière dont un système de dialogue peut les gérer et les exploiter pour accroître ses capacités de compréhension. Ce travail pluridisciplinaire s'attache ainsi à identifier et à formaliser l'implicite dans la communication.