Présentation générale par Aliyah Morgenstern et Marion Tellier (p. 5)
Résumé : Ce texte introduit un numéro spécial de la revue Faits de Langues dont l’objectif est de montrer à l’ensemble de la communauté que l’on peut avoir une approche multimodale en intégrant dans nos analyses toutes les formes d’expression sémiotique. L’ensemble des articles du numéro caractérise les processus qui soutiennent leur orchestration. Les études gestuelles constituent désormais un domaine dynamique émergent dans lequel les chercheurs adoptent différentes approches théoriques et appliquent une variété de méthodes.
Dans toutes les cultures, dans toutes les situations, dans toutes les populations, dans toute l'histoire de l'humanité et tout au long de la vie, la construction du sens est informée par les ressources sémiotiques disponibles et coordonnées que nous utilisons. Qu'il soit considéré comme une partie ou un partenaire du langage, le geste en particulier, est partagé avec les autres au cours des interactions sociales et constitue donc une ressource sémiotique importante qui ne peut plus être ignorée.
Abstract : This text introduces a special issue of the journal Faits de Langues. Our aim is to demonstrate to the wider community that a multimodal approach in which we integrate all forms of semiotic expression into our analyses is possible. All the articles in this issue characterize the processes that underpin their orchestration. Gesture studies are now an emerging, dynamic field in which researchers adopt different theoretical approaches and apply a variety of methods.
In all cultures, in all situations, in all populations, throughout human history and throughout life, the construction of meaning is informed by the available and coordinated semiotic resources we use. Whether considered a part of or a partner to language, gesture in particular is shared with others in the course of social interactions and therefore constitutes an important semiotic resource that can no longer be ignored.
1. Discours multimodaux
Gaëlle Ferré : Les gestes discursifs dans les conférences TED Talk. Synchronisation gestes/parole et prosodie [Discursive gestures in TED talks. How gestures, discourse units and prosodic patterns align with each other] (p. 15)
Résumé : Les Études Gestuelles se sont longtemps penchées sur l’apport linguistique des gestes représentationnels, mais les descriptions des autres types de gestes coverbaux et de leurs fonctions sont beaucoup moins nombreuses, et notamment des gestes discursifs. Or, si les gestes représentationnels ont des propriétés plus sémantiques, les gestes discursifs permettent d’explorer la structure informationnelle du message linguistique et la hiérarchisation des informations. L’étude présentée ici propose une analyse de quatre types de gestes discursifs : les battements, les pointages, les gestes d’ouverture et de fermeture de la main. Le point commun à ces quatre types de gestes est qu’ils permettent de rendre saillants des unités de discours, et l’hypothèse présentée ici est que les quatre gestes n’agissent pas sur le même plan discursif. Les battements et les pointages ont un empan de mise en relief local, tandis que les ouvertures et les fermetures de la main encadrent des unités de discours plus larges telles que les unités inter-pausales, qui coïncident souvent avec des Turn-Constructional Units (paragraphes oraux), et des syntagmes intonatifs. L’étude prosodique de la parole que ces gestes accompagnent permet notamment d’apporter un éclairage nouveau par rapport aux analyses qualitatives qui ont été menées jusqu’à présent. Elle permet non seulement d’effectuer des rapprochements entre des gestes qui sont souvent considérés séparément, mais également de les différencier.
Abstract : The linguistic contribution of representational gestures has long been the focus of Gesture Studies, but descriptions of other gesture types and of their functions are much more scarse, notably when it comes to pragmatic gestures that play a discourse function. Yet, whereas representational gestures are interesting for the study of their semantic features, discursive gestures reveal the information structure of linguistic messages as well as the foregrounding of some parts of speech. The present study proposes an analysis of four gesture types: beats, points, hand flips and closing hand gestures. They share the function of highlighting discourse units and the hypothesis proposed here is that they do not have the same scope in doing so. Beats and points are local highlighters which emphasize lexical items (words or NPs), whereas hand flips and closing hand gestures frame larger discourse units like Inter-Pausal Units or Turn-Constructional Units, that can be considered as forming oral paragraphs, as well as Intonation Phrases to a lesser extent. The prosodic study of the speech uttered in synchrony with these four gesture types sheds a new light on some of their functions which have so far been described in a qualitative way. It allows us not only to make connections between gestures that are often considered separately, but also to differentiate them.
Lelandais Manon : Multimodal marks of iteration in discourse [Marques multimodales d'itération dans le discours] (p. 41)
Résumé : Cet article porte sur la façon dont les locuteurs combinent différentes ressources verbales et gestuelles pour exprimer des valeurs aspectuelles en anglais américain. Ce travail porte plus précisément sur l'expression de l'aspect itératif, i.e. la répétition d'un procès. Cette étude s'attache à identifier des corrélats gestuels stables au groupe adverbial OVER AND OVER. Cette expression implique une itération lexicale. De nombreuses études en linguistique cognitive ont montré qu'outre des moyens lexicaux et grammaticaux, les locuteurs utilisent la gestualité co-verbale pour communiquer des informations aspectuelles. Cependant, la plupart des recherches se sont concentrées sur les gestes manuels et sur la comparaison des gestes manuels produits en co-occurrence avec différentes catégories d'aspect. La famille des gestes cycliques a notamment été mise en avant pour ses évocations physiques et métaphoriques du mouvement. L'un des contextes d'utilisation typiques de ce geste en anglais est l'expression de la continuité. Nous déterminons sous quelles formes les traits gestuels de ces expressions impliquent également l'itération. Nous utilisons une collection d'enregistrements audiovisuels, les archives NewsScape, créées par le Distributed Little Red Hen Lab (Steen et al. 2018) et hébergées par la bibliothèque de UCLA. Nous déterminons les caractéristiques formelles qui participent à l'expression de l'itération, dans une variété d'articulateurs (mains, tête, sourcils), et menons une analyse quantitative, ciblant la fréquence des gestes. Une analyse qualitative montre l'articulation des différentes ressources verbales et gestuelles en contexte. Cette étude met en évidence la façon dont les composantes gestuelles s'intègrent et participent à l'expression du sens grammatical et pragmatique dans le discours. Plus précisément, elle contribue à la discussion en cours au sein de la grammaire des constructions sur la conventionnalité dans les constructions multimodales.
Abstract : This article investigates the way speakers combine different verbal and gestural resources to express aspectual meaning in American English, specifically the way an event is repeated. It identifies stable gestural correlates to the OVER AND OVER adverbial phrase, which involves lexical iteration. Speakers have been shown to rely on co-verbal gestures to communicate aspectual information along with lexical and grammatical means. However, most of the research has focused on hand gestures, and on comparing the embodiment of different categories of aspect. Cyclic gestures have particularly been found in aspectual contexts, and linked with meanings of motion, either physical or metaphorical, as well as continuity. We use video datasets of spoken American English belonging to the Distributed Little Red Hen Lab (Steen et al. 2018) as part of the UCLA Library NewsScape Archive. We determine which formal features participate in the expression of iteration, in a variety of articulators (hands, head, eyebrows), and carry out a quantitative analysis, targeting gesture proportion, timing, and duration. This study shows how gestural components blend in and participate in the expression of grammatical and pragmatic meaning in speech. More specifically, it adds to the ongoing discussion within Construction Grammar about conventionality in multimodal constructions.
Kosmala Loulou : Building and coordinating multimodal interaction with gaze across two communicative situations [Le rôle du regard dans la construction et coordination de l’interaction multimodale] (p. 69)
Résumé : Lors d’interactions en face-à-face, le regard joue un rôle fondamental dans le statut d’orientation des co-participants, où une coordination s’opère entre différentes ressources visuelles et vocales, soit la voix, l’orientation du buste, les expressions faciales, et les gestes manuels. Le changement de direction du regard peut signaler une forme d’engagement ou d’attention conjointe s’il est tourné vers le partenaire, ou au contraire de désengagement ou de retrait s’il est orienté vers le côté. Le regard contribue également à l’organisation et au développement complexe de l’interaction multimodale, puisqu’il permet de maintenir simultanément les différents points de vue des locuteurs qui s’ajustent constamment aux positionnements des uns et des autres au sein de l’activité en cours.
La présente étude s’intéresse à la direction du regard et à son articulation avec d’autres ressources visuelles et corporelles présentes dans l’interaction, et s’interroge plus précisément sur leur rôle en contexte universitaire. Les analyses portent sur le corpus DisReg (Kosmala, 2020) qui contient des enregistrements vidéo d’étudiants de licence à l’université filmés dans deux situations distinctes. D’une part, lors d’exposés oraux en classe présentés devant l’enseignant et les camarades, et d’autre part lors d’interactions semi-guidées par paire. En combinant des méthodes d’analyse qualitative et quantitative, cette étude illustre l’importance du regard dans la construction du discours multimodal qui se manifeste différemment à travers les deux situations de communication. Les résultats montrent que lors des présentations orales en classe, les étudiants focalisent toute leur attention sur leurs notes où figurent le contenu de leur exposé, et par conséquent se retrouvent très peu orientés vers leur public, tandis que lors des conversations, les co-participants mobilisent plusieurs ressources visuelles, dont le regard, pour vérifier l'attention visuelle, signaler les changements de participation et de point de vue, et rediriger l'attention sur les gestes.
Abstract : During face-to-face interactions, gaze plays a fundamental role in shaping the status of co-participants. A shift in gaze direction can signal a form of engagement or joint attention if it is oriented towards the interlocutor, or by contrast a form of disengagement if it is averted. Gaze also contributes to the shaping and complex development of multimodal interaction, as it enables speakers to simultaneously maintain several viewpoints who constantly align to each other’s positionings within the activity in progress.
The present study focuses on the role of gaze direction and its coordination with other visible body behavior (i.e. hand gesture) found in interaction, more specifically in university settings. The analyses are carried out on the DisReg Corpus (Kosmala 2020) which comprises video recordings of French undergraduate students in two distinct situations: during individual oral presentations in class presented in front of the instructor and the students from the class, and during semi-spontaneous informal conversations between two students. The aim of this study is to illustrate the importance of gaze for building multimodal discourse across different communicative situations, combining quantitative and qualitative analyses through detailed annotations of gaze and its coordination with gestural actions. Results show that during class presentations, students look extensively towards their notes but pay very little attention to their audience, while during conversations, speakers mobilize several visual resources they have at their disposal, including gaze, to check visual attention, signal shifts in participation and viewpoint, and redirect attention to each other’s gestures.
2. Comparaison Langue des signes et français
Catteau Fanny & Bianchini Claudia : Mise en place d'un protocole d'identification de traits articulatoires communs à la gestualité co-verbale du français et à la Langue des Signes Française (LSF) : application au geste épistémique [Protocol for identifying shared articulatory features of co-speech gestures and French Sign Language (LSF): application to epistemic gesture] (p. 89)
Résumé : Cet article se focalise sur les caractéristiques articulatoires des gestes épistémiques (i.e. des gestes produits lors de l’expression de la certitude ou de l’incertitude) en gestualité co‑verbale (GcV) du français et en Langue des Signes Français (LSF). Il présente une nouvelle méthodologie d’analyse qui repose sur l’utilisation complémentaire d’une annotation manuelle (réalisée avec le système de transcription Typannot) et d’une annotation semi‑automatique (via un logiciel d’estimation de poses, AlphaPose) afin de mettre en évidence les caractéristiques kinésiologiques de ces gestes épistémiques. La méthodologie présentée permet notamment d’analyser les positions et les mouvements de flexion/extension du cou en contexte d’épistémicité; les résultats de cette analyse montrent qu’en GcV du français et en LSF: (1) des hochements de tête passant par la position neutre (c.‑à‑d., tête droite, sans flexion/extension) et une vitesse de mouvement élevée sont des marqueurs de certitude; et (2) les tenues de position de la tête hors de la position neutre et une faible vitesse de mouvement indiquent l’incertitude. Cette étude est menée dans le cadre du projet ANR LexiKHuM qui développe des solutions de communication kinesthésique pour l’interaction humain machine.
Abstract : This article focuses on the articulatory characteristics of epistemic gestures (i.e., gestures used to express certainty or uncertainty) in co‑speech gestures (CSG) in French and in French Sign Language (LSF). It presents a new methodology for analysis, which relies on the complementary use of manual annotation (using Typannot) and semi-automatic annotation (using AlphaPose) to highlight the kinesiological characteristics of these epistemic gestures. The presented methodology allows to analyze the flexion/extension movements of the head in epistemic contexts. The results of this analysis show that in CSG and LSF: (1) head nods passing through the neutral position (i.e., head straight with no flexion/extension) and high movement speed are markers of certainty; and (2) holding the head position away from the neutral position and low movement speed indicate uncertainty. This study is conducted within the framework of the ANR LexiKHuM project, which develops kinesthetic communication solutions for human‑machine interaction.
Martel Karine, Dodane Christelle, Blondel Marion, Catteau Fanny & Bellifemine Corrado : Processus de focalisation multimodale lors des dîners familiaux français : une comparaison entre familles parlantes et familles signantes [Multimodal focalization processes during French family dinners: a comparison between speaking and signing families] (p. 111)
Résumé : L’organisation de son discours permet à la personne qui s’exprime de faire passer au premier plan une information nouvelle afin d’attirer l’attention de son interlocuteur. Ce processus de focalisation a été décrit dans les langues parlées et dans les langues des signes, mais rarement dans un contexte naturel d’interaction familiale. Dans cet article, nous étudions la focalisation dans sa dimension prosodique, en comparant les phénomènes et paramètres mobilisés dans les deux types de langues, dans un contexte privilégié pour observer la focalisation à l'œuvre dans les interactions parents-enfants : le dîner familial. Nous dressons l’inventaire des marqueurs prosodiques de focalisation mobilisés dans les deux langues et les deux modalités (orale et gestuelle), dans un échantillon de repas en LSF et en français (ANR DinLang). Nous observons que des caractéristiques prosodiques de la focalisation peuvent être formulées en termes inter-modaux et que la focalisation est marquée par la combinaison de phénomènes plus ou moins nombreux, qui apparaissent par contraste avec le contexte prosodique. Nous donnons l’exemple d’un patron qui nous semble intéressant à examiner dans le cadre de la focalisation, celui de la scansion, et soulignons l’intérêt de prendre en considération les langues des signes et les langues ‘parlées’ comme des langues incarnées.
Abstract : Speech planning allows the speaker to highlight new information in order to draw the interlocutor’s attention. This focalization process has been described in spoken and sign languages, but rarely in a natural context such as family interaction. In this article, we study focalization at its prosodic level, by comparing the phenomena and parameters mobilized in the two types of language, within a privileged context, in order to observe focus marking during parent-children interaction: the family dinner. We make an inventory of prosodic focalization markers, mobilized in both languages and both modalities (spoken and gestural), from a sample of videorecorded meals in LSF and spoken French (ANR DinLang). We observe that prosodic features of focalization can be established in inter-modal terms and that focus is marked by the combination of various phenomena, which appear in contrast with the prosodic context. We give the example of a pattern that seems interesting to us to examine in the context of focalization, the one of scansion, and we emphasize the interest of considering sign languages and ‘spoken’ languages as embodied languages.
3. Comparaison Langue des signes et français
Morgenstern Aliyah : Approche multimodale de l'enfant apprenti-énonciateur [A multimodal approach to child langage development] (p. 143)
Résumé : Le langage est issu d’interactions via différents types de ressources sémiotiques qui se sont sédimentées et spécialisées tout au long des expériences collectives et quotidiennes. Les interactions avec les adultes fournissent aux enfants les ressources sémiotiques nécessaires à la construction des productions langagières et à leur positionnement co-énonciatif. Ils apprennent simultanément à comprendre et lier le langage aux actions et activités au cours de leurs expériences quotidiennes grâce à la mise en place de scripts multimodaux répétés. Dans cet article, nous cherchons à retracer la transmission du langage et son appropriation par les enfants avec une approche multimodale en contexte écologique. L’objectif est double. Nous montrons d’une part le rôle primordial des adultes qui intègrent tous les comportements pertinents des enfants dans le dialogue en leur donnant une fonction d’indice ou de production sémiotisée. D’autre part, nous illustrons comment les enfants apprennent progressivement à coordonner les ressources sémiotiques dont ils disposent, en variant l’utilisation de ces ressources selon leurs spécificités, leur disponibilité et les besoins interactionnels.
Abstract : Language arises from interactions via different types of semiotic resources that have been sedimented and have specialized throughout collective and daily experiences. Interactions with adults provide children with the semiotic resources necessary to construct language and their own positioning. They learn to understand and link language to actions and activities during their daily experiences through the development of repeated multimodal scripts. In this paper, we use a multimodal approach to analyze the transmission of language and its appropriation by children in an ecological context. The objective is twofold. On the one hand, we try to show the primordial role of adults who integrate all children’s relevant behaviors in the dialogue by co-constructing meaning. On the other hand, we illustrate how children progressively learn to coordinate the semiotic resources at their disposal, varying the use of these resources according to their specificities, their availability and their own interactional needs.
Caët Stéphanie : Geste et participation des enfants aux interactions polyadiques [Gesture and children’s participation to multiparty interactions] (p. 169)
Résumé : Le geste joue un rôle indéniable dans la communication humaine et dans la structuration des interactions langagières. Certains modèles théoriques en psychologie et en linguistique lui accordent également une place centrale. Le geste et la multimodalité du langage de l’enfant font depuis longtemps l’objet d’une attention particulière. Souvent, ils ont été étudiés dans le cadre de situations d’interactions dyadiques parent-enfant. Or la plupart des enfants rencontrent dès leur naissance de nombreuses situations d’interactions polyadiques, et la participation des enfants à ces interactions contribue au processus d’acquisition du langage.
L’objectif de cet article est de souligner le rapport entre geste et participation des enfants aux interactions polyadiques, dans une perspective acquisitionniste. A partir d’analyses qualitatives et quantitatives de corpus collectés en situations naturelles d’interactions polyadiques dans le cadre de différents projets de recherche, nous soulignons la manière dont le geste permet aux enfants de participer aux interactions polyadiques en tant que locuteurs, interlocuteurs et observateurs, et nous questionnons la façon dont l’occupation de ces différents statuts peut, en retour, contribuer au développement d’une compétence langagière gestuelle.
La perspective de projets de recherche-action-formation en établissements d’accueil de jeunes enfants (où le geste est peu pris en compte pour la mesure de la participation des enfants) ou auprès de familles entendantes avec enfant sourd (où le potentiel des interactions polyadiques pour le développement du langage est parfois sous-estimé) conduit la sélection et l’organisation des données présentées.
Abstract : Gesture plays an important role in human communication and in the organisation of language interactions. Some theoretical models in psychology and linguistics also give it a central place. Gesture and the multimodality of children's language productions have long been under particular attention. They have often been studied in the context of dyadic parent-child interactions. However, most children encounter numerous situations of multiparty interactions from birth, and children's participation in these interactions contributes to the process of language acquisition.
The aim of this article is to highlight the relationship between gesture and children's participation in multiparty interactions. On the basis of qualitative and quantitative analyses of corpora collected in spontaneous multiparty interactions in the framework of different research projects, we highlight the way in which gesture enables children to participate in interactions as speakers, addressees and observers, and we question the way in which the occupation of these different statuses can, in turn, contribute to the development of a gestural language competence.
The selection and organisation of the data presented were driven by the perspective of applied projects in early childhood education and care settings (where gesture is not systematically taken into account when measuring children's participation) or with hearing families with a deaf child (where the potential of multiparty interactions for language development tends to be underestimated).
4. Rôle de la gestualité dans l’étayage langagier
Azaoui Brahim : Gestes coverbaux et bébé-signes dans l’expression de l'offre et de la requête dans une crèche bilingue [Co-speech gestures and baby signs for requests and offers in a bilingual day-care] (p. 211)
Résumé : Cette contribution prend appui sur l’analyse d’interactions entre trois enfants francophones et une aide auxiliaire de puériculture hispanophone dans une crèche bilingue. L’objectif est d’étudier la façon dont les gestes manuels (coverbaux, emblèmes et bébé-signes) contribuent à l’expression l’offre et de la requête durant le temps du repas. L’analyse a permis d’observer que l’aide auxiliaire de puériculture hispanophone utilise principalement des bébé-signes dans les temps de repas. Les bébé-signes réalisés par cette professionnelle servent plusieurs fonctions que nous présentons dans l'article. Les résultats nous ont par ailleurs conduit à réviser la définition et la catégorisation du bébé-signe habituellement admises et à réfléchir à la façon dont ils pouvaient s’inscrire dans le continuum de Kendon.
Abstract : This paper focuses on the analysis of interactions between three French-speaking children and a Spanish-speaking childcare assistant in a bilingual childcare centre. This study examines how manual gestures (co-speech gestures, emblems and baby-signs) contribute to the expression of offers and requests during mealtimes. The results show that the Spanish-speaking childcare assistant mainly uses baby-signs during mealtimes. These gestures serve several functions, which we present in the article. The findings give rise to a need to revise the current definition and categorisation of baby-signs, and to reflect on how they could fit in Kendon's continuum.
Holt Ben : Impact de la formation sur la visibilité des gestes lors de l’interaction exolingue par visioconférence : une exploration méthodologique [The impact of teacher training on gesture visibility during foreign language video-mediated interaction: a methodological exploration] (p. 235)
Résumé : Cet article s’intéresse à la production de gestes lors de l’interaction exolingue par visioconférence poste-à-poste. Nous nous appuyons sur un corpus composé de deux types d’interactions médiées par visioconférence afin d’étudier la visibilité de gestes par deux prises de vue différentes. Le premier groupe est constitué de futurs enseignants de français qui sont en formation et qui s’entraînent à enseigner leur L1 à des apprenants de français. Le deuxième groupe est constitué d’apprenants anglophones et francophones qui interagissent dans les deux langues afin d’apprendre la L1 de l’autre. En comparant l’enregistrements de la webcam à celui d’une caméra externe, nous analyserons la visibilité des gestes chez les deux groupes afin de tester une méthode qui a le potentiel de déterminer si la formation des enseignants pourrait avoir un effet sur la production gestuelle.
Abstract : This article focuses on gesture production during video-mediated L1/L2 interaction. We use a corpus made up of two types of video-mediated interactions in order to study gesture visibility from two points of view. The first group is made up of future French teachers in training who practice teaching their L1 to learners of French. The second group is made up of L1 English and L1 French learners who interact in order practice speaking their respective L2s. By comparing the webcam recording to that of an external camera, we analyze the gesture visibility of interlocutors between these two groups in order to test a method that has the potential to determine whether or not teacher training has an effect on gesture production.