• Recherche,
  • Philosophie,

EZ ZAOUIA Mohamed

Factors for dashboards design and use to inform teachers’ practices in situ

Publié le 7 septembre 2020 Mis à jour le 11 mars 2021

Thèse en Informatique, soutenue le 2 septembre 2020.

Les tableaux de bord ont un grand potentiel pour informer le travail, les décisions et les pratiques en éducation. Nous étudions la conception et l'utilisation des tableaux de bord pour informer les pratiques des enseignants lorsqu'ils aident les apprenants à utiliser les plates-formes d'apprentissage en ligne. Nous examinons spécifiquement ce que les enseignants "font" réellement avec ces technologies dans leur travail quotidien et à long terme. Nous soutenons que cette recherche a des ramifications sociales, pédagogiques et techniques. Pour comprendre les facteurs sociaux, nous avons besoin d'une enquête critique sur les pratiques pédagogiques et les défis techniques sous-tendus par les tableaux de bord des enseignants. D'autre part, pour concevoir de telles technologies, nous avons besoin de comprendre et considérer profondément les interactions sociales des utilisateurs.
Nous avons étudié les tableaux de bord dans le contexte d'apprentissage de langues par vidéoconférence. Les enseignants sont confrontés à un défi majeur : le manque de conscience émotionnelle envers les apprenants en ligne en raison des interactions distantes et médiées par la technologie. Nous avons mené une étude de cas examinant une approche multimodale à la sensibilisation émotionnelle. Nous avons démontré cette approche en utilisant des flux audio et vidéo pour inférer des émotions, des émotions auto-rapportées par les apprenants, et les traces d'interaction contextuelle des enseignants/apprenants sur la plateforme. Nous avons analysé les données émotionnelles, audio et vidéo. Nous avons proposé une approche permettant de combiner les modèles d'émotions discrètes et dimensionnelles. La résultats soulignent la pertinence d'informations multimodales et contextuelles.
Ensuite, sur la base de notre première étude, nous avons adopté un processus de conception itératif. Nous avons interviewé cinq enseignants et collaboré avec un responsable pédagogique, un chercheur en langues et deux enseignants. Nous avons mené deux évaluations formelles aboutissant à la conception d'Emodash. Nous avons mené une étude de terrain de deux mois avec cinq paires d'enseignants-apprenants, afin d'examiner comment Emodash sensibilise les enseignants aux émotions des apprenants en ligne et comment cela impact leurs bilans pédagogiques écrits aux apprenants. Les enseignants ont écrit des bilans significativement plus affectifs et formatifs, et moins sommatifs, ce qui suggère une grande prise de conscience des émotions des apprenants. De plus, les enseignants ont approprié Emodash comme un moyen d'évaluation et de réflexion sur leurs pratiques.
Après, nous avons étudié les tableaux de bord dans le contexte d'apprentissage mixte : en ligne et en classe. Les enseignants sont confrontés à un défi majeur : le manque d'informations précises pour intervenir auprès des apprenants. Nous avons conçu Progdash sur la base d'entretiens avec sept enseignants et l'avons affiné grâce à un prototypage collaboratif. Nous avons intégré Progdash dans une plateforme d'apprentissage du français en ligne. Nous avons mené une étude de terrain de trois mois avec 29 enseignants pour examiner si Progdash fournit des indicateurs utiles aux enseignants, et comment il impact leurs pratiques. Les enseignants ont trouvé que Progdash facilitait : le suivi, les évaluations, la planification, le partage d'informations, le feedback et leçons.
Enfin, nous avons mené une enquête réflexive en nous appuyant sur les résultats d'Emodash et de Progdash. Nous avons articulé les facteurs sociaux - suivi, sensibilisation et réflexion, les pratiques pédagogiques - planification, feedback et accompagnement, et les défis techniques qui interagissent avec la conception et l'utilisation des tableaux de bord des enseignants. Ces dimensions servent de cadre conceptuel pour les technologies de l'information et de macro-implications pour des tableaux de bord adaptés aux besoins et situations des enseignants et des apprenants.

Dashboards have great potential in informing teachers' and learners' work, decisions, and practices. In this dissertation, we study the design and use of dashboards to inform teachers' practices when assisting learners in using online learning platforms. We specifically examine what teachers actually "do" with dashboards in their everyday work and in the long run. We argue that this research draws social, pedagogical, and technical ramifications. To understand the social factors, we need a critical inquiry into the pedagogical practices and the technical challenges underpinned by teachers' dashboards. On the other hand, to properly design such technologies, we need a profound understanding and consideration of the social interactions of users.
First, we studied dashboards in the context of video-conferencing language learning. Teachers face one main challenge: lack of emotional awareness in online learning due to distant and technology-mediated interactions. We conducted a case study examining a multimodal approach of learners' emotions awareness. We demonstrated this approach by using audio and video streams when inferring emotions along with learners' self-reported emotions and teachers' and learners' contextual interaction traces on the platform. We analyzed emotional cues from the two modalities, audio, and video. We proposed an approach for combining discrete and dimensional emotion. The results highlighted the pertinence of rendering multimodal and contextual emotional awareness information for teachers in such settings.
Second, building on our first study, we adopted an iterative design process in which we interviewed five teachers and collaborated with a pedagogical manager, a language researcher, and two teachers. We conducted two formal formative evaluations leading to the design of Emodash. We conducted a two-month field study with five teacher-learner pairs, to examine how Emodash supports teachers' awareness of learners' emotions online and how it impacts their feedback reports written to learners. The results showed that Emodash led teachers to write significantly more affective and formative feedback, and less summative feedback, suggesting a stronger awareness of learners' emotions. Also, the dashboard led teachers to reflect on the way they conduct lessons, using learners' emotions as a proxy to evaluate their conduct of teaching.
Third, we studied dashboards in the context of remote and blended learning. Teachers face one main challenge: lack of actionable insights to engage in informed interventions. We designed Progdash based on interviews with seven teachers and refined it through collaborative prototyping. We integrated Progdash into an online French vocabulary, grammar, spelling learning platform. We conducted a three-month field study with 29 teachers to evaluate whether Progdash provides useful indicators to teachers about learners' progression, and how it informs teachers' practices to engage in informed interventions. The results showed that teachers found Progdash actionable to inform: monitoring, assessments, planning, information sharing, feedback, and lesson provision. Based on our findings, we discussed implications aimed at improving dashboards to bridge online and in-class learning as well as to foster teachers' and learners' dialog and reflection.
Finally, we took a reflexive inquiry building upon the results of the studies of Emodash and Progdash. We articulated the social factors —monitoring, awareness, and reflection, the pedagogical practices —planning, feedback, and coaching, as well as the technical challenges interacting with the design and use of teachers' dashboards. We discussed practical assumptions for each dimension to inform the design and use of teachers' dashboards. Together, these dimensions serve as a wider conceptual umbrella for the design of information-driven technologies and macro-implications for dashboards fitting teachers' and learners' everyday situations.

Mots-clés : Dashboard, Design process, Teachers' dashboards, Online learning, Monitoring, Awareness, Reflection, Teachers' practices, Design study, Field study

Keywords : Renaissance – Rabelais – Analogy – Mythology – Literary image - Hermeneutic – Celtic mythologies – Sovereignty.


Directeur(trice) de thèse : Elise LAVOUE

Membres du jury :
- Mme LAVOUE Elise, Directrice de thèse, Maître de conférences habilitée à diriger des recherches, Université Jean Moulin Lyon 3,
- Mme HERNANDEZ LEO Davina, Professeure, Université de Barcelone, Espagne,
- M. DESMARAIS Michel, Professeur, Université de Montréal, Québec,
- M. TABARD Aurélien, Maître de conférences, Université Lyon 1,
- Mme PEREZ SANAGUSTIN Mar, Maître de conférences, Université de Toulouse,
- Mme GHEDIRA GUEGAN Chirine,
Professeure des Universités, Université Jean Moulin Lyon 3,
- M. PRIE Yannick, Professeur des universités, Université de Nantes,
- M. PARET François, Directeur général Woonoz, Lyon.

Président(e) du jury : Yannick PRIE