© SCRIME

SEGMent² a été financé par l'IdEx Bordeaux dans le cadre des projets maquettes (ARN-10-IDEX-03-02), réunissant les partenaires suivants :

- LaBRI/SCRIME
- Université de Bordeaux
- IdEx Bordeaux
- MAPI

sous la coordination de Julie Lavoinne, Pascale Rallion et Myriam Desainte-Catherine. Subpoena est le premier jeu construit avec SEGMent².

Historique

SEGMent a été développé au SCRIME en 2015-2016 afin de répondre à l’enthousiasme grandissant autour de l’introduction du numérique et du ludique dans la pédagogie. Il s’agit d’un moteur de jeux vidéo ludo-pédagogiques permettant de développer un jeu complet grâce à la création d’un diagramme simple. Il s’adresse à toute personne désirant disposer d’un outil intuitif lui permettant de créer rapidement un contenu pédagogique, artistique ou didactique interactif et ludique. SEGMent se veut être un outil rapidement et facilement exploitable pour les personnes qui ne maîtrisent pas la programmation informatique. Le moteur de jeu (développé sous Unity) repose sur un système en diagramme qui permet de déterminer facilement les corrélations entre les divers éléments. Les supports produits avec SEGMent peuvent permettre de dispenser un enseignement à distance intégrant à la fois des contenus didactiques et des exercices d’application. Ils sont également adaptés à l’acquisition de connaissances qui nécessitent d’associer facilement différents stimuli (une image à un son par exemple). SEGMent s’adresse tout autant aux professeurs (créateurs de contenus pédagogiques), aux game-designers (créateurs de jeux), qu’aux étudiants (interagissant et apprenant grâce aux jeux créés) SEGMent inclut un système de mesure permettant de consigner et d’étudier les actions effectuées par les joueurs, et permet donc notamment de s’assurer que des sections du jeu créé ne sont pas trop faciles ou trop difficiles. Le jeu créé grâce à SEGMent prend donc la forme de différents écrans entre lesquels le joueur peut naviguer. Des interactions avec les contenus disposés sur chaque écran (texte, image, son,...) peuvent avoir lieu, voire être nécessaires pour passer à l’écran suivant, devenant alors parfois de véritables énigmes à résoudre. SEGMent est né de l’initiative de Raphaël Marczak, docteur en game design et en informatique à l’Université de Bordeaux, en collaboration avec György Kurtag, compositeur, sounddesigner et chercheur, coordinateur Arts/Sciences du Studio de Création et de Recherche en Informatique et Musique Expérimentale. Le jeu a été développé au sein du SCRIME, afin de bénéficier de l’émulation entre les développeur(se)s logiciel, chercheur(se)s en informatique et artistes plastiques et sonores qui s’y croisent. Une attention particulière a donc été portée au traitement et à l’utilisation du son par le moteur de jeu.

SEGMent2 

SEGMent a servi de preuve de concept, afin d’en illustrer les principales caractéristiques, et d’en valoriser les résultats auprès des acteurs essentiels de la pédagogie de la région Nouvelle Aquitaine. Le projet SEGMent2, qui lui fait suite, a pour objectif de consolider les résultats de SEGMent, et d’en pérenniser l’utilisation au sein d’un logiciel robuste et prêt à être utilisé par n’importe quel enseignant désireux d’adapter sa pédagogie aux nouvelles technologies de l’information et de la communication. SEGMent2 est financé par l’IdEx Bordeaux, au sein du projet « innovation maquette » (un contrat d’ingénieur de recherche sur 18 mois, un contrat d’ingénieur d’études sur 12 mois, et financement de matériels). SEGMent2 s’appuie sur deux projets robustes développés au SCRIME : la maquette SEGMent, première du nom, qui a servi de preuve de concept et qui, bien que perfectible, est déjà opérationnelle ; et le projet i-score, aux fondations solides, qui permet aux professionnels du spectacle vivant de créer des scénarios interactifs basés sur des contraintes temporelles et conditionnelles. En regroupant ces deux projets développés par le LaBRI, le moteur SEGMent2 disposera à terme d’une interface de création extrêmement facile à prendre en main, et les possibilités de créations intermédia seront exhaustives. Afin de démontrer l’utilisabilité de SEGMent2 et ainsi profiter de retours utilisateurs, plusieurs jeux pédagogiques sont en cours d’implémentation et seront mis à disposition des étudiants pendant le déroulement du projet. Il s’agit notamment un jeu sur l’auscultation pulmonaire (amélioration de l’écoute), d’un jeu sur l’observation en milieu infirmier (amélioration de l’empathie) et d’un jeu d’aide à la recherche documentaire (BU de Bordeaux). Divers acteurs principaux contribuent au projet SEGMent2 : le LaBRI/SCRIME pour la partie recherche et développement ; MAPI et CANOPé pour leur expertise sur la pédagogie et les besoins en enseignement, ainsi que pour leurs retours d’expérience ; la Croix-Rouge et le CHU de Bordeaux pour leurs connaissances sur les besoins des étudiants de santé, la BU de Bordeaux pour leur expertise sur la recherche documentaire. ; et l’IdEx pour le financement et le suivi de projet.

Projet : auscultation pulmonaire 

« L’apprentissage de la sémiologie auscultatoire respiratoire est un apprentissage qui est reconnu difficile. En absence de traces objectives, visuelles ou sonores, l’auscultation pulmonaire requiert une expertise pour distinguer si, à l’écoute, ces bruits respiratoires sont normaux ou pathologiques. Leurs diagnostics sont uniquement basés sur l’expérience accumulée et relève davantage de l’intuition que d’une classification rigoureuse et systématique. Face à la variabilité, à l’hétérogénéité et à la complexité des sons, la majorité des étudiants et futurs praticiens ne sont armés que de leur perception auditive et de leur mémoire de sons pathologiques. » Emmanuel Andrès Cette constatation nous a amené à réfléchir sur les limites de la perception et ce qui pourrait aider à améliorer la formation médicale. Jusqu’à la découverte de l’enregistrement (1877) la volatilité de phénomènes sonores échappent à la mémoire. Désormais on peut les observer ; fixer sur un support, rejouer, manipuler. Des « crépitants » (impulsions diverses), aux « murmure vésiculaire » (bruits filtrés) en passant par les « ronchis » (sons inharmoniques), les grandes majorités des sons de la respiration se situent dans la classe des bruits. Dans son « Traité des objets musicaux » (1966) Pierre Schaeffer, ingénieur, acousticien et compositeur, s’intéresse à la catégorisation exhaustive du monde audible (sonore et musical). Il constate que l’analyse physique de signal ne comporte pas assez de signification pour comprendre, mémoriser les phénomènes sonores complexes. Il propose donc une méthode « le solfège des objets sonores » et une terminologie standardisée basée sur la perception auditive. Plusieurs générations de compositeurs ont ensuite perfectionnés sa méthode grâce à l’apport de l’informatique musicale : visualisation des sons, traitement de signal, « music information retrieval » etc... Comprendre le son nécessite obligatoirement sa visualisation. Mais comme une photo ne permet saisir le mouvement, la représentation statique du son est insuffisante. Notre choix d’utiliser un média interactive, comme le jeu vidéo permet observer (ralentir, fragmenter etc), les indices sonores des marqueur pathologiques et les mémoriser. Ce projet de recherche a pour l’objet la création de trois jeux sérieux via SEGMent2.

Jeu 1 : Test de compétence  conscience sonore - Un jeu d’attention et de conscience sonore, d’éducation de l’oreille qui permettrait aussi de repérer et d’accompagner les étudiants qui seront en difficulté lors des cours d’application.

• Apprendre à focaliser, discriminer, séparer les sources
• Observer, représenter, noter, catégoriser les sons.
• Public concerné : PCEM2 ( 200 étudiants par an ) 

Jeu 2 : Entrainement à l’auscultation pulmonaire - Apprendre à écouter, être sensible à l’indice sonore et mettre en relation avec les marqueurs pathologique.

• Protocole de méthode d’auscultation (haut en bas, bilatéral et symétrique)
• Localisation spatiale et temporelle des indices sonores,
• Marqueurs pathologiques : identifier la présence de l’air ou de liquide dans le poumon
• Etude des cas cliniquesPublic concerné : PCEM2 et DCEM2
• Formation continue etc...

Jeu 3 : Test de connaissance, métrique, archivage, évaluation - Test de connaissance avant la mise en situation réelle qui permettrait aussi de repérer et d’accompagner les étudiants qui seront en difficulté lors des cours d’application.Les métriques permettent d’analyser de visualiser le chemin parcouru par les étudiants pour arriver à formuler leurs réponses ( sources d’erreurs, lacune didactique ).