Proposition de stage au SCRIME
Intégration de partitions musicales à l'application web MidifilePerformer
Contexte
MidifilePerformer est un logiciel créé par Bernard Serpette qui reprend le principe du Méta-Piano de Jean Haury.
Pour résumer, le Méta-Piano permet la lecture audio pas à pas d'un contenu musical à l'aide d'un clavier MIDI réduit à quelques touches, couplé à un modèle d'interprétation sophistiqué permettant à l'utilisateur de ne se concentrer que sur les aspects propres à l'expressivité musicale : la dynamique, l'articulation et le rythme, sans se préoccuper de la hauteur des notes.
MidifilePerformer propose un modèle de données alternatif à celui du Méta-Piano, dans lequel le contenu musical est construit automatiquement à partir d’un fichier MIDI, étendant ainsi le répertoire des morceaux interprétables à l’ensemble des fichiers MIDI disponibles.
Afin de faciliter la diffusion du projet, le SCRIME développe depuis 2022 une version web de MidifilePerformer basée sur les modèles de données et les algorithmes définis pat Bernard Serpette et al [1]. Cette application web est écrite en JavaScript avec le framework VueJS et s’appuie sur une librairie C++ implémentant les fonctionnalités essentielles du programme original, disponible sous forme de package npm.
Objet du stage
Bien que l'interprétation ne soit contrôlée que par l'instrument, l'accès par l'utilisateur à une représentation visuelle du contenu musical en cours d'interprétation facilite considérablement la pratique du Méta Piano.
La mission majeure de ce stage consistera à élaborer l'affichage dans le navigateur de la pièce en cours d'interprétation. La progression de l'interprétation apparaitra à l'aide d'un curseur se déplaçant en temps réel. Le système devra accepter en entrée différents formats de fichiers de partition (MIDI, MusicXML, MEI4, kern) et pouvoir les afficher sous la forme de partitions ou de représentations piano roll. L'interface sera développée en JavaScript et pourra s’appuyer sur la librairie Verovio. La préparation des représentations visuelles musicales (partitions et piano rolls) pourra se faire à l'aide d'outils fournies par la communauté MIR (Music Information Retrieval), notamment les bibliothèques Music21 et Essentia. Dans la phase initiale du stage, on évaluera le potentiel d'applications web musicales open source telles que Dezrann[2] ou CosmoNote[3] à pouvoir fournir des composants de code ré-utilisables dans notre cadre.
Bibliographie
[1] CHABASSIER, Juliette, DESAINTE-CATHERINE, Myriam, HAURY, Jean, et al. MidifilePerformer: a case study for chronologies. In Proceedings of the 9th ACM SIGPLAN International Workshop on Functional Art, Music, Modelling, and Design, 2021, p. 13-22
[2] GIRAUD, Mathieu, GROULT, Richard, et LEGUY, Emmanuel. Dezrann, a web framework to share music analysis. In International Conference on Technologies for Music Notation and Representation (TENOR 2018), 2018, p. 104-110
[3] FYFE, Lawrence, BEDOYA, Daniel, et CHEW, Elaine. Annotation and Analysis of Recorded Piano Performances on the Web. Journal of the Audio Engineering Society, 2022, vol. 70, no 11, p. 962-978
Encadrement
Le stage sera encadré par Joseph Larralde et Louis Bigo.