Stage : Élaboration d'algorithmes pour assister l'improvisation musicale

•  Stage niveau M2, 2025
• Encadrement et contacts : L. Bigo, J. Larralde

Contexte

L'équipe du SCRIME mène des recherches et développe des outils dans une variété de disciplines scientifiques en lien avec la musique, notamment l'informatique et l'intelligence artificielle.

Nos travaux ont vocation à enrichir la pratique musicale à différents niveaux, notamment la composition et la performance. Ils sont mis en œuvre dans des cadres variés incluant des actions pédagogiques, des évènements de médiation, et la production d'œuvres par des artistes.

Le méta-piano est un instrument imaginé par Jean Haury, permettant l'interprétation d'une partition pour piano via le seul contrôle de la nuance et de la temporalité des notes. L'interprète ne se préoccupe pas des hauteurs de notes, qui sont connues par l'instrument au fur et à mesure de la progression de la pièce. En ce sens, le méta-piano peut être vu comme un lecteur audio expressif, ou chaque pression de touche fait avancer la pièce d'une note (ou d'un accord).

Travail à effectuer

L'objectif de ce stage est d'expérimenter le potentiel de l'interface du méta-piano dans un cadre d'improvisation libre.

Contrairement à l'interprétation de partitions, où les hauteurs de note sont connues à l'avance, le cadre de l'improvisation nécessite pour le logiciel de prendre la décision des hauteurs à jouer à chaque nouvelle pression de touche. Ces décisions seront prises à l'aide d'un modèle statistique, qui sera constitué par apprentissage automatique sur des corpus variés de musiques pour piano, représentées dans des formats symboliques (typiquement MIDI et MusicXML). On pourra s'inspirer pour cela de travaux récents dans la communauté MIR (Music Information Retrieval) portant sur l'élaboration de systèmes génératifs basés sur des réseaux de neurones profonds. Cet enjeu nécessitera un travail de bibliographie dédié. Conjointement à leur conception ou ré-utilisation, on évaluera la faculté de ces modèles à effectuer des prédictions dans un cadre temps réel, et le cas échéant à déclencher ces prédictions via le méta piano.

On pourra expérimenter au cours du stage des mode de prédiction de complexité progressive :
- prédiction sur le modèle statistique seul (équivalent à l'interprétation d'un contenu généré en amont)
- prise en compte de la durée écoulée depuis la dernière note
- prise en compte du contour mélodique (le contour mélodique indique de manière simplifiée les mouvements de hauteur d'une séquence musicale : vers le haut, vers le bas, ou égal)
- prise en compte de la nuance (selon disponibilité dans les données d'entraînement)

Dans chacun des cas, différentes stratégies seront expérimentées, et comparés, pour la décision de l'évènement suivant, notamment les modèles de Markov, les réseaux de neurones séquentiels profonds (type LSTM ou Transformers) et l'oracle des facteurs.

Biblio

• Huang, Cheng-Zhi Anna, et al. "Music transformer." arXiv preprint arXiv:1809.04281 (2018).
• Oore, Sageev, et al. "This time with feeling: Learning expressive musical performance." Neural Computing and Applications 32 (2020): 955-967.
• Larralde et al. Élargir l’accès à l’interprétation musicale avec web midifile performer. Journées d'Informatique Musicale 2024.