Proposition de stage au SCRIME
Développement d'un plugin d'assistance à l'écriture de tablatures pour guitare
Contexte
MuseScore est une application Open Source permettant la création, l'édition et la lecture audio de partitions musicales. L'application permet par ailleurs l'ajout d'une variété de plugins visant à ajouter des fonctionnalités répondant à des besoins spécifiques. Ces plugins sont développés par une communauté d'utilisateurs, à l'aide d'outils dédiés documentés, en particulier le langage QML.
Le projet TABASCO regroupe des travaux de recherche visant à éllaborer des outils algorithmiques pour assister la composition de musique pour guitare notée sous la forme de tablatures. Ces algorithmes, actuellement en cours de développement, portent par exemple sur :
- l'ajustement de l'expressivité d'une tablature via l'emploi de techniques de jeux spécifiques à la guitare, en particulier les bends [1]
- la continuation d'une partie de guitare rythmique par imitation texturale des mesures précédentes
- la proposition d'une ligne de basse cohérente avec une partie de guitare rythmique
Ces algorithmes ont vocations à être expérimentés sous la forme de fonctionnalités dans un logiciel de notation musicale, tel que Guitar Pro ou MuseScore.
Objectif
Le stage a pour objet d'évaluer le potentiel de l'environnement de développement de MuseScore pour la réalisation de plugins visant à assister la composition de tablatures pour guitare. Les algorithmes de TABASCO se basant sur des modèles complexes issus de l'apprentissage automatique, une étude particulière portera sur la capacité d'un plugin MuseScore à faire appel à un service extérieur, disponible sur le web ou sur la machine locale. Une autre propriété essentielle de ces plugins est de pouvoir ne s'appliquer qu'à une région spécifique de la partition, sélectionnée par l'utilisateur. On pourra pour cela s'inspirer de travaux existants [2] dans la communauté MIR (Music Information Retrieval). Une attention particulière sera donnée à la représentation des données musicales manipulées par les plugins, et à leur convertibilité vers les structures de données de la bibliothèque Music21 qui occupent une place centrale dans les algorithmes TABASCO. Si besoin, il pourra être envisagé de proposer des apports à Music21 afin d'y améliorer la gestion des tablatures. Le stage abordera naturellement la question de l'interface utilisateur de ces plugins, en se basant sur des réflexions de la communauté sur le sujet [3],[4].
Le déroulement prévisionnel du stage pourrait comprendre les étapes suivantes :
- une phase de bibliographie visant à identifier des travaux de recherche dans la communauté MIR ayant aboutit au développement de plugins dans des environnements logiciel dédiés à la composition, en particulier l'application MuseScore
- familiarisation avec l'environnement de développement de plugins MuseScore et développement d'un plugin simple permettant la transformation d'une région de partition/tablature.
- réalisation d'un plugin simple faisant appel à un serveur externe (tournant en local ou sur le web)
- réalisation d'outils pour la conversion des données extraites en structures Music21
- mise à disposition d'algorithmes du projet TABASCO sous la forme de plugins. Cette étape se fera en collaboration étroite avec des membres de l'équipe Algomus (laboratoire CRIStAL, Université de Lille).
Bibliographie
[1] D'Hooge et al. (2023) Modeling Bends in Popular Music Guitar Tablatures. ISMIR 2023
[2] Hadjeres et al. (2017) DeepBach: a steerable model for Bach chorales generation. ICML 2017
[3] Kayacik et al (2019) Identifying the intersections: User experience+research scientist collaboration in a generative machine learning interface. CHI Conference on Human Factors in Computing Systems 2019.
[4] Roberts et al (2019). Magenta studio: Augmenting creativity with deep learning in Ableton Live.
Encadrement et contact
Le stage sera encadré par Joseph Larralde et Louis Bigo