Orian Sharoni

Orian Sharoni, doctorante à SCAI, travaille sur le développement d'algorithmes capables de générer de la musique en direct grâce à l'intelligence artificielle. Elle nous partage ici ses défis et ses réussites, évoque sa transition du secteur privé vers le monde universitaire, et met en lumière les aspects les plus passionnants de ses recherches actuelles.

Parlez-nous de votre parcours. Comment vous a-t-il amené à cette bourse de doctorat internationale avec SCAI ?

Orian Sharoni : J'ai un master de l'Université de Tel Aviv où j'ai étudié la branche computationnelle de la cognition qui est axée sur la modélisation du comportement. Après mon master, j'ai travaillé dans plusieurs startups à Tel Aviv et aussi aux États-Unis.
J'étais chercheuse en machine-learning pendant plusieurs années et j'ai monté ma propre entreprise de conseil avant de réaliser que l'université me manquait. J'ai alors commencé à chercher un programme de doctorat auquel je pourrais consacrer mon énergie, et me voici !

Quel est le sujet de votre thèse ?

O.S. : Elle s'intitule  « Agents d'écoute et d'apprentissage collectifs pour l'improvisation générative ». Pour simplifier, je recherche et développe des algorithmes qui seront capables de jouer de la musique avec d'autres algorithmes ou avec des humains en direct. Cela relève de la branche de l'IA générative, parfois appelée Gen AI, qui est une famille d'algorithmes capables de synthétiser des données. Dans mon cas, ces données sont de la musique.
Un outil d'IA générative très célèbre que nous connaissons tous maintenant est Chat GPT.

En effet, avec la popularité de Chat GPT, tout le monde ou presque a désormais une certaine familiarité avec votre domaine de travail. Comment vous sentez-vous en menant des recherches aussi actuelles ?

O.S. : C’est assez exceptionnel de mener des recherches dans ce domaine, car il est rare d'avoir l'opportunité d'explorer un sujet avec un tel enthousiasme généralisé.
Habituellement, quand vous êtes dans le milieu universitaire, vous travaillez sur quelque chose qui prend beaucoup de temps à expliquer et à légitimer. Évidemment, je me concentre sur un angle très spécifique dans ce domaine de développement, mais je me souviens que pendant mon master, il m'a fallu beaucoup de temps pour expliquer et faire comprendre aux gens ce sur quoi je travaillais.

D'où vient votre intérêt pour les générateurs de musique ?

O.S. : Avant de faire mon master, j'ai travaillé à la radio pendant trois ans. J’adore aussi jouer de la musique pour le plaisir. Dans le cadre de ma licence, ma spécialisation était en musicologie. Vous pouvez le constater, la musique a toujours été un domaine qui m'intéresse.
Pour mon programme de doctorat, comme j'ai fait beaucoup de recherches en synthèse vocale et en apprentissage automatique lié à la parole dans l'industrie, et avec ma formation musicale, j'ai pensé que c'était une excellente combinaison à apporter à l'apprentissage automatique et aux grands réseaux neuronaux. La musique est un vaste domaine ; je veux pouvoir communiquer avec les musiciens et parler dans une langue que nous pouvons tous comprendre.
Un de mes directeurs de thèse a insisté sur l'importance de maintenir ma pratique musicale en parallèle de mes recherches, afin de rester connectée à l'expérience de jouer de la musique. En plus d'écrire du code tous les jours, la musique est une composante essentielle de mon quotidien.

Pourquoi avez-vous choisi de venir à Sorbonne Université ?

O.S. : J'étais certaine de vouloir faire un doctorat portant sur le domaine de l'apprentissage automatique appliqué à l'audio, idéalement dans le champ de l'IA générative. J'ai passé du temps à rechercher les meilleurs programmes et les meilleurs scientifiques avec qui je pourrais travailler. Lorsque j'ai vu que SCAI annonçait l'ouverture de la première cohorte de Sound.AI, j’ai été immédiatement séduite. Je suis ravie d'avoir été acceptée et de faire partie de cette aventure.
Je fais partie du centre de recherche Ircam, et il me semble qu'ils font partie des rares endroits qui comprennent pleinement l'importance de fusionner l'art et la science. Cette synergie était essentielle, car je souhaite mener les meilleures recherches en apprentissage automatique et en algorithmique dans un environnement qui valorise et renforce la collaboration entre ces deux domaines, permettant ainsi à l'art de s'enrichir de la science et vice versa.

Qu'avez-vous le plus apprécié en étant à Paris ?

O.S. : À Paris, je suis frappée par l'importance des interactions entre personnes. C'est une ville où l'on est encouragé à sortir et à s'immerger dans la vie sociale. Pour moi, la science est avant tout une histoire à raconter. Cette histoire se construit en écrivant du code, en expérimentant avec différents algorithmes. Je trouve très enrichissant de pouvoir m'asseoir avec mes collègues, partager nos défis, poser des questions. Cela me permet non seulement de structurer mes recherches, mais aussi de les raconter comme une histoire.
J'ai également lancé un club de lecture au sein de l'Ircam, afin que mes collègues et moi puissions suivre la littérature scientifique et partager nos perspectives.

Comment cela a-t-il été de retourner à l'université après avoir travaillé dans le secteur privé ?

O.S. : Lorsque vous faites de la recherche pour des entreprises privées, c'est très secret. Les méthodes de construction des algorithmes sont considérées comme des secrets commerciaux et ne peuvent être divulguées. Vous ne pouvez pas partager votre travail. Personnellement, je trouve beaucoup plus enrichissant de pouvoir maintenant discuter en profondeur de mes travaux et d'écouter attentivement les détails des recherches menées par mes collègues.

Quel est le plus grand défi dans vos recherches actuelles ?

O.S. : Je suis passionnée par la génération de musique en direct, dans des scénarios où des musiciens humains jouent ensemble. C'est un processus incroyablement complexe. Lorsqu'une personne joue de la musique, elle est à l'écoute de sa propre interprétation, réfléchit à sa prochaine action, tout en étant attentive aux sons des autres musiciens présents. Nous ne réalisons peut-être pas pleinement, en tant qu'êtres humains, à quel point cette capacité est remarquable. Nous sommes doués pour synchroniser nos actions et interpréter les signaux, même lorsque nous communiquons simplement par la parole.

Développer des algorithmes capables de recréer cette forme de communication musicale en direct représente un véritable défi. Mon attention se porte sur des aspects tels que la synchronisation, le tempo, la capacité à écouter, à remarquer et à répondre aux interactions avec d'autres musiciens. C'est pourquoi une partie de mes recherches se concentre non seulement sur la génération de musique, mais aussi sur ce que l'on pourrait appeler une “écoute artificielle". Il s'agit d'analyser les mécanismes sous-jacents à nos décisions de suivre ou de guider le mouvement ou le rythme des autres. Cette exploration mène à des réflexions d'ordre philosophique, car il existe de nombreuses théories sur la capacité cognitive humaine, et nous n'avons pas encore toutes les réponses sur le fonctionnement précis de nos facultés.

En étudiant comment les algorithmes peuvent reproduire ces comportements de manière similaire à l'être humain, nous sommes amenés à nous interroger : qu'est-ce qui définit l'humain ? Dans mes recherches, je cherche à déterminer à quel moment une performance sonne suffisamment "humaine". Cette démarche soulève des questions complexes sur la perception humaine, sous divers angles d'approche, et je trouve cela extrêmement fascinant.

Quel impact sur la société prévoyez-vous pour votre travail ?

O.S. : Je suis convaincue que la musique exerce une influence considérable sur nous, à de multiples niveaux, pas seulement du point de vue de la recherche en IA, mais aussi culturellement. Comment les évolutions dans le domaine musical nous affectent-elles sur le plan culturel ? À l'Ircam, nous mettons l'accent sur l'enrichissement de la créativité des musiciens en introduisant de nouveaux outils innovants pour faciliter leur processus de création.

Cette perspective spécifique revêt une importance particulière, car trop souvent, lorsqu'on évoque l'IA, on pense à son potentiel de remplacement de l'humain, alors que ce n'est absolument pas notre objectif. Au contraire, nous sommes convaincus que la création la plus fascinante demeure celle de l'Homme. Lorsque je souhaite lire une histoire ou écouter un morceau de musique, je veux ressentir l'œuvre façonnée par un autre être humain. Mon ambition est de fournir aux artistes davantage d'outils pour enrichir leurs recherches et leur potentiel créatif, non pour les remplacer, mais pour les soutenir et les stimuler.