Analyse de timbre en temps réel pour l'augmentation musicale et visuelle
Analyse de timbre en temps réel pour l'augmentation musicale et visuelle
Martin Daigle (McGill) & Pauline Patie (UdeM)
Mars 15, 2023
ABSTRAIT:
Notre projet vise à explorer les capacités des techniques de pointe d'apprentissage automatique (ML) pour l'analyse sonore en temps réel dans le contexte d'une nouvelle composition. Dirigé par Martin Daigle, Pauline Patie et Emmanuel Lacopo, le projet comprend des logiciels tels que SP-Tools de Rodrigo Constanzo pour fournir une augmentation instrumentale en temps réel pour les percussions et les guitares. De plus, il sera utilisé pour contrôler les projections visuelles interactives en temps réel créées par Pauline.
Notre principale méthode technique pour générer et interpréter cette pièce est SP-Tools qui est basé sur l'externe FluCoMa pour exploiter de grandes banques d'échantillons sonores en mettant l'accent sur l'augmentation de la batterie. Ces outils, associés à des déclencheurs de batterie, des microphones, une entrée directe des guitares et un marimba, seront utilisés pour entraîner l'ordinateur et générer un corpus d'échantillons pour chaque instrument qui sont différenciés et organisés par leurs descripteurs (loudness, pitch, forme spectrale , mfccs, melbands).
En une fraction de milliseconde, le corpus sera comparé à une entrée sonore active et déterminera le son le plus proche et le jouera immédiatement avec la même vélocité. L'une des premières étapes consiste à créer un corpus de sons de tous les instruments impliqués et à fournir des exemples sous forme de vidéo de performance de toutes les combinaisons possibles (par exemple, kit de batterie jouant le corpus de guitare, guitare jouant le corpus de marimba, etc.). De plus, le corpus sera testé avec une variété de genres musicaux, y compris le métal, le jazz, le hip-hop et d'autres genres pour observer l'éventail des changements apportés aux descripteurs.
L'objectif principal de ce projet est de générer une nouvelle pièce qui présente et promeut l'utilisation de la technologie ML afin que nous puissions interpréter ce répertoire et démontrer la puissance de ces outils en ligne et en concert.
