En el cas d'ús de cantants de cor TROMPA, estem fent servir síntesi de veu per a cant multilingüe per ajudar en l'assaig individual a cantants de cor. Durant els primers dos anys de projecte, hem identificat els requisits dels usuaris, desenvolupat un prototip funcional i millorat els models de síntesi. Ara estem preparats per a  compartir les nostres eines amb els cantants de cor! Però, com vam arribar aquí?

Un pilot centrat en l'usuari

Al desembre de 2018, vam llançar una convocatòria oberta de cors en l'àrea de Barcelona per participar en un taller sobre els requisits per al pilot. Al gener de 2019, 15 participants (cantants i directors) de 5 cors diferents van participar al taller i van proporcionar comentaris sobre un primer esboç. Aquesta informació es va fer servir per a refinar i iterar sobre els requisits per a l'aplicació pilot.

Des d'aquest punt, l'empresa VoctroLabs va començar a treballar en successives iteracions de el pilot, que és una aplicació web compatible amb diferents dispositius. Actualment, estem treballant en diferents visualitzacions per a cantants aficionats i en la integració amb altres components TROMPA. Els plans de desenvolupament han de tenir un prototip completament funcional per al març de 2020. Aquest prototip es provarà en un taller amb usuaris potencials per validar la seva funcionalitat i identificar possibles canvis menors que es realitzaran per millorar els aspectes d'usabilitat.

Explotar els recursos existents

L'ús de la tecnologia de síntesi de cant ofereix un gran avantatge en comparació amb l'ús d'enregistraments d'estudi: escalabilitat. Mitjançant l'ús de síntesi, podem generar interpretacions vocals a partir de qualsevol peça disponible en formats simbòlics digitals. Aquestes peces existeixen en repositoris públics com IMSLP o CPDL. Hem creat eines per importar dades d'aquests repositoris en l'entorn TROMPA Contributor Environment, de manera que els pilots puguin accedir a aquestes dades. En aquest moment, estem treballant en les eines de generació interpretacions sintètiques a partir d'aquestes partitures que seran accessibles a través de la nostra aplicació.

Dades obertes

En TROMPA també investiguem tecnologies per analitzar enregistraments de cant coral en termes d'entonació, per ser explotades en el pilot. Estem en el procés de crear tres conjunts de dades obertes per a la investigació sobre aquest tema: Choral Singing Dataset, llançat l'any passat, ESMUC ChoralSet (en el qual hem col·laborat amb l'Escola Superior de Música de Catalunya), i Dagstuhl ChoirSet. Tots ells consisteixen en gravacions de cors cantant simultàniament però gravats amb micròfons individuals. Els enregistraments van acompanyades d'informació sobre l'afinació de cada cantant, entre altres característiques, el que és beneficiós per a l'anàlisi de l'entonació de cantants individualment i com a grup.

Síntesi de cant multilingüe

La síntesi de el cant és un problema complex. Estem treballant per avançar més enllà de l'estat de la tècnica en el cas específic de el cant coral, així com per proporcionar suport multilingüe per a alguns dels idiomes més comunament trobats en el repertori. L'algoritme de síntesi de cant que utilitzem en TROMPA es basa en el sistema anomenat Neural Parametric Singing Synthesis (NPSS). A l'igual que amb qualsevol sistema basat en l'aprenentatge automàtic, necessitem dades per entrenar els models. En aquest sentit, vam realitzar enregistraments d'un repertori multilingüe amb el cor Francesc Vall. Actualment, estem utilitzant aquestes gravacions per entrenar els models que s'utilitzaran per al pilot. A el mateix temps, estem integrant un nou model per a generació d'alçada i experimentant amb la clonació de veus (voice cloning) per generar les veus múltiples de el cor sintètic.

I aviat, més

El pilot està gairebé a punt ... Estem fent plans per començar a fer tallers amb usuaris interessats durant aquesta primavera/estiu. Els tallers es duran a terme a l'àrea de Barcelona, ​​però vam planejar afegir streaming per permetre la participació remota de tot Europa.

¿Cantes a un cor? Us agradaria provar el TROMPA Choir Singers Pilot? Doncs consulteu la secció de notícies TROMPA; ¡Començarem a organitzar tallers molt aviat!