En el caso de uso de cantantes de coro TROMPA, estamos utilizando síntesis de voz para canto multilingüe para ayudar en el ensayo individual a cantantes de coro. Durante los primeros dos años del proyecto, identificamos los requisitos de los usuarios, desarrollamos un prototipo funcional y mejoramos los modelos de síntesis. ¡Ahora estamos listos para comenzar a compartir nuestras herramientas con los cantantes de coro! Pero, ¿cómo llegamos aquí?

Un piloto centrado en el usuario

En diciembre de 2018, lanzamos una convocatoria abierta de coros en el área de Barcelona para participar en un taller sobre los requisitos para el piloto. En enero de 2019, 15 participantes (incluidos cantantes y directores) de 5 coros diferentes participaron en el taller y proporcionaron comentarios sobre una maqueta. Esta información se usó para refinar las maquetas e iterar sobre los requisitos para la aplicación piloto.

Desde este punto, la empresa VoctroLabs comenzó a trabajar en sucesivas iteraciones del piloto, que es una aplicación web compatible con diferentes dispositivos. Actualmente, estamos trabajando en modos de visualización para cantantes aficionados y en la integración con otros componentes TROMPA. Los planes de desarrollo deben tener un prototipo completamente funcional para el marzo de 2020. Este prototipo se probará en un taller con usuarios potenciales para validar su funcionalidad e identificar posibles cambios menores que se realizarán para mejorar los aspectos de usabilidad.

Explotar los recursos existentes

El uso de la tecnología de síntesis de canto ofrece una gran ventaja en comparación con el uso de grabaciones de estudio: escalabilidad. Mediante el uso de síntesis, podemos generar interpretaciones vocales a partir de cualquier pieza disponible en formatos simbólicos digitales. Estas piezas existen en repositorios públicos como IMSLP o CPDL. Hemos creado tools para importar datos de estos repositorios en el entorno TROMPA Contributor Environment, de modo que los pilotos puedan acceder a estos datos. En este momento, estamos trabajando en las herramientas para generar interpretaciones sintéticas a partir de éstas partituras que serán accesibles a través de nuestra aplicación.

Datos abiertos

En TROMPA también investigamos tecnologías para analizar grabaciones de canto coral en términos de entonación, para ser explotadas en el piloto. Estamos en el proceso de crear tres conjuntos de datos abiertos para la investigación sobre este tema: Choral Singing Dataset, lanzado el año pasado, ESMUC ChoralSet (en el que hemos colaborado con la Escola Superior de Música de Catalunya), y Dagstuhl ChoirSet. Todos ellos consisten en grabaciones de coros cantando simultáneamente pero grabados con micrófonos individuales. Las grabaciones van acompañadas de información sobre la afinación de cada cantante, entre otras características, lo que es beneficioso para el análisis de la entonación de cantantes individualmente y como grupo.

Síntesis de canto multilingüe

La síntesis del canto es un problema complejo. Estamos trabajando para avanzar más allá del estado de la técnica en el caso específico del canto coral, así como para proporcionar soporte multilingüe para algunos de los idiomas más comúnmente encontrados en el repertorio. El algoritmo de síntesis de canto que utilizamos en TROMPA se basa en el sistema llamado Neural Parametric Singing Synthesis (NPSS). Al igual que con cualquier sistema basado en el aprendizaje automático, necesitamos datos para entrenar los modelos. En este sentido, realizamos grabaciones de un repertorio multilingüe con el coro Francesc Vall. Actualmente, estamos utilizando estas grabaciones para entrenar los modelos que se utilizarán para el piloto. Al mismo tiempo, estamos integrando un nuevo modelo para generación de altura y experimentando con la clonación de voces (voice cloning) para generar las voces múltiples del coro sintético.

Y pronto, más

Entonces, como el piloto está casi listo ... Estamos haciendo planes para comenzar a realizar talleres con usuarios interesados ​​durante esta primavera. Los talleres se llevarán a cabo en el área de Barcelona, ​​pero planeamos agregar streaming para permitir la participación remota de toda Europa.

¿Cantas en un coro? ¿Os gustaría probar el TROMPA Choir Singers Pilot? Pues consultad la sección de noticias TROMPA; ¡Comenzaremos a organizar talleres muy pronto!