Singing-driven interfaces for sound synthesizers

Autor/a

Janer Mestres, Jordi

Director/a

Serra, Xavier

Fecha de defensa

2008-03-14

ISBN

9788469209653

Depósito Legal

B.54963-2008



Departamento/Instituto

Universitat Pompeu Fabra. Departament de Tecnologia

Programa de doctorado

Programa de doctorat en Tecnologies de la Informació i les Comunicacions

Resumen

Els instruments musicals digitals es descomponen usualment en dues parts: la interfície d'usuari i el motor de síntesi. Tradicionalment la interfície d'usuari pren el nom de controlador musical. L'objectiu d'aquesta tesi és el disseny d'un interfície que permeti el control de la síntesi de sons instrumentals a partir de la veu cantada.<br/><br/>Amb la present recerca, intentem relacionar la veu amb el so dels instruments musicals, tenint en compte tan la descripció del senyal de veu, com les corresponents estratègies de mapeig per un control adequat del sintetitzador.<br/>Proposem dos enfocaments diferents, d'una banda el control d'un sintetitzador de veu cantada, i d'altra banda el control de la síntesi de sons instrumentals. Per aquest últim, suggerim una representació del senyal de veu com a gests vocals, que inclou una sèrie d'algoritmes d'anàlisis de veu. A la vegada, per demostrar els resultats obtinguts, hem desenvolupat dos prototips a temps real.


Los instrumentos musicales digitales se pueden separar en dos componentes: el interfaz de usuario y el motor de sintesis. El interfaz de usuario se ha denominado tradicionalmente controlador musical. El objectivo de esta tesis es el diseño de un interfaz que permita el control de la sintesis de sonidos instrumentales a partir de la voz cantada.<br/><br/>La presente investigación pretende relacionar las caracteristicas de la voz con el sonido de los instrumentos musicales, teniendo en cuenta la descripción de la señal de voz, como las correspondientes estrategias de mapeo para un control apropiado del sintetizador. Se proponen dos enfoques distintos, el control de un sintetizador de voz cantada, y el control de la sintesis de sonidos insturmentales. Para este último, se sugiere una representación de la señal de voz como gestos vocales, incluyendo varios algoritmos de analisis de voz. Los resultados obtenidos se demuestran con dos prototipos a tiempo real.


Digital musical instruments are usually decomposed in two main constituent parts: a user interface and a sound synthesis engine. The user interface is popularly referred as a musical controller, and its design is the primary objective of this dissertation. Under the title of singing-driven interfaces, we aim to design systems that allow controlling the synthesis of musical instruments sounds with the singing voice. <br/><br/>This dissertation searches for the relationships between the voice and the sound of musical instruments by addressing both, the voice signal description, as well as the mapping strategies for a meaningful control of the synthesized sound. <br/>We propose two different approaches, one for controlling a singing voice synthesizer, and another for controlling the synthesis of instrumental sounds. For the latter, we suggest to represent voice signal as vocal gestures, contributing with several voice analysis methods.<br/>To demonstrate the obtained results, we developed two real-time prototypes.

Palabras clave

segmentation; phonetic alignment; formant tracking; syllabling; real-time; mapping; control; vocal gestures; sound synthesis; user interface; singing voice; signal processing; controlador musical; alineamiento fonético; segmentación; analisi; mapeo; tiempo real; estimación de formantes; gestos vocales; sintesis de sonido; interfaz de usuario; control; procesado de señal; voz cantada; alineament fonètic; controlador musical; anàlisis; segmentació; estimació de formants; temps real; mapeig; control; gests vocals; interfícies d'usuari; síntesi sonora; veu cantada; processament del senyal; musical controller

Materias

004 - Informática; 531/534 - Mecánica. Vibraciones. Acústica; 78 - Música

Documentos

tjj.pdf

3.042Mb

 

Derechos

L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: <a href="http://creativecommons.org/licenses/by-nc-sa/3.0/deed.ca">http://creativecommons.org/licenses/by-nc-sa/3.0/deed.ca</a>
L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: <a href="http://creativecommons.org/licenses/by-nc-sa/3.0/deed.ca">http://creativecommons.org/licenses/by-nc-sa/3.0/deed.ca</a>

Este ítem aparece en la(s) siguiente(s) colección(ones)