Musical interaction based on the conductor metaphor

Author

Sarasúa Berodia, Álvaro

Director

Gómez Gutiérrez, Emilia

Guaus, Enric

Date of defense

2017-05-29

Pages

217 p.



Department/Institute

Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions

Doctorate programs

Programa de doctorat en Tecnologies de la Informació i les Comunicacions

Abstract

Interface metaphors are often used in Human Computer Interaction (HCI) to exploit knowledge that users already have from other domains. A commonly used one in Digital Musical Instruments (DMIs) is the conductor metaphor. We theorize that part of the knowledge that users have from the domain that the interface metaphor replicates is user-specific. In this context, we argue that systems using an interface metaphor can see their usability improved by adapting to this user-specific knowledge. We propose strategies to design motion-sound mappings for DMIs that draw upon the conductor metaphor by adapting to personal nuances that can be automatically computed from spontaneous conducting movements. In addition to the above, we study the potential of the conductor metaphor in a gaming context as a mean to raise interest for classical music. These contributions are complemented by the data collected in all observational studies, which is made publicly available to the community


Las metáforas de interfaz se utilizan habitualmente en la interacción persona-ordenador para explotar el conocimiento que los usuarios tienen de otros dominios. Una comúnmente utilizada en instrumentos musicales digitales (DMIs) es la metáfora del director. Argumentamos que parte del conocimiento que los usuarios tienen del dominio que la metáfora replica es específico de cada usuario. En este contexto, proponemos que sistemas que hacen uso de metáforas de interfaz pueden mejorar su usabilidad adaptándose a este conocimiento específico. Implementamos estrategias para diseñar mapeos entre movimiento y sonido para DMIs basados en la metáfora del director, mediante la adaptación a matices personales que pueden ser automaticamente extraídos analizando movimientos de dirección espontáneos. Además, estudiamos el potencial de la metáfora del director en un contexto de juego, como medio para incrementar el interés por la música clásica. Estas contribuciones se complementan con los datos recopilados en los estudios observacionales, que se ponen a disposicion pública para la comunidad.

Keywords

Motion-sound mapping; Kinect; Conducting; Human-computer interaction; Machine learning; Interface metaphor; Gaming; Digital musical instruments; Classical music; Mapeo movimiento-sonido; Dirección de orquesta; Interacción persona-ordenador; Aprendizaje automático; Metáfora de interfaz; Juegos; Instrumentos musicales digitales; Música clásica

Subjects

62 - Engineering. Technology in general

Documents

tas.pdf

23.40Mb

 

Rights

L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-sa/4.0/
L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-sa/4.0/

This item appears in the following Collection(s)