Modeling of emotional subjectivity in affective-based predictive systems

dc.contributor
Universitat Oberta de Catalunya. Escola de Doctorat
dc.contributor.author
Hayat, Hassan
dc.date.accessioned
2023-10-19T10:17:02Z
dc.date.available
2023-10-19T10:17:02Z
dc.date.issued
2023-04-19
dc.identifier.uri
http://hdl.handle.net/10803/689165
dc.description.abstract
One of the goals of affective computing is to develop affective technologies that can understand humans emotionally and make their life better. Human emotions are highly subjective in nature. This is why systems that consider affective along with subjective information play a significant role not only in mimicking an individual's cognitive process but also in an individual's interaction with others. This thesis targets emotional subjectivity in affect-related tasks. In particular, this thesis studies subjectivity from two different perspectives: (I) subjectivity in the annotations, and (II) subjectivity according to personality traits. Regarding annotations, in supervised machine learning, affective systems are trained and tested on annotated datasets. Usually, these annotations are the aggregation of multiple subjective annotations which basically represent each annotator's subjective emotional perception. The common practice to get aggregated annotations is by computing the average score and majority voting of multiple subjective annotations. These aggregated labels lose subjective information. Systems that are trained and tested based on these aggregated annotations have poor generalization capabilities for predicting subjective emotional perception. To tackle this problem, we proposed a Multi-Task (MT) learning approach that has the capability to learn each subjective emotional perception available in the annotations separately. The results show that our MT approach (that considers all subjective annotations separately) has more generalization capabilities as compared to approaches that are trained only on aggregated annotations. The second part of the thesis presents the study in the context of dialogues. Concretely, we studied the problem of predicting subjective emotional responses for the upcoming utterance with respect to each speaker in the conversation. We developed a Multi-Task (MT) learning approach that has the capability to predict multiple subjective emotional responses in the conversation using the personality information of each speaker. The results show that separate modeling of each speaker's emotional responses using joint modeling (i.e. Multi-Task learning) is better than combined modeling of all speakers' emotional responses.
ca
dc.description.abstract
Uno de los objetivos de la computación afectiva es desarrollar tecnologías afectivas que puedan comprender emocionalmente a los humanos y mejorar su vida. Las emociones humanas son de naturaleza altamente subjetiva. Esta es la razón por la que los sistemas que consideran la información afectiva junto con la subjetiva tienen un papel importante no solo en la imitación del proceso cognitivo de un individuo, sino también en la interacción de un individuo con los demás. Esta tesis se enfoca en el estudio de la subjetividad emocional en tareas relacionadas con el afecto o las emociones. En particular, esta tesis estudia la subjetividad desde dos perspectivas diferentes: (I) subjetividad en las anotaciones, y (II) subjetividad según los rasgos de personalidad. Con respecto a las anotaciones, en el aprendizaje automático supervisado, los sistemas afectivos se entrenan y testean en conjuntos de datos anotados. Por lo general, estas anotaciones son la agregación de múltiples anotaciones subjetivas que básicamente representan la percepción emocional subjetiva de cada anotador. La práctica común para obtener anotaciones agregadas es calcular la puntuación media o la votación mayoritaria de múltiples anotaciones subjetivas. Estas etiquetas agregadas pierden información subjetiva. Los sistemas que se entrenan y testean en función de estas anotaciones agregadas tienen capacidades de generalización deficientes para predecir la percepción emocional subjetiva. Para abordar este problema, propusimos un enfoque de aprendizaje multitarea (MT) que tiene la capacidad de aprender cada percepción emocional subjetiva disponible en las anotaciones por separado. Los resultados muestran que nuestro enfoque MT (que considera todas las anotaciones subjetivas por separado) tiene más capacidades de generalización en comparación con los enfoques que se entrenan solo en anotaciones agregadas. La segunda parte de la tesis presenta un estudio en el contexto de los diálogos. Concretamente, estudiamos el problema de predecir respuestas emocionales subjetivas para el próximo enunciado con respecto a cada hablante en la conversación. Desarrollamos un enfoque de aprendizaje multitarea (MT) que tiene la capacidad de predecir múltiples respuestas emocionales subjetivas en la conversación utilizando la información de la personalidad de cada hablante. Los resultados muestran que el modelado separado de las respuestas emocionales de cada hablante mediante el modelado conjunto (es decir, el aprendizaje multitarea) es mejor que el modelado combinado de las respuestas emocionales de todos los hablantes.
ca
dc.description.abstract
Un dels objectius de la computació afectiva és desenvolupar tecnologies afectives que puguin entendre els humans emocionalment i millorar la seva vida. Les emocions humanes són de naturalesa altament subjectiva. És per això que els sistemes que consideren la informació afectiva juntament amb la subjectiva tenen un paper important no només a l'hora d'imitar el procés cognitiu d'un individu, sinó també en la interacció d'un individu amb els altres. Aquesta tesi té com a objectiu estudiar la subjectivitat emocional en tasques relacionades amb l'afecte o les emocions. En particular, aquesta tesi estudia la subjectivitat des de dues perspectives diferents: (I) subjectivitat en les anotacions, i (II) subjectivitat segons els trets de personalitat. Pel que fa a les anotacions, en l'aprenentatge automàtic supervisat, els sistemes afectius s'entrenen i es testen en conjunts de dades anotats. Normalment, aquestes anotacions són l'agregació de múltiples anotacions subjectives que representen bàsicament la percepció emocional subjectiva de cada anotador. La pràctica habitual per obtenir anotacions agregades és calcular la puntuació mitjana o la votació majoritària de múltiples anotacions subjectives. Aquestes etiquetes agregades perden informació subjectiva. Els sistemes entrenats i testats a partir d'aquestes anotacions agregades tenen capacitats de generalització deficients per predir la percepció emocional subjectiva. Per fer front a aquest problema, vam proposar un enfocament d'aprenentatge multitasca (MT) que té la capacitat d'aprendre cada percepció emocional subjectiva disponible a les anotacions per separat. Els resultats mostren que el nostre enfocament MT (que considera totes les anotacions subjectives per separat) té més capacitats de generalització en comparació amb els enfocaments que només s'entrenen en anotacions agregades. La segona part de la tesi presenta un estudi en el context dels diàlegs. Concretament, hem estudiat el problema de predir respostes emocionals subjectives per al pròxim enunciat respecte de cada participant de la conversa. Hem desenvolupat un enfocament d'aprenentatge multitasca (MT) que té la capacitat de predir múltiples respostes emocionals subjectives a la conversa utilitzant la informació de la personalitat de cada parlant. Els resultats mostren que el modelatge separat de les respostes emocionals de cada parlant mitjançant el modelatge conjunt (és a dir, l'aprenentatge multitasca) és millor que el modelatge combinat de les respostes emocionals de tots els parlants.
ca
dc.format.extent
197 p.
ca
dc.language.iso
eng
ca
dc.publisher
Universitat Oberta de Catalunya
dc.rights.license
L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-nd/4.0/
ca
dc.rights.uri
http://creativecommons.org/licenses/by-nc-nd/4.0/
*
dc.source
TDX (Tesis Doctorals en Xarxa)
dc.subject
modelització predictiva
ca
dc.subject
modelado predictivo
ca
dc.subject
predictive modeling
ca
dc.subject
aprenentatge estadístic
ca
dc.subject
aprendizaje estadístico
ca
dc.subject
statistical learning
ca
dc.subject
aprenentatge profund
ca
dc.subject
aprendizaje profundo
ca
dc.subject
deep learning
ca
dc.subject
percepció emocional subjectiva
ca
dc.subject
percepción emocional subjetiva
ca
dc.subject
subjective emotional perception
ca
dc.subject
informàtica afectiva
ca
dc.subject
computación afectiva
ca
dc.subject
affective computing
ca
dc.subject.other
Affective computing, artificial intelligence, machine learning
ca
dc.title
Modeling of emotional subjectivity in affective-based predictive systems
ca
dc.type
info:eu-repo/semantics/doctoralThesis
dc.type
info:eu-repo/semantics/publishedVersion
dc.subject.udc
004
ca
dc.contributor.authoremail
hhassan0@uoc.edu
ca
dc.contributor.director
Lapedriza, Agata
dc.contributor.director
Ventura, Carles
dc.embargo.terms
cap
ca
dc.rights.accessLevel
info:eu-repo/semantics/openAccess
dc.description.degree
Tecnologías de la información y de redes


Documents

Tesi_Hassan_Hayat.pdf

42.26Mb PDF

Aquest element apareix en la col·lecció o col·leccions següent(s)