Incorporating prosody into neural speech processing pipelines: applications on automatic speech transcription and spoken language machine translation

dc.contributor
Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions
dc.contributor.author
Öktem, Alp
dc.date.accessioned
2019-03-13T11:28:12Z
dc.date.available
2019-03-13T11:28:12Z
dc.date.issued
2019-02-25
dc.identifier.uri
http://hdl.handle.net/10803/666222
dc.description.abstract
In this dissertation, I study the inclusion of prosody into two applications that involve speech understanding:~automatic speech transcription and spoken language translation. In the former case, I propose a method that uses an attention mechanism over parallel sequences of prosodic and morphosyntactic features. Results indicate an $F_1$ score of 70.3\% in terms of overall punctuation generation accuracy. In the latter problem I deal with enhancing spoken language translation with prosody. A neural machine translation system trained with movie-domain data is adapted with pause features using a prosodically annotated bilingual dataset. Results show that prosodic punctuation generation as a preliminary step to translation increases translation accuracy by 1\% in terms of BLEU scores. Encoding pauses as an extra encoding feature gives an additional 1\% increase to this number. The system is further extended to jointly predict pause features in order to be used as an input to a text-to-speech system.
dc.description.abstract
En aquesta tesi estudio la inclusió de la prosòdia en dues aplicacions que involucren la comprensió de la parla:~la transcripció automàtica de la parla i la traducció de la llengua oral. En el primer cas, proposo un mètode que utilitza un mecanisme d’atenció sobre seqüències paral·leles de característiques prosòdiques i morfosintàctiques. Els resultats indiquen una precisió de $F_1$=70.3\% en la generació de la puntuació. En el segon cas m'ocupo de la millora de la traducció de la llengua oral utilitzant la prosòdia. Un sistema neural de traducció automàtica format amb un corpus de text en el domini del cinema s’adapta amb característiques de pauses afegides utilitzant un conjunt de dades bilingües prosòdicament anotada. Els resultats mostren que la generació de puntuació prosòdica com a pas previ a la traducció augmenta la precisió de la traducció en un 1\% en termes de BLEU. La codificació de les pauses com a característica addicional encara incrementa la precisió en un altre 1\%. A més a més, amplio el sistema de traducció per a predir conjuntament les característiques de pausa i poder-les utilitzar com a entrada en un sistema de síntesi de veu.
dc.format.extent
139 p.
dc.format.mimetype
application/pdf
dc.language.iso
eng
dc.publisher
Universitat Pompeu Fabra
dc.rights.license
L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-sa/4.0/
dc.rights.uri
http://creativecommons.org/licenses/by-sa/4.0/
*
dc.source
TDX (Tesis Doctorals en Xarxa)
dc.subject
Prosody
dc.subject
Automatic speech transcription
dc.subject
Punctuation restoration
dc.subject
Spoken language machine translation
dc.subject
Bilingual spoken corpus
dc.subject
Prosòdia
dc.subject
Transcripció automàtica de la parla
dc.subject
Restauració de la puntuació
dc.subject
Traducció automàtica de llenguatge oral
dc.subject
Corpus bilingües
dc.title
Incorporating prosody into neural speech processing pipelines: applications on automatic speech transcription and spoken language machine translation
dc.type
info:eu-repo/semantics/doctoralThesis
dc.type
info:eu-repo/semantics/publishedVersion
dc.subject.udc
62
dc.contributor.authoremail
alp.oktem@upf.edu
dc.contributor.director
Farrús, Mireia
dc.contributor.director
Bonafonte Cávez, Antonio
dc.embargo.terms
cap
dc.rights.accessLevel
info:eu-repo/semantics/openAccess
dc.description.degree
Programa de doctorat en Tecnologies de la Informació i les Comunicacions


Documents

thao.pdf

4.117Mb PDF

Aquest element apareix en la col·lecció o col·leccions següent(s)