Análisis y modelización de los procesos de aprendizaje profundo

dc.contributor
Universitat Jaume I. Escola de Doctorat
cat
dc.contributor.author
Catalán Carbó, Mar
dc.date.accessioned
2024-03-26T10:18:58Z
dc.date.available
2024-03-26T10:18:58Z
dc.date.issued
2024-03-22
dc.identifier.uri
http://hdl.handle.net/10803/690425
dc.description
Doctorat internacional
ca
dc.description.abstract
El objetivo de esta tesis es el diseño, implementación y validación experimental de soluciones software paralelas para el aprendizaje automático mediante redes neuronales profundas (RNPs). Estos estudios abordan tres vertientes que se han derivado de las conclusiones obtenidas durante la investigación. Primeramente se desarrolla un entorno de simulación para RNPs válido para la implementación de estrategias que mejoren el rendimiento del entrenamiento (como el uso de esquemas de paralelismo) y apto para su uso en plataformas distribuidas. Seguidamente se trabajan métodos para estimar los tiempos de ejecución de los procesos relativos a las RNPs. Se presentan dos modelos que permiten predecir el coste de cada operación involucrada y se realiza, en base a estos modelos, un estudio de rendimiento y escalabilidad del entrenamiento. Finalmente, se analiza en profundidad la primitiva AllReduce, estudiando los algoritmos de implementación, proponiendo modelos alternativos que mejoran su ajuste y analizando su idoneidad para cada escenario.
ca
dc.description.abstract
The aim of this thesis is to design, implement and experimentally validate parallel software solutions for machine learning using deep neural networks (DNN). This study addresses three aspects derived from the results obtained during the research. First, we develop a simulation environment for DNNs that is valid to implement strategies that improve training performance (such as the use of parallelism schemes) and is suitable for use on distributed platforms. Next, we develop methods for estimating the execution times of DNN-related processes. We present two models for predicting the cost of each operation involved and, based on these models, we perform a training scalability study. Finally, we perform an in-depth analysis of the AllReduce primitive, studying the implementation algorithms, proposing alternative models that improve its fit, and analysing its suitability for each scenario.
ca
dc.format.extent
183 p.
ca
dc.language.iso
spa
ca
dc.publisher
Universitat Jaume I
dc.rights.license
L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-nd/4.0/
ca
dc.rights.uri
http://creativecommons.org/licenses/by-nc-nd/4.0/
*
dc.source
TDX (Tesis Doctorals en Xarxa)
dc.subject
Redes neuronales
ca
dc.subject
Entrenamiento distribuido
ca
dc.subject
Modelos de rendimiento
ca
dc.subject
Comunicación AllReduce
ca
dc.subject
Neural networks
ca
dc.subject
Distributed training
ca
dc.subject
Performance models
ca
dc.subject
Communication AllReduce
ca
dc.subject.other
Enginyeria
ca
dc.title
Análisis y modelización de los procesos de aprendizaje profundo
ca
dc.type
info:eu-repo/semantics/doctoralThesis
dc.type
info:eu-repo/semantics/publishedVersion
dc.subject.udc
004
ca
dc.contributor.director
Quintana-Orti, Enrique S.
dc.contributor.director
Dolz, Manuel F.
dc.contributor.tutor
Quintana-Orti, Enrique S.
dc.embargo.terms
cap
ca
dc.rights.accessLevel
info:eu-repo/semantics/openAccess
dc.identifier.doi
http://dx.doi.org/10.6035/14101.2024.356524
ca
dc.description.degree
Programa de Doctorat en Informàtica


Documents

2024_Tesis_Catalán Carbó_Mar.pdf

6.231Mb PDF

This item appears in the following Collection(s)