Dublin Core
Title
Aprendiendo modelos sparse para algoritmos de deep reinforcement learning basados en policy gradient
Subject
006.32
Ciencias de la computación
Redes neurales (Ciencia de la computación)
Algoritmos computacionales
Description
Tesis (Magíster en Ciencias de la Ingeniería)--Pontificia Universidad Católica de Chile, 2021
Los modelos de redes neuronales han sido ampliamente utilizados durante la última
década, debido principalmente a su gran versatilidad y capacidad de obtener un alto rendimiento
al resolver diversos problemas. Una de las posibles causas de este fenómeno
parece ser la estructura jerárquica y la gran cantidad de parámetros que poseen, ya que
les otorga un gran poder expresivo. Sin embargo, esta gran complejidad puede ser perjudicial,
ya que puede generar: i) overfitting, ii) parámetros redundantes para la tarea que
se está resolviendo y iii) cómputo innecesario. Una forma de reducir la complejidad del
modelo es a través de regularización sparse, la cual consiste en una penalización dentro de
la función objetivo del problema de optimización que fuerza el uso de menos parámetros
o neuronas. Se han explorado formas de reducir la complejidad de los modelos de redes
neuronales a través de regularización en contextos de aprendizaje supervisado, sin embargo,
no se ha explorado el efecto que tiene en un contexto de aprendizaje reforzado
basado en policy gradient. El presente trabajo estudia la posibilidad de obtener modelos
menos complejos en aprendizaje reforzado utilizando algoritmos basados en policy gradient.
Esto se hace comparando distintos tipos de regularización sparse, enfocándose en la
obtención de modelos menos complejos en cuanto al uso de neuronas. Los resultados de
este estudio indican que sí es posible encontrar modelos que utilicen una baja cantidad de
neuronas a través de regularización sparse, siendo aquella aplicada sobre las activaciones
la que obtuvo mejores resultados en cuanto a rendimiento y nivel de sparsity. Además, se
muestra que modelos menos complejos poseen neuronas más especializadas que podrían
ayudar a interpretar modelos en cuanto al rol que cumplen grupos de neuronas dentro de
una política.
década, debido principalmente a su gran versatilidad y capacidad de obtener un alto rendimiento
al resolver diversos problemas. Una de las posibles causas de este fenómeno
parece ser la estructura jerárquica y la gran cantidad de parámetros que poseen, ya que
les otorga un gran poder expresivo. Sin embargo, esta gran complejidad puede ser perjudicial,
ya que puede generar: i) overfitting, ii) parámetros redundantes para la tarea que
se está resolviendo y iii) cómputo innecesario. Una forma de reducir la complejidad del
modelo es a través de regularización sparse, la cual consiste en una penalización dentro de
la función objetivo del problema de optimización que fuerza el uso de menos parámetros
o neuronas. Se han explorado formas de reducir la complejidad de los modelos de redes
neuronales a través de regularización en contextos de aprendizaje supervisado, sin embargo,
no se ha explorado el efecto que tiene en un contexto de aprendizaje reforzado
basado en policy gradient. El presente trabajo estudia la posibilidad de obtener modelos
menos complejos en aprendizaje reforzado utilizando algoritmos basados en policy gradient.
Esto se hace comparando distintos tipos de regularización sparse, enfocándose en la
obtención de modelos menos complejos en cuanto al uso de neuronas. Los resultados de
este estudio indican que sí es posible encontrar modelos que utilicen una baja cantidad de
neuronas a través de regularización sparse, siendo aquella aplicada sobre las activaciones
la que obtuvo mejores resultados en cuanto a rendimiento y nivel de sparsity. Además, se
muestra que modelos menos complejos poseen neuronas más especializadas que podrían
ayudar a interpretar modelos en cuanto al rol que cumplen grupos de neuronas dentro de
una política.
Creator
Meléndez Salinas, Christian
Date
2021-04-01T11:18:46Z
2021-04-01T11:18:46Z
2021
Contributor
Löbel Díaz, Hans-Albert
Pontificia Universidad Católica de Chile. Escuela de Ingeniería
Rights
acceso abierto
Format
x, 76 páginas
application/pdf
Language
es
Type
tesis de maestría
Identifier
10.7764/tesisUC/ING/57233
https://doi.org/10.7764/tesisUC/ING/57233
https://repositorio.uc.cl/handle/11534/57233