Dublin Core
Title
Módulos de atención temporal para redes neuronales con memoria externa
Subject
006.3
Ciencias de la computación
Inteligencia artificial
Aprendizaje de máquina
Procesamiento del lenguaje natural (Ciencia de la computación)
Description
Tesis (Magíster en Ciencias de la Ingeniería)--Pontificia Universidad Católica de Chile, 2020
En este trabajo se introducen dos módulos de atención temporal, los cuales pueden ser
acoplados a modelos tradicionales de redes neuronales recurrentes con memoria externa
para mejorar el rendimiento de éstos en tareas de procesamiento de lenguaje natural. Los
módulos de atención temporal otorgan a los modelos la capacidad de construir una distribución de atención sobre los diferentes instantes de tiempo de la secuencia de entrada,
permitiendo posteriormente observar cuáles fueron los elementos considerados relevantes
para realizar la inferencia. Esta capacidad agrega atributos de explicabilidad a los modelos.
Usando como base la Entity Network (Henaff et al., 2016), se realizaron experimentos
en tareas de question answering utilizando el conjunto de datos bAbI tasks. Gracias al uso
de los módulos de atención temporal se incrementa la métrica de rendimiento en un 26%
al supervisar la atención temporal y en un 13,5% al no hacerlo. Adicionalmente, el uso
de de los módulos de atención temporal permite resolver tareas de razonamiento que el
modelo original no es capaz de resolver.En este trabajo se introducen dos módulos de atención temporal, los cuales pueden ser
acoplados a modelos tradicionales de redes neuronales recurrentes con memoria externa
para mejorar el rendimiento de éstos en tareas de procesamiento de lenguaje natural. Los
módulos de atención temporal otorgan a los modelos la capacidad de construir una distribución de atención sobre los diferentes instantes de tiempo de la secuencia de entrada,
permitiendo posteriormente observar cuáles fueron los elementos considerados relevantes
para realizar la inferencia. Esta capacidad agrega atributos de explicabilidad a los modelos.
Usando como base la Entity Network (Henaff et al., 2016), se realizaron experimentos
en tareas de question answering utilizando el conjunto de datos bAbI tasks. Gracias al uso
de los módulos de atención temporal se incrementa la métrica de rendimiento en un 26%
al supervisar la atención temporal y en un 13,5% al no hacerlo. Adicionalmente, el uso
de de los módulos de atención temporal permite resolver tareas de razonamiento que el
modelo original no es capaz de resolver.En este trabajo se introducen dos módulos de atención temporal, los cuales pueden ser
acoplados a modelos tradicionales de redes neuronales recurrentes con memoria externa
para mejorar el rendimiento de éstos en tareas de procesamiento de lenguaje natural. Los
módulos de atención temporal otorgan a los modelos la capacidad de construir una distribución de atención sobre los diferentes instantes de tiempo de la secuencia de entrada,
permitiendo posteriormente observar cuáles fueron los elementos considerados relevantes
para realizar la inferencia. Esta capacidad agrega atributos de explicabilidad a los modelos.
Usando como base la Entity Network (Henaff et al., 2016), se realizaron experimentos
en tareas de question answering utilizando el conjunto de datos bAbI tasks. Gracias al uso
de los módulos de atención temporal se incrementa la métrica de rendimiento en un 26%
al supervisar la atención temporal y en un 13,5% al no hacerlo. Adicionalmente, el uso
de de los módulos de atención temporal permite resolver tareas de razonamiento que el
modelo original no es capaz de resolver.
acoplados a modelos tradicionales de redes neuronales recurrentes con memoria externa
para mejorar el rendimiento de éstos en tareas de procesamiento de lenguaje natural. Los
módulos de atención temporal otorgan a los modelos la capacidad de construir una distribución de atención sobre los diferentes instantes de tiempo de la secuencia de entrada,
permitiendo posteriormente observar cuáles fueron los elementos considerados relevantes
para realizar la inferencia. Esta capacidad agrega atributos de explicabilidad a los modelos.
Usando como base la Entity Network (Henaff et al., 2016), se realizaron experimentos
en tareas de question answering utilizando el conjunto de datos bAbI tasks. Gracias al uso
de los módulos de atención temporal se incrementa la métrica de rendimiento en un 26%
al supervisar la atención temporal y en un 13,5% al no hacerlo. Adicionalmente, el uso
de de los módulos de atención temporal permite resolver tareas de razonamiento que el
modelo original no es capaz de resolver.En este trabajo se introducen dos módulos de atención temporal, los cuales pueden ser
acoplados a modelos tradicionales de redes neuronales recurrentes con memoria externa
para mejorar el rendimiento de éstos en tareas de procesamiento de lenguaje natural. Los
módulos de atención temporal otorgan a los modelos la capacidad de construir una distribución de atención sobre los diferentes instantes de tiempo de la secuencia de entrada,
permitiendo posteriormente observar cuáles fueron los elementos considerados relevantes
para realizar la inferencia. Esta capacidad agrega atributos de explicabilidad a los modelos.
Usando como base la Entity Network (Henaff et al., 2016), se realizaron experimentos
en tareas de question answering utilizando el conjunto de datos bAbI tasks. Gracias al uso
de los módulos de atención temporal se incrementa la métrica de rendimiento en un 26%
al supervisar la atención temporal y en un 13,5% al no hacerlo. Adicionalmente, el uso
de de los módulos de atención temporal permite resolver tareas de razonamiento que el
modelo original no es capaz de resolver.En este trabajo se introducen dos módulos de atención temporal, los cuales pueden ser
acoplados a modelos tradicionales de redes neuronales recurrentes con memoria externa
para mejorar el rendimiento de éstos en tareas de procesamiento de lenguaje natural. Los
módulos de atención temporal otorgan a los modelos la capacidad de construir una distribución de atención sobre los diferentes instantes de tiempo de la secuencia de entrada,
permitiendo posteriormente observar cuáles fueron los elementos considerados relevantes
para realizar la inferencia. Esta capacidad agrega atributos de explicabilidad a los modelos.
Usando como base la Entity Network (Henaff et al., 2016), se realizaron experimentos
en tareas de question answering utilizando el conjunto de datos bAbI tasks. Gracias al uso
de los módulos de atención temporal se incrementa la métrica de rendimiento en un 26%
al supervisar la atención temporal y en un 13,5% al no hacerlo. Adicionalmente, el uso
de de los módulos de atención temporal permite resolver tareas de razonamiento que el
modelo original no es capaz de resolver.
Creator
Palma Otero, Rodolfo
Date
2020-06-26T13:36:09Z
2020-06-26T13:36:09Z
2020
Contributor
Soto Arriaza, Álvaro Marcelo
Pontificia Universidad Católica de Chile. Escuela de Ingeniería
Rights
acceso abierto
Format
x, 45 páginas
application/pdf
Language
es
Type
tesis de maestría
Identifier
10.7764/tesisUC/ING/29425
https://doi.org/10.7764/tesisUC/ING/29425
https://repositorio.uc.cl/handle/11534/29425