Dublin Core
Title
Análisis de la sintaxis aprendida por BETO, un modelo de lenguaje en español basado en transformers
Subject
005.13
Ciencias de la computación
Lenguajes de programación (Computadores electrónicos) - Sintaxis
Description
Tesis (Magíster en Ciencias de la Ingeniería)--Pontificia Universidad Católica de Chile, 2021
Avances en la interpretabilidad y comprensión de modelos como BERT han sido de
utilidad para el desarrollo de mejores herramientas, más seguras y comprensibles. Sin
embargo, muchas explicaciones del funcionamiento del modelo son en base a capacidades
lingüísticas aprendidas, significando que los resultados son solo aplicables para los modelos
basados en el inglés.
En esta tesis se estudian las capacidades sintácticas de BETO, la versión de BERT
en español, desarrollando la comprensión del modelo. Se muestra que BETO posee capacidades
sintácticas, incluso mayores que las de BERT, presentes en distintas heads del
modelo. Además, se realizan estudios con respecto a las competencias, limitaciones y estructura
de este conocimiento. Se encuentra que las activaciones del modelo se producen
en patrones similares cuando se procesan relaciones parecidas. Se indica que la principal
causa para que el modelo falle en reconocer relaciones sintácticas es cuando éstas
se estructuran de manera poco común. Se muestra que el modelo posee parte del contexto
sintáctico que falla en reconocer, sugiriendo un desacuerdo en la formación del árbol
sintáctico con respecto a las anotaciones originales. También, la falta de conocimiento
sintáctico del modelo podría significar una reducción en su rendimiento al evaluarlo en responder
preguntas. Por último, se demuestra que heads con bajo conocimiento sintáctico
logran un alto reconocimiento de la sintaxis cuando trabajan en conjunto, indicando la
presencia de un conocimiento distribuido.
utilidad para el desarrollo de mejores herramientas, más seguras y comprensibles. Sin
embargo, muchas explicaciones del funcionamiento del modelo son en base a capacidades
lingüísticas aprendidas, significando que los resultados son solo aplicables para los modelos
basados en el inglés.
En esta tesis se estudian las capacidades sintácticas de BETO, la versión de BERT
en español, desarrollando la comprensión del modelo. Se muestra que BETO posee capacidades
sintácticas, incluso mayores que las de BERT, presentes en distintas heads del
modelo. Además, se realizan estudios con respecto a las competencias, limitaciones y estructura
de este conocimiento. Se encuentra que las activaciones del modelo se producen
en patrones similares cuando se procesan relaciones parecidas. Se indica que la principal
causa para que el modelo falle en reconocer relaciones sintácticas es cuando éstas
se estructuran de manera poco común. Se muestra que el modelo posee parte del contexto
sintáctico que falla en reconocer, sugiriendo un desacuerdo en la formación del árbol
sintáctico con respecto a las anotaciones originales. También, la falta de conocimiento
sintáctico del modelo podría significar una reducción en su rendimiento al evaluarlo en responder
preguntas. Por último, se demuestra que heads con bajo conocimiento sintáctico
logran un alto reconocimiento de la sintaxis cuando trabajan en conjunto, indicando la
presencia de un conocimiento distribuido.
Creator
Quiñones, Alejandro
Date
2021-06-10T13:41:49Z
2021-06-10T13:41:49Z
2021
Contributor
Soto Arriaza, Álvaro Marcelo
Pontificia Universidad Católica de Chile. Escuela de Ingeniería
Rights
acceso abierto
Format
xiii, 85 páginas
application/pdf
Language
es
Type
tesis de maestría
Identifier
10.7764/tesisUC/ING/60582
https://doi.org/10.7764/tesisUC/ING/60582
https://repositorio.uc.cl/handle/11534/60582