Bridging the visual semantic gap in VLN via semantically richer instructions

Bridging the visual semantic gap in VLN via semantically richer instructions

Vision

Lenguaje

Navegación

VLN

Robótica cognitiva

006.3

Ciencias de la computación

Inteligencia artificial

Procesamiento de imagen

Aprendizaje de máquina

Tesis (Master of Science in Engineering)--Pontificia Universidad Católica de Chile, 2022

La tarea de Visual-and-Language Navigation (VLN) requiere entender complejas instrucciones de texto en lenguaje natural y navegar en un ambiente natural interior usando únicamente información visual. Mientras es una tarea trivial para el humano, sigue siendo un problema abierto para los modelos de inteligencia artificial. En este trabajo, planteamos como hipótesis que el mal uso de la información visual disponible es la razón principal del bajo rendimiento de los modelos actuales. Para apoyar esta hipótesis, presentamos evidencia experimental mostrando que modelos del estado del arte no son totalmente afectados cuando reciben limitada o incluso nula información visual, indicando un fuerte overfitting al texto de las instrucciones. Para fomentar un uso más adecuado de la información visual, proponemos un nuevo método de aumento de datos que fomenta la inclusión de información visual más explícita en la generación de instrucciones de navegación textuales. Nuestra intuición principal es que los conjuntos de datos actuales incluyen instrucciones textuales que tienen como objetivo informar a un navegante experto, como un ser humano, pero no a un agente de navegación visual principiante, como un modelo de deep learning inicializado aleatoriamente. Específicamente, para cerrar la brecha semántica visual de los conjuntos de datos actuales, aprovechamos los metadatos disponibles para el conjunto de datos Matterport3D que, entre otros, incluye información sobre etiquetas de objetos que están presentes en las escenas. Entrenando un modelo actual con el nuevo conjunto de instrucciones generado aumenta su rendimiento en un 8% en cuanto a tasa de éxito en entornos desconocidos, mientras que probar estas nuevas instrucciones en humanos supera a las instrucciones sintéticas disponibles, lo que demuestra las ventajas de la propuesta de aumento de datos.

Ossandón Stanke, Joaquín

2022-07-18T20:32:52Z

2022-07-18T20:32:52Z

2022

Soto Arriaza, Álvaro Marcelo

Pontificia Universidad Católica de Chile. Escuela de Ingeniería

acceso abierto

xi, 61 páginas

application/pdf

en

tesis de maestría

10.7764/tesisUC/ING/64414

https://doi.org/10.7764/tesisUC/ING/64414

https://repositorio.uc.cl/handle/11534/64414