Dublin Core
Title
Reinforcement learning with neural network-based value function approximation to manage flexible electric loads and distributed energy resources
Subject
333.794
Economía
Recursos energéticos renovables - Predicciones
Aprendizaje de máquina
Redes neurales (Ciencia de la computación)
Description
Tesis (Master of Science in Engineering)--Pontificia Universidad Católica de Chile, 2021
Ante los desafíos que conllevan tanto la implementación de generación de energía
mediante recursos renovables, como el inminente aumento de los autos eléctricos en los
hogares en el corto plazo, se propone un modelo de optimización mediante un esquema
de Aprendizaje Reforzado para la decisión de acciones que tomar sobre dos recursos energéticos distribuidos: un panel solar con batería y un auto eléctrico con capacidad de
entregar energía al hogar. Los estados del modelo son representados por la energía tanto
en la batería como en el auto, y otros factores exógenos como el consumo energético del
momento del hogar, temperatura y humedad. Al existir un espacio infinito de estados, se
realiza una discretización sobre los estados de batería de ambos artefactos. El modelo es
aproximado mediante Aproximación de Función de Valor, utilizando como aproximador
una Red Neuronal, que sirve como función de regresión. La red neuronal es entrenada con
vectores de estado-acción (X) y valores esperados del costo futuro de la acción tomada
(Y ). Se realizan dos experimentos para probar la efectividad del modelo: un ajuste de
los hiperparámetros de la red neuronal, en busca del modelo que mejor logre aproximar
los datos; y una simulación de decisiones en un hogar con datos reales otorgados por
Pecan Street. Se comparan los resultados obtenidos de tomar decisiones día a día con tres
políticas diseñadas a partir de la naturaleza de los datos. El modelo diseñado obtiene un
13% de ventaja por sobre la mejor política diseñada, en el promedio anual.
mediante recursos renovables, como el inminente aumento de los autos eléctricos en los
hogares en el corto plazo, se propone un modelo de optimización mediante un esquema
de Aprendizaje Reforzado para la decisión de acciones que tomar sobre dos recursos energéticos distribuidos: un panel solar con batería y un auto eléctrico con capacidad de
entregar energía al hogar. Los estados del modelo son representados por la energía tanto
en la batería como en el auto, y otros factores exógenos como el consumo energético del
momento del hogar, temperatura y humedad. Al existir un espacio infinito de estados, se
realiza una discretización sobre los estados de batería de ambos artefactos. El modelo es
aproximado mediante Aproximación de Función de Valor, utilizando como aproximador
una Red Neuronal, que sirve como función de regresión. La red neuronal es entrenada con
vectores de estado-acción (X) y valores esperados del costo futuro de la acción tomada
(Y ). Se realizan dos experimentos para probar la efectividad del modelo: un ajuste de
los hiperparámetros de la red neuronal, en busca del modelo que mejor logre aproximar
los datos; y una simulación de decisiones en un hogar con datos reales otorgados por
Pecan Street. Se comparan los resultados obtenidos de tomar decisiones día a día con tres
políticas diseñadas a partir de la naturaleza de los datos. El modelo diseñado obtiene un
13% de ventaja por sobre la mejor política diseñada, en el promedio anual.
Creator
Haase Vargas, Felipe Andrés
Date
2021-06-29T15:01:35Z
2021-06-29T15:01:35Z
2021
Contributor
Lorca Gálvez, Álvaro Hugo
Pontificia Universidad Católica de Chile. Escuela de Ingeniería
Rights
acceso abierto
Format
x, 42 páginas
application/pdf
Language
en
Type
tesis de maestría
Identifier
10.7764/tesisUC/ING/60882
https://doi.org/10.7764/tesisUC/ING/60882
https://repositorio.uc.cl/handle/11534/60882