Treffer: Reinforcement Learning application for Energy Management of Microgrids ; Application d'algorithmes d'apprentissage par renforcement pour la gestion de micro-réseaux électrique

Le projet de thèse concerne l’application de méthodes d’apprentissage par renforcement pour le développement d’un EMS (Energy Management system) permettant la gestion de l’électricité au sein de micro-réseaux électriques.Partant de la constatation, fin 2017, que ce sujet avait été peu abordé nous avons commencé notre recherche par une élude exhaustives de la bibliographie et des méthodologies possibles pour avoir une compréhension poussée du sujet et mieux définir nos objectifs. Nous avons ainsi rapidement défini les hypothèses de travail qui ont guidés cette thèse :• Pas d’utilisation de prédiction « forecaster ».• Avoir une étude couvrant une distribution de donnée la plus complète possible (intégrant la saisonnalité, les vacances etc.).• Développer des algorithmes capables de généraliser sur de nouvelles données et comparer les résultats obtenus avec des méthodes traditionnelles existantes.Les résultats que nous présentons ici sont des résultats de simulation qui peuvent s’organiser en 4 taches :• La gestion d’un micro-réseaux îloté, via le développement d’un algorithme combinant un Q-Learning et un « CART decision tree ». A cela nous avons ajouté une méthode pour accélérer l’apprentissage de l’agent appelée « Q-transfer ».• La Gestion du même micro-réseaux îloté avec l’ajout d’évènements rares. Pour cela nous avons réalisé le développement d’un algorithme de « Double Deep Q-Network » (DDQN) améliorée pour gérer ces évènements rares.• La gestion de six micro-réseaux : îlôtés, connectés et défaillants (appelé « weak-grid ») basée sur 2 localisations : France métropolitaine (Le « Drahi Innovation Center » sur le campus de l’École polytechnique et Tahiti (un musée). Pour ce faire nous avons proposé le développement d’un unique DDQN agent capable de gérer les 6 micro-réseaux électriques sans changer l’architecture et les hyper-paramètres de celui-ci. (Étude inspirée du papier de « DeepMind » avec les jeux Atari : un seul algorithme capable de jouer à tous les jeux Atari).• Transfer Learning sur les 6 ...