A Method for the Online Construction of the Set of States of a Markov Decision Process Using Answer Set Programming

Abstract

Non-stationary domains, that change in unpredicted ways, are a challenge for agents searching for optimal policies in sequential decision-making problems. This paper presents a combination of Markov Decision Processes (MDP) with Answer Set Programming (ASP), named Online ASP for MDP (oASP(MDP)), which is a method capable of constructing the set of domain states while the agent interacts with a changing environment. oASP(MDP) updates previously obtained policies, learnt by means of Reinforcement Learning (RL), using rules that represent the domain changes observed by the agent. These rules represent a set of domain constraints that are processed as ASP programs reducing the search space. Results show that oASP(MDP) is capable of finding solutions for problems in non-stationary domains without interfering with the action-value function approximation process.

Heurísticas e solução automática eficiente para problemas espaciais

“…Uma outra característica do ASP é a possibilidade de gerar diferentes saídas para a mesma entrada (FERREIRA et al, 2018). Isso quer dizer que, por exemplo, dado um estado qualquer s e uma ação qualquer a, é possível descrever, utilizando um programa ASP, os estados s1 e s2 como possíveis saídas da execução da ação a no estado s, essa regra pode ser representada em ASP utilizando a formula:…”

“…SegundoFerreira et al (2018), essa descrição pode ser aplicada para toda ação e todo estado no domínio. Portanto, descrevendo toda transição para cada ação e para cada estado que foi visitado, em um determinado instante, como um programa lógico, é possível usar ASP para obter um conjunto de estados e ações observáveis e, através da interação entre o agente Q-Learning e o ambiente, definir a função valor-ação Q(s,a).…”

“…Assim, não há necessidade alguma de reinicialização completa do processo de aprendizado e nem do MDP, como ocorre na versão tradicional do Q-Learning. O algoritmo oASP(MDP) tem como objetivo utilizar uma combinação entre ASP e MDP para então, a partir de um método de AR, aproximar a função valor-ação Q(s, a) de um MDP, podendo este ser não-estacionário(FERREIRA et al, 2018). MDP) recebe a quantidade n de episódios que deve ser executado.…”

“…Depois de definidas essas entradas, o próximo passo do algoritmo é inicializar o conjunto de estados visitados S como um conjunto vazio (linha 4, algoritmo 1), já que a construção de S é feita passo a passo conforme o agente interage com o ambiente. A novidade deste algoritmo, comparando com os algoritmos de AR tradicionais, é que M ainda é capaz de aproximar a função valor-ação Q(s, a), mesmo com a construção incremental dos conjuntos de estados e de ações para cada estado, e retornar a tabela Q, definindo que a política ótima é seguida se as ações com os maiores valores são executadas(FERREIRA et al, 2018).Logo após a sua inicialização, o algoritmo entra em um laço de repetição (linha 5, algoritmo 1), que será executado um número n de vezes (n é um valor informado ao algoritmo através do parâmetro de entrada). Em cada repetição deste laço, o algoritmo observa o estado atual s, e então, poderá tomar duas decisões distintas, dependendo do estado atual s estar presente ou não no conjunto S. Portanto, se s ∈ S (linha 8, algoritmo 1), então: s é adicionado ao conjunto S, uma ação aleatória é escolhida e executada, retornando um estado futuro s .…”