Tuning of reinforcement learning parameters applied to SOP using the Scott–Knott method

Abstract

In this paper, we present a technique to tune the reinforcement learning (RL) parameters applied to the sequential ordering problem (SOP) using the Scott-Knott method. The RL has been widely recognized as a powerful tool for combinatorial optimization problems, such as travelling salesman and multidimensional knapsack problems. It seems, however, that less attention has been paid to solve the SOP. Here, we have developed a RL structure to solve the SOP that can partially fill that gap. Two traditional RL algorithms, Q-learning and SARSA, have been employed. Three learning specifications have been adopted to analyze the performance of the RL: algorithm type, reinforcement learning function, and parameter. A complete factorial experiment and the Scott-Knott method are used to find the best combination of factor levels, when the source of variation is statistically different in analysis of variance. The performance of the proposed RL has been tested using benchmarks from the TSPLIB library. In general, the selected parameters indicate that SARSA overwhelms the performance of Q-learning.

Transferência de Aprendizado por Reforçoo em Problemas de Otimização Combinatória

“…Aárea de otimização combinatóriaé um campo com vários estudos com AR (Gambardella and Dorigo, 1995;Bianchi et al, 2009;Lima Júnior et al, 2010;Costa et al, 2016;Alipour et al, 2018;Lins et al, 2019). Nesse aspecto, alguns domínios com aplicações de técnicas de AR são: Problema do Caxeiro Viajante (TSP) (Gambardella and Dorigo, 1995;Lima Júnior et al, 2010), Problema dos K-Servos (Costa et al, 2016;Lins et al, 2019), Problema da Mochila Multidimensional (Ottoni et al, 2017), Roteamento de Veículos (Silva et al, 2019) e Sequential Ordering Problem (SOP) (Ottoni et al, 2020).…”

“…Em problemas de TSP simétrico, o custo de deslocamento entre duas cidadesé equivalente nos dois sentidos de movimentação, ou seja, c ij = c ji . Já no TSP assimétrico (ATSP), o custo de ir de i para j pode ser diferente do custo do deslocamento de j para i (c ij = c ji ) (Ottoni et al, 2020).…”

“…Nesse sentido, o SOPé semelhante ao ATSP com a adição de restrições de precedência (c ij = −1) (Gambardella and Dorigo, 2000;Ottoni et al, 2020). O custo no SOP pode assumir c ij ≥ 0 ou c ij = −1 (com c ji ≥ 0) (Gambardella and Dorigo, 2000).…”

Estimação de Parâmetros do Aprendizado por Reforço para o Problema de Planejamento de Rotas com Reabastecimento

“…A metodologia experimental foi baseada em trabalhos recentes: (Ottoni et al, 2018(Ottoni et al, , 2019. As simulações foram realizadas no software M AT LAB R e compreenderam 16 grupos de experimentos (2 algoritmos × 4 instâncias × 2 tipos de problemas):…”

“…No AR, um agente aprende a partir de sucessos e fracassos interagindo em um ambiente (Sutton and Barto, 2018). Um dos principais aspectos do ARé a estimação de parâmetros que otimizem o aprendizado, como taxa de aprendizado (α) e o fator de desconto (γ) (Even-Dar and Mansour, 2003;Schweighofer and Doya, 2003;Ottoni et al, 2019). A definição dos parâmetros podem influenciar diretamente no aprendizado de uma boa rota (Ottoni et al, 2018).…”