No abstract

The use of recurrent neural networks in online system identification is very limited in real-world applications, mainly due to the propagation of errors caused by the iterative nature of the prediction task over multiple steps ahead. Bearing this in mind, we revisit design issues regarding the robustness of the echo state network (ESN) model in such online learning scenarios using a recursive estimation algorithm and an outlier robust-variant of it. By means of a comprehensive set of experiments, we show that the performance of the ESN is dependent on the adequate choice of the feedback pathways and that the prediction instability is amplified by the norm of the output weight vector, an often neglected issue in related studies. Resumo: O emprego de redes neurais recorrentes na identificação online de sistemasé bastante limitada em aplicações reais, principalmente devidoà propagação do erro causada pela natureza iterativa da tarefa de predição ao longo de vários passosà frente. Tendo isso em mente, revisitase questões de projeto relacionadasà robustez do modelo da rede de ecos de estados (echo state network, ESN) em tais cenários de aprendizado, usando um algoritmo de estimação recursiva e uma de suas variantes robusta a outlier. Por meio de um conjunto abrangente de experimentos, mostra-se que o desempenho da ESNé dependente da escolha adequada das vias de realimentação e que a instabilidade da previsãoé ampliada pela norma do vetor de peso de saída, uma questão frequentemente negligenciada em estudos relacionados.