Aplicação de Máquinas de Aprendizado Extremo ao Problema de Aprendizado Ativo

Abstract

Resumo-As técnicas de aprendizado ativo têm por objetivo escolher os padrões mais informativos para serem rotulados por um especialista. Em geral essa rotulação tem um custo elevado, o que motiva o estudo de métodos que minimizem o número de rótulos necessários para a construção de modelos. Alguns autores demonstraram que, para classificadores lineares, escolher os padrões mais próximos ao hiperplano separador pode melhorar a capacidade de generalização dos modelos e minimizar o número de rótulos utilizados. Em geral essas abordagens fazem algumas considerações irreais quanto aos dados, exigindo separabilidade linear ou distribuição uniforme dos dados. Além disso, todos os métodos necessitam de um processo de ajuste de parâmetros livres que exige que rótulos sejam reservados para esse fim, aumentando o custo do processo. Neste trabalho será apresentado um novo método de aprendizado ativo para problemas de classificação binária que não faz nenhuma consideração quanto aos dados e que não necessita de nenhum ajuste de parâmetros livres. O algoritmo propostoé baseado em máquinas de aprendizado extremo (Extreme Learning Machines -ELM) e em um novo tipo de perceptron apresentado recentemente na literatura. Um método que possui algumas dessas características são as máquinas de aprendizado extremo (ELM) [5]. As técnicas baseadas em ELM consistem em modelos neurais com uma camada escondida e uma camada de saída. Os pesos da camada escondida são escolhidos aleatoriamente e um separador linearé calculado na camada de saída solucionandose um sistema de equações lineares. As ELMs exigem que o número de padrões disponíveis seja muito maior que o número de neurônios escondidos a fim de se obter uma boa capacidade de generalização, sendo, a primeira vista, inadequadas para o aprendizado ativo. Recentemente alguns autores [6] demonstraram que a camada escondida ELM pode ser usada como um kernel para SVMs, sendo que ao utilizar um número elevado de neurônios os dados são projetados nesse novo espaço de dimensão elevada, tendendo a se tornarem linearmente separáveis, conforme previsto pelo teorema de Cover [7]. SVMs com esse tipo de kernel necessitam apenas do ajuste do parâmetro de regularização C. Isso torna o kernel ELM um bom candidato para a construção de algoritmos de aprendizado ativo, porém a construção do separador linear baseado em SVM exige que sejam armazenados os vetores de suporte e que seja realizado o ajuste do parâmetro C.Neste trabalho será proposto um novo algoritmo de aprendizado ativo que não necessitará de ajuste de parâmetros livres e que poderá ser aplicado a problemas não-linearmente separáveis. O método utilizará uma camada escondida ELM com um separador linear na saída. Este separador será baseado em um novo perceptron proposto por Fernandez-Delgado et al. [8] que, segundo os autores, minimiza o erro e maximiza a margem. Ao longo deste trabalho demonstraremos que o teorema de convergência do perceptron [9] poderá ser estendido para o modelo de Fernandez-Delgado et al. e que poderá ser utilizado como crit...

Seleção de Características em um Sistema de Refrigeração para Identificar Degradações em seus Componentes

“…Os dados de treinamento foram apresentados para uma ELM com 100 neurônios escondidos. O número de neurônios não precisa ser finamente ajustado, pois para se ter uma boa classificação basta que esse número seja muito maior que o espaço de entrada e menor ou igual ao número de padrões de treinamento [3,4].…”

“…Estes pesos por sua vez podem ser obtidos de maneira analítica, como solução de um sistema de equações lineares. A ELM é normalmente utilizada em duas camadas, tendo as seguintes características [3]:…”

Introdução à Análise de Sentimentos com Word Clouds

“…Com o avanço da tecnologia, tornou-se cada vez mais necessário a criação de sistemas inteligentes capazes de simular ações realizadas por seres humanos. Essas simulações ocorrem através da aplicação de algoritmos de Aprendizado de Máquina, com o objetivo de extrair informações de dados fornecidos e consequentemente desenvolver um modelo geral que seja capaz de representar o problema estudado [Horta, 2015]. Dessa forma, diferentes técnicas na área de Ciência de Dados foram implementadas de maneira a induzir a tomada de alguma ação, seja baseada em experiências anteriores ou a partir de medidas de qualidade de respostas obtidas.…”

Redes neurais no tratamento de dados para maximização de margem

“…Este perceptron utiliza a soma dos pesos gerados por cada padrão, cada padrão se comporta como vetor de suporte, desta forma o peso é determinado pela multiplicação do padrão pelo rótulo, que minimiza o erro e maximiza a margem (HORTA, 2013).…”