Direct Parallel Perceptrons (DPPs): Fast Analytical Calculation of the Parallel Perceptrons Weights With Margin Control for Classification Tasks

Abstract

Parallel perceptrons (PPs) are very simple and efficient committee machines (a single layer of perceptrons with threshold activation functions and binary outputs, and a majority voting decision scheme), which nevertheless behave as universal approximators. The parallel delta (P-Delta) rule is an effective training algorithm, which, following the ideas of statistical learning theory used by the support vector machine (SVM), raises its generalization ability by maximizing the difference between the perceptron activations for the training patterns and the activation threshold (which corresponds to the separating hyperplane). In this paper, we propose an analytical closed-form expression to calculate the PPs' weights for classification tasks. Our method, called Direct Parallel Perceptrons (DPPs), directly calculates (without iterations) the weights using the training patterns and their desired outputs, without any search or numeric function optimization. The calculated weights globally minimize an error function which simultaneously takes into account the training error and the classification margin. Given its analytical and noniterative nature, DPPs are computationally much more efficient than other related approaches (P-Delta and SVM), and its computational complexity is linear in the input dimensionality. Therefore, DPPs are very appealing, in terms of time complexity and memory consumption, and are very easy to use for high-dimensional classification tasks. On real benchmark datasets with two and multiple classes, DPPs are competitive with SVM and other approaches but they also allow online learning and, as opposed to most of them, have no tunable parameters.

Aplicação de Máquinas de Aprendizado Extremo ao Problema de Aprendizado Ativo

“…Dessa forma, buscamos neste trabalho utilizar um separador linear do tipo perceptron na saída da rede, a fim de realizar o aprendizado ativo sem ajuste de parâmetros livres. Um método apropriado para esta tarefá e o modelo proposto recentemente por Fernandez-Delgado et al [8], queé capaz de ajustar os pesos de um perceptron analiticamente.…”

“…Como pode ser observado, o perceptron proposto por Fernandez-Delgado et al [8] utiliza apenas os padrões de treinamento para ajustar os pesos do perceptron, multiplicados pelos seus rótulos. Dessa formaé esperado que o aprendizado ativo possa melhorar a capacidade de generalização deste modelo, escolhendo para treinamento apenas os padrões mais relevantes.…”

“…Como o perceptron de Fernandez-Delgado et al [8] possui ||w 0 || = 1 a equação anterior se resume na equação 14.…”

“…Realizaremos o aprendizado ativo construindo um modelo composto por uma camada escondida ELM e uma camada de saída baseada no perceptron de Fernandez-Delgado et al [8], de forma que a primeira camada irá projetar os dados em um espaço de características ELM e a segunda camada realizará a separação linear dos dados nesse novo espaço. A equação 15 apresenta a nova forma de ajuste dos pesos na camada escondida, sendo φ(x k ) a projeção do padrão de treinamento x k no espaço de características definido pela camada escondida da rede, que possui função de ativação tangente hiperbólica.…”

“…O método utilizará uma camada escondida ELM com um separador linear na saída. Este separador será baseado em um novo perceptron proposto por Fernandez-Delgado et al [8] que, segundo os autores, minimiza o erro e maximiza a margem. Ao longo deste trabalho demonstraremos que o teorema de convergência do perceptron [9] poderá ser estendido para o modelo de Fernandez-Delgado et al e que poderá ser utilizado como critério de parada para o aprendizado ativo.…”