Distance‐based large margin classifier suitable for integrated circuit implementation

Abstract

A new learning method for classification problems that is suitable for integrated circuit implementation is presented. The method, which outperforms current approaches in many data sets, is based on a structural description of the learning set represented by a planar graph. The final classification function is composed of a hierarchical mixture of local experts, which yields a large margin classifier for the whole learning set. Since it is based only on distance calculations, on-chip learning can also be executed. The method is also appropriate for online and incremental learning, since model parameters are obtained directly from the data set, without need of user interaction for learning.

NN-clas: classificador geométrico de margem larga baseado na regra do vizinho mais próximo.

“…Para aplicações que exigem uma maior flexibilidade ou para o uso de métodos de aprendizagem de máquina em sistemas on-line,é necessário o uso de algoritmos que não exigem a resolução de problemas de otimização complexos. Encontra-se na literatura um método desenvolvido em [14], que se mostrou estatisticamente equivalente aos métodos SVM-RBF e SVM-Poly, e adequado para o uso nas aplicações descritas acima. Sem depender de um método formal de otimização, o classificador proposto em [14] leva em consideração apenas a estrutura dos dados representados pelo grafo de Gabriel [2] para minimizar o erro do conjunto de treinamento e maximizar a margem de separação entre as classes.…”

“…Encontra-se na literatura um método desenvolvido em [14], que se mostrou estatisticamente equivalente aos métodos SVM-RBF e SVM-Poly, e adequado para o uso nas aplicações descritas acima. Sem depender de um método formal de otimização, o classificador proposto em [14] leva em consideração apenas a estrutura dos dados representados pelo grafo de Gabriel [2] para minimizar o erro do conjunto de treinamento e maximizar a margem de separação entre as classes. Nesse método, a superfície de decisãoé um resultado de um modelo de mistura de hiperplanos cujos parâmetros são extraídos dos padrões próximos a margem.…”

“…Para superar essa dificuldade, o presente artigo tem por objetivo avaliar novas formas de se implementar a regra de decisão do classificador de margem larga visando reduzir os custos computacionais, facilitando assim sua implementação em hardware, sem perder, contudo, o desempenho alcançado em [14] em termos da qualidade da classificação.É apresentada então, uma nova metodologia que se baseia na abordagem de vizinhos mais próximos (kNN) para realizar a classificação de um novo padrão x. Além disso,é feito um estudo que utiliza uma formulação reduzida (baseada no hiperplano mais próximo) da regra de decisão proposta em [14]. Resultados iniciais com 15 bases de dados reais mostram que uma das regras de decisão implementadasé estatisticamente igual ao do método proposto em [14], porém tem um menor custo de implementação em hardware.…”

“…2 Classificador de margem larga baseado em distância O classificador de margem larga baseado em distância (CHIP-clas) [14] obtém a informação estrutural dos dados através do grafo de Gabriel, que, por sua vez, depende apenas da distância entre as amostras de treinamento. O grafo de Gabriel de um conjunto de pontos consiste em um grafo cujo conjunto de vértices V e arestas A deve obedecerà definição expressa pela Equação 1, onde os pontos (p i , p j ) constituirão uma aresta se e somente se nenhum outro ponto estiver contido na hiperesfera de diâmetro D(p i , p j ), sendo que tal diâmetro consiste na distância entre os pontos p i e p j .…”

“…Após a eliminação das amostras ruidosas e obtenção dos vértices de AS, será gerado um classificador representado pelo hiperplano H i que passa pelo ponto médio de tais vértices.É importante ressaltar, que umúnico hiperplano H i não separa todas as amostras do conjunto de treino, mas a combinação de todos os hiperplanos produz, segundo [14], um classificador com a informação espacial de todas as amostras em T .…”