Incremental margin algorithm for large margin classifiers

Leite, Saul C.; Neto, Raul Fonseca

doi:10.1016/j.neucom.2007.05.002

Cited by 15 publications

(15 citation statements)

References 6 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Admitindo a inclusão no sistema de restrições do modelo perceptron de uma margem fixa, dada por um parâmetro γ, a solução do novo problema consiste na determinação de uma solução viável para o sistema de inequações lineares na forma: y i (<w, Φ(x i )>) ≥ γ Entretanto, caso não seja possível limitar o valor da norma L 2 do vetor w o sistema de inequações, se linearmente separável, apresentará sempre uma solução viável considerando o crescimento da norma e, conseqüentemente, do valor do produto interno, para qualquer valor de margem γ. Para se resolver este problema é necessário estabelecer alguma forma de regularização no sentido de controlar ou de limitar o valor da norma do vetor w. Leite e Fonseca (2007) propõem uma nova formulação para o modelo perceptron, no sentido de garantir que o conjunto de exemplos guarde uma distância mínima em relação ao hiperplano separador sem limitar diretamente o valor da norma do vetor w.…”

Section: Perceptron De Margem Fixaunclassified

See 1 more Smart Citation

Classificador De Máxima Margem Com Norma Arbitrária: Formulação, Algoritmo E Resultados

Villela¹,

Neto²,

Leite³

et al. 2016

Anais Do 9. Congresso Brasileiro De Redes Neurais

Self Cite

View full text Add to dashboard Cite

Resumo -Este trabalho tem como objetivo apresentar uma nova formulação para o problema de obtenção de um classificador de máxima margem com norma arbitrária. O trabalho apresenta, também, um novo algoritmo baseado na solução de sucessivos sistemas de inequações com o uso de uma versão modificada do algoritmo de treinamento do perceptron. A sua grande vantagem consiste na sua flexibilidade, que permite a utilização de diferentes valores de norma, ao contrário de algumas formulações especiais existentes que se restringem à utilização das normas L 1 e L ∞ . O algoritmo foi chamado de IMA p pois se trata de um caso especial do algoritmo IMA desenvolvido para a obtenção de classificadores de máxima margem com o uso da norma euclidiana.

show abstract

Section: Perceptron De Margem Fixaunclassified

“…O limite no número total de correções pode ser estimado utilizando-se o limite obtido na prova de convergência do algoritmo perceptron de margem fixa, Leite e Fonseca (2007). Introduzindo o valor da margem relativa à última iteração,  f T < *, tem-se:…”

Section: Número Total De Correçõesunclassified

Classificador De Máxima Margem Com Norma Arbitrária: Formulação, Algoritmo E Resultados

Villela¹,

Neto²,

Leite³

et al. 2016

Anais Do 9. Congresso Brasileiro De Redes Neurais

Self Cite

View full text Add to dashboard Cite

show abstract

“…A formulação desse problema, para a norma euclidiana, foi proposta em [14] e o algoritmo resultante foi denominado de Perceptron de Margem Fixa (FMP). Em [15]é apresentada uma extensão do mesmo para uma norma arbitrária e o algoritmo de Perceptron de Margem Fixa com norma p (Fixed p-Margin Perceptron -FMP p ).…”

Section: B Perceptron De Margem Fixa Com Norma P -Fmp Punclassified

“…De acordo com [14], isto se torna equivalenteà correção do vetor normal w na formulação primal do algoritmo:…”

Section: Margem Flexível Com Norma Punclassified

“…Uma nova formulação para o problema de maximização da margem foi proposta por Leite e Fonseca Neto [14] e desenvolvida a partir da constatação de que, na obtenção da máxima margem, os pontos ou vetores suporte de classes contrárias se encontramà mesma distância do hiperplano separador, ou seja, considerando as margens das classes de rótulos positivo e negativo, tem-se γ * + = γ * − , onde:…”

Section: Algoritmo De Margem Incremental Com Norma P -Ima Punclassified

See 1 more Smart Citation

Um Classificador para Seleção de Características Aplicado a Problemas Não-Linearmente Separáveis

Villela¹,

Neto²

2015

Anais Do 12. Congresso Brasileiro De Inteligência Computacional

View full text Add to dashboard Cite

Resumo-Este artigo apresenta uma abordagem robusta para o problema de seleção de características aplicado a conjuntos de dados não-linearmente separáveis. Neste sentido, foram realizados estudos comparando-se resultados relativos a utilização de classificadores baseados em funções kernel, os quais produzem o processo de seleção em um espaço de mais alta dimensão, denominado espaço kernel, com classificadores robustos, que utilizam o conceito de margem flexível e permitem uma tolerância a erros de classificação promovendo a seleção de características diretamente no espaço de entrada. A introdução do processo de flexibilização da margem possibilita a correta classificação de dados, que não sejam linearmente separáveis no espaço de entrada, refletindo em uma melhora do poder de generalização. Tal fato pode ser comprovado pela redução de erros nos testes experimentais. Também, a opção pela minimização da norma L1 do vetor normal ao hiperplano separador, tornou possível a construção de hipóteses com alto grau de esparsidade. De fato, esta forma de otimização, que apresenta um processo de regularização interna, contribui de forma significativa para uma melhor eficiência do processo de seleção de características. Para a seleção dos melhores subconjuntos, os classificadores foram associados a um algoritmo de busca ordenada que utiliza os valores de margem como medida de avaliação dos subconjuntos candidatos. Foram realizados experimentos para a comprovação da proposta apresentada, tendo-se obtido resultados bastante significativos.Keywords-Seleção de características, Norma L1, Busca ordenada, Classificadores de larga margem, Margem flexível I. INTRODUÇÃONeste trabalho aborda-se o problema de seleção de características quando aplicado a conjuntos de dados não-linearmente separáveis. Nas tarefas de classificação binária, associadas ao aprendizado supervisionado, os vetores de entrada podem ter uma alta dimensão relacionadaà existência de um grande número de variáveis. Entretanto, somente um número reduzido destas variáveisé relevante ou possuem um alto poder de discriminação para separação das duas classes [1], no sentido de produzirem boas hipóteses com alto poder de generalização. Mesmo classificadores de larga margem, como exemplo as Máquinas de Vetores Suportes (Support Vector Machines -SVM), não conseguem lidar de forma favorável com este tipo de problema, ou seja, construir boas hipóteses com dados contendo um grande número de variáveis irrelevantes ou até mesmo redundantes. Esta situação se configura mais criticamente em conjuntos de dados não-linearmente separáveis. Neste caso, a utilização de uma função de mapeamento implícita, com a utilização do truque kernel [2], expande enormemente a dimensão do problema para um espaço definido como espaço de kernel, tornando atrativo o processo de seleção de características. Também,é notório que a realização da seleção de características no espaço kernel pode capturar relações de natureza não-linear nos dados que não são observados por técnicas lineares de seleção de caracte...

show abstract