Rényi entropy and cauchy-schwartz mutual information applied to mifs-u variable selection algorithm: a comparative study

Gonçalves, Leonardo Barroso; Macrini, José Leonardo Ribeiro

doi:10.1590/s0101-74382011000300006

Cited by 9 publications

(7 citation statements)

References 5 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…A estimação da entropia e da informação mútua está baseado na entropia quadrática de Rényi, aliada ao famoso método de estimação de densidade Janela de Parzen, e na definição da Informação Mútua de Cauchy-Schwartz, tornando os cálculos diretos, sem necessidade de um passo de pré-processamento. Nesse artigo utilizamos esse método que é descrito em detalhes em Gonçalves & Macrini (2011)…”

Section: ) Finalize O Conjunto S Contendo As Variáveis Selecionadasunclassified

Discriminação e Classificação da Exclusão Financeira a partir da Análise de Agrupamentos e Redes Neurais

Macrini

Santolin

Oliveira

et al. 2019

Rev.Eco.Centro-Oeste

Self Cite

View full text Add to dashboard Cite

A identificação da exclusão financeira está muitas vezes sujeita a elevado grau de subjetividade. Entretanto, o critério de separação, entre excluídos e não excluídos, é uma questão pouco explorada. Frequentemente, o limite que separa as duas categorias tem caráter difuso e subjetivo. O presente trabalho tem como objetivo propor uma metodologia, baseada em Análise de Agrupamentos e Redes Neurais, para a delimitação em questão. Utiliza-se, para tanto, dados de uma pesquisa empírica realizada no município de Três Rios (Brasil). Espera-se que esta investigação possa contribuir para o delineamento e execução de políticas voltadas para a promoção da inclusão financeira e bancarização.

show abstract

Section: ) Finalize O Conjunto S Contendo As Variáveis Selecionadasunclassified

Discriminação e Classificação da Exclusão Financeira a partir da Análise de Agrupamentos e Redes Neurais

Macrini

Santolin

Oliveira

et al. 2019

Rev.Eco.Centro-Oeste

Self Cite

View full text Add to dashboard Cite

show abstract

“…Brown et al [8] and Vergara et al [2] unified most of them in the mutual information feature selection framework. There are also a few cases of using mutual information derived from Renyi [9] and Tsallis entropy [10] showing promising results. Chown and Huang [11] proposed the use of a data compression algorithm along with quadratic mutual information to perform feature selection, but their method is prone to over-fitting, due to the estimation of the criterion in high-dimensional space.…”

Section: Related Workmentioning

confidence: 99%

Quadratic Mutual Information Feature Selection

Sluga

Lotrič

2017

Entropy

View full text Add to dashboard Cite

Abstract:We propose a novel feature selection method based on quadratic mutual information which has its roots in Cauchy-Schwarz divergence and Renyi entropy. The method uses the direct estimation of quadratic mutual information from data samples using Gaussian kernel functions, and can detect second order non-linear relations. Its main advantages are: (i) unified analysis of discrete and continuous data, excluding any discretization; and (ii) its parameter-free design. The effectiveness of the proposed method is demonstrated through an extensive comparison with mutual information feature selection (MIFS), minimum redundancy maximum relevance (MRMR), and joint mutual information (JMI) on classification and regression problem domains. The experiments show that proposed method performs comparably to the other methods when applied to classification problems, except it is considerably faster. In the case of regression, it compares favourably to the others, but is slower.

show abstract

“…2.92 para a entropia de Shannon. No entanto, se for usada a divergência de CauchySchwarz para se definir a informação mútua, é possível estabelecer uma relação (Gonçalves, Macrini;2011).…”

Section: Entropia De Rényiunclassified

Entropias De Shannon E Rényi Aplicadas Ao Reconhecimento De Padrões

Artuso¹

2012

Revista CIATEC-UPF

View full text Add to dashboard Cite

RESUMOEsse artigo teórico apresenta e discute os conceitos de entropia e informação mútua da Teoria da Informação aplicados ao reconhecimento de padrões partindo, principalmente, das ideias de Shannon e Rényi. Tendo por base a diversidade de aplicação da teoria, como nas áreas de engenharia, estatística, economia e informática e a escassez de bibliografia em português, expõe-se uma maneira de utilizar a entropia aplicada à pesquisa, com uma aplicação mostrada para a construção de árvore de decisão. Também são debatidas similaridade e diferenças com o conceito físico de entropia. Palavras-chave: Teoria da Informação, Entropia de Shannon, Entropia de Rényi, Árvores de Decisão. ABSTRACTThis paper presents and discusses the concepts of entropy and mutual information in Information Theory applied to pattern recognize, based mainly on the ideas of Shannon and Rényi. Based on the diversity of application of the theory, as in engineering, statistics, economics and informatics and the few literature in Portuguese, is exposed a way of using the entropy applied to the academic researches, with an application showed for the construction of decision tree. Are also discussed similarities and differences with the physical concept of entropy. Keywords: Information Theory, Shannon's Entropy, Rényi's Entropy, Decision Tree. INTRODUÇÃOClaude E. Shannon (1948) foi um pioneiro ao considerar a comunicação como um problema matemático rigorosamente embasado na estatística, criando um ramo da teoria da probabilidade e da estatística chamado Teoria da Informação. Apesar de ser originalmente desenvolvida para informações perdidas na compressão e transmissão de mensagens com ruídos em um canal de comunicação, sua aplicabilidade se expandiu para outros domínios da engenharia, informática, estatística e economia.Entretanto, sua similaridade com o conceito físico de entropia e seu uso em áreas diversas das quais foi pensada pode ocasionar alguns equívocos teóricos e metodológicos. Soma-se a isso a escassa literatura existente em português, em especial sobre a entropia de Rényi. Por isso, apresenta-se um breve apanhado sobre a teoria da informação, partindo do conceito de Shannon e comparando-o com a grandeza física entropia. A seguir, mostra-se a generalização feita por Rényi e os desenvolvimentos até se obter os estimadores das medidas de entropia e informação mútua. Posteriormente, os conceitos básicos da Teoria da Informação são exemplificados numa aplicação de Árvores de Decisão com o objetivo de reconhecimento de padrões.

show abstract

Rényi entropy and cauchy-schwartz mutual information applied to mifs-u variable selection algorithm: a comparative study

Cited by 9 publications

References 5 publications

Discriminação e Classificação da Exclusão Financeira a partir da Análise de Agrupamentos e Redes Neurais

Discriminação e Classificação da Exclusão Financeira a partir da Análise de Agrupamentos e Redes Neurais

Quadratic Mutual Information Feature Selection

Entropias De Shannon E Rényi Aplicadas Ao Reconhecimento De Padrões

Contact Info

Product

Resources

About