Cluster-Based Algorithms for Dealing with Missing Values

Fujikawa, Yoshikazu; Ho, Tu Bao

doi:10.1007/3-540-47887-6_54

Cited by 29 publications

(9 citation statements)

References 3 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Faturamento ≤ 61000 ∈ F at 1 61000 < Faturamento ≤ 123000 ∈ F at 2 123000 < Faturamento ≤ 377000 ∈ F at 3 Faturamento > 377000 ∈ F at 4 (2)…”

Section: Transformação Dos Atributosmentioning

confidence: 99%

“…Técnicas como classificador por vizinho mais pró-ximo nearest neighbor, classificadores bayesianos e diversas técnicas estatísticas, não conseguem lidar com conjunto de dados com valores ausentes, tornando seu uso inviável para determinadas bases de dados [4]. Por outro lado, técnicas convencionais que lidam com bases de dados contendo pequeno número de valores ausentes, como árvores de decisão, podem ser utilizadas na tentativa de se retirar conhecimento dessas bases, porém experiências mostram que estas não apresentam resposta satisfatória quando o número de dados ausentes é muito grande.…”

unclassified

See 1 more Smart Citation

Recuperação de Dados Ausentes Através de Redes Neurais Artificiais - Estudo de Caso para uma Base de Dados Mercadológica

Zárate¹,

Nogueira²,

Santos³

2016

Anais Do 7. Congresso Brasileiro De Redes Neurais

View full text Add to dashboard Cite

Resumo-Dados ausentes em bancos de dados são hoje considerados um dos maiores problemas enfrentados na aplicação de Data Mining. No tratamento destes dados é necessário que as características do banco sejam preservadas, ou seja, que não haja informação perdida nem adicionada sem uma análise mais cuidadosa. O objetivo deste trabalho é mostrar como as Redes Neurais Artificiais junto com o conhecimento tácito do especialista no domínio, podem ajudar a recuperar informações dos atributos ausentes. Neste trabalho, esses dois elementos são combinados para recuperar dados ausentes numa base de dados mercadológicos.I. INTRODUÇÃO Atualmente, KDD (Knowledge Discovery in Data Base) [1], onde o Data Mining está inserido, vem sendo aplicado aos mais diversos segmentos científicos e de mercado. Como exemplos, podem ser citadas as áreas industrial, financeira, de saúde, telecomunicações, de negócios entre outras, sempre com a mesma finalidade, a descoberta de conhecimento não óbvio e o auxílio para tomada de decisão.Os dados sobre os quais é aplicado o processo KDD freqüentemente possuem dados ausentes ocasionados por circunstâncias não controladas. Entende-se por dados ausentes aqueles cujos valores não foram adicionados à base de dados, mas para os quais existe um valor real no meio do qual foram extraídos. A presença de valores ausentes em uma base de dados é um fato comum, podendo estar distribuído em diversos atributos, numa mesma instância (registro) ou de forma aleatória. Valores ausentes podem gerar sérios problemas na extração de conhecimento e na aplicação dos algoritmos de Data Mining.Durante o processo da Descoberta de Conhecimento numa base de dados, um procedimento muito comum para lidar com dados ausentes consiste em eliminar o(s) atributo(s) ou a(s) instância(s) da base de dados que apresentam esses valores, impondo, desta forma, restrições ao conhecimento extraído. Outros procedimentos sugerem a substituição de valores ausentes por valores padrões ou valores médios em todas as ocorrências.A eliminação de instâncias e/ou atributos pode acarretar também na perda de informações importantes relativos aos valores que estão presentes. Além disso, a substituição por valor padrão, mesmo o mais criterioso, pode introduzir na base informações distorcidas, que não estão contidas no evento e nas circunstâncias que a geraram [2] . A recuperação de dados ausentes torna-se, então, um ponto de extrema importância na descoberta de conhecimento em base de dados, requerendo predições cuidadosas dos valores, utilizando técnicas mais avançadas e elaboradas, além do conhecimento tácito de um especialista no domínio do problema [3]. Todas elas, em seu conjunto, visam a não distorção das informações.Embora um grande número de técnicas usadas em Data Mining não lide com dados que contenham valores ausentes, existem outras que sobrelevam este problema em diferentes graus. Técnicas como classificador por vizinho mais pró-ximo nearest neighbor, classificadores bayesianos e diversas técnicas estatísticas, não conseguem lidar com conjunto ...

show abstract

“…Faturamento ≤ 61000 ∈ F at 1 61000 < Faturamento ≤ 123000 ∈ F at 2 123000 < Faturamento ≤ 377000 ∈ F at 3 Faturamento > 377000 ∈ F at 4 (2)…”

Section: Transformação Dos Atributosmentioning

confidence: 99%

unclassified

Recuperação de Dados Ausentes Através de Redes Neurais Artificiais - Estudo de Caso para uma Base de Dados Mercadológica

Zárate¹,

Nogueira²,

Santos³

2016

Anais Do 7. Congresso Brasileiro De Redes Neurais

View full text Add to dashboard Cite

show abstract

“…The soft computing paradigm is to exploit the tolerance for imprecision, uncertainty and partial truth to achieve tractability, robustness and low solution cost [16]. The use of soft computing techniques in missing data imputation presents the major difference of our approach from that presented in [14].…”

Section: Introductionmentioning

confidence: 98%

“…These common characteristics are derived from auxiliary variables, e.g., age, gender, race, or education degree, whose values are available from the cases to be imputed. Generally, there are two steps in hot deck imputation [14]. First, data are partitioned into several clusters based on certain similarity metric, and each instance with missing data is associated with one of the clusters.…”

Section: Introductionmentioning

confidence: 99%

Dealing with Missing Data: Algorithms Based on Fuzzy Set and Rough Set Theories

Deogun

Spaulding

et al. 2005

Transactions on Rough Sets IV

View full text Add to dashboard Cite

Abstract. Missing data, commonly encountered in many fields of study, introduce inaccuracy in the analysis and evaluation. Previous methods used for handling missing data (e.g., deleting cases with incomplete information, or substituting the missing values with estimated mean scores), though simple to implement, are problematic because these methods may result in biased data models. Fortunately, recent advances in theoretical and computational statistics have led to more flexible techniques to deal with the missing data problem. In this paper, we present missing data imputation methods based on clustering, one of the most popular techniques in Knowledge Discovery in Databases (KDD). We combine clustering with soft computing, which tends to be more tolerant of imprecision and uncertainty, and apply fuzzy and rough clustering algorithms to deal with incomplete data. The experiments show that a hybridization of fuzzy set and rough set theories in missing data imputation algorithms leads to the best performance among our four algorithms, i.e., crisp K-means, fuzzy K-means, rough K-means, and rough-fuzzy Kmeans imputation algorithms.

show abstract

“…A clustering based approach for missing data imputation was considered as a local alternative to global estimation [3]. The premise was that instances could be grouped such that all the imputations in identified groups are independent from other groups.…”

Section: Introductionmentioning

confidence: 99%

Dynamic Clustering-Based Estimation of Missing Values in Mixed Type Data

Ayuyev

Jupin

Harris

et al. 2009

Data Warehousing and Knowledge Discovery

View full text Add to dashboard Cite

Abstract. The appropriate choice of a method for imputation of missing data becomes especially important when the fraction of missing values is large and the data are of mixed type. The proposed dynamic clustering imputation (DCI) algorithm relies on similarity information from shared neighbors, where mixed type variables are considered together. When evaluated on a public social science dataset of 46,043 mixed type instances with up to 33% missing values, DCI resulted in more than 20% improved imputation accuracy over Multiple Imputation, Predictive Mean Matching, Linear and Multilevel Regression, and Mean Mode Replacement methods. Data imputed by 6 methods were used for test of NB-Tree, Random Subset Selection and Neural Network-based classification models. In our experiments classification accuracy obtained using DCI-preprocessed data was a lot better than when relying on alternative imputation methods for data preprocessing.

show abstract

Cluster-Based Algorithms for Dealing with Missing Values

Cited by 29 publications

References 3 publications

Recuperação de Dados Ausentes Através de Redes Neurais Artificiais - Estudo de Caso para uma Base de Dados Mercadológica

Recuperação de Dados Ausentes Através de Redes Neurais Artificiais - Estudo de Caso para uma Base de Dados Mercadológica

Dealing with Missing Data: Algorithms Based on Fuzzy Set and Rough Set Theories

Dynamic Clustering-Based Estimation of Missing Values in Mixed Type Data

Contact Info

Product

Resources

About