Efficient Clustering-Based Outlier Detection Algorithm for Dynamic Data Stream

Elahi, Manzoor; Li, Kun; Nisar, Wasif; Lv, Xinjie; Wang, Hongan

doi:10.1109/fskd.2008.374

Cited by 57 publications

(30 citation statements)

References 14 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…We have done all implementation in matlab R2010a.We have compared our results with Cluster based OutlieR Miner (CORM) [6] which is a recently proposed outlier detection method for data streams. In next coming subsection we will focus on performance analysis of proposed method in terms of outlier detection rate, false alarm rate, effect of increasing number of irrelevant attributes on detection rate, and effect of increasing percentages of outliers.…”

Section: Resultsmentioning

confidence: 99%

See 1 more Smart Citation

Unsupervised outlier detection in streaming data using weighted clustering

Thakran

Toshniwal

2012

2012 12th International Conference on Intelligent Systems Design and Applications (ISDA)

View full text Add to dashboard Cite

Abstract-Outlier detection in streaming data is very challenging because streaming data cannot be scanned multiple times and also new concepts may keep evolving. Irrelevant attributes can be termed as noisy attributes and such attributes further magnify the challenge of working with data streams. In this paper, we propose an unsupervised outlier detection scheme for streaming data. This scheme is based on clustering as clustering is an unsupervised data mining task and it does not require labeled data, both density based and partitioning clustering are combined for outlier detection. In this scheme partitioning clustering is also used to assign weights to attributes depending upon their respective relevance and weights are adaptive. Weighted attributes are helpful to reduce or remove the effect of noisy attributes. Keeping in view the challenges of streaming data, the proposed scheme is incremental and adaptive to concept evolution. Experimental results on synthetic and real world data sets show that our proposed approach outperforms other existing approach (CORM) in terms of outlier detection rate, false alarm rate, and increasing percentages of outliers.

show abstract

Section: Resultsmentioning

confidence: 99%

“…But DBOD-DS is unable to handle concept evolution in streaming data. Cluster based OutlieR Minera (CORM) is presented by Elahi et al in [6]. It is a clustering-based approach for outlier detection based on k-mean.…”

Section: Related Workmentioning

confidence: 99%

Unsupervised outlier detection in streaming data using weighted clustering

Thakran

Toshniwal

2012

2012 12th International Conference on Intelligent Systems Design and Applications (ISDA)

View full text Add to dashboard Cite

show abstract

“…A data stream is a continuous and online sequence of unbounded items for which it is not possible to control the order of the produced and processed data [43]. One characteristic of the data stream is its dynamic nature [44], meaning the properties of data instances may evolve or change over time. Additionally, context changes in a mobile scenario.…”

Section: Problem Statementmentioning

confidence: 99%

Smartphone-based outlier detection: a complex event processing approach for driving behavior detection

Vasconcelos

Olivieri

et al. 2017

J Internet Serv Appl

View full text Add to dashboard Cite

The majority of fatal car crashes are caused by reckless driving. With the sophistication of vehicle instrumentation, reckless maneuvers, such as abrupt turns, acceleration, and deceleration, can now be accurately detected by analyzing data related to the driver-vehicle interactions. Such analysis usually requires very specific in-vehicle hardware and infrastructure sensors (e.g. loop detectors and radars), which can be costly. Hence, in this paper, we investigated if off-the-shelf smartphones can be used to online detect and classify the driver's behavior in near real-time. To do so, we first modeled and performed an intrinsic evaluation to assess the performance of three outlier detection algorithms formulated as a data stream processing network which receives as input and processes data streams of smartphone and vehicle sensors. Next, we implemented a novel scoring mechanism based on online outlier detection to quantitatively evaluate drivers' maneuvers as either cautious or reckless. Thus, we adapted a data mining mechanism which takes into account a sensor's data rates and power to determine driver behavior in the scoring process. Finally, as the intrinsic evaluation does not necessarily reveal how well an algorithm will perform in a real-world scenario, we evaluated the algorithm that achieved the best result in a real-world case study to assess drivers' driving behavior. Our results indicate that the algorithm performs quickly and accurately; the algorithm classifies driver behavior with 95.45% accuracy. Moreover, such results are obtained within 100 milliseconds of processing time on average.

show abstract

“…Uma característica do fluxo de dados é sua natureza dinâmica [20], esta característica pode ser avaliada a partir de dois pontos de vista distintos: no primeiro, como a distribuição dos dados pode mudar a medida que o fluxo de dados evolui (janelas temporais), torna-se um desafio identificar anomalias à medida que os dados chegam [20], [21]; no segundo, mudanças de contexto em um cenário móvel podem ocasionar mudanças nos dados disponíveis, e portanto, é necessário que o algoritmo de descoberta de padrões [14], [22], [23] adapte-se a tais mudanças [24]. Por exemplo, em um cenário real, as leituras de sensores veiculares e dados disponíveis dependem do fabricante e do modelo do veículo [25].…”

Section: No Entanto Os Sistemas De Transportes Inteligentes (Intelliunclassified

“…Este problema refere-se à encontrar padrões nos dados que não estão em conformidade com (ou desviam suficientemente de) comportamentos esperados [14], [26], por exemplo, mudanças repentinas de faixas e frenagens bruscas. Embora a detecção de anomalia tenha sido amplamente estudada, não têm havido muitos trabalhos de pesquisa na detecção de anomalia em fluxos de dados [15], [20], [21]. Até o momento, baseado em uma revisão quase-sistemática da literatura, não foram encontradas soluções para o problema da detecção online de anomalias em fluxos de dados de dispositivos móveis com limitação de recursos (em contraste com recursos virtualmente ilimitados do ambiente em nuvem) através do processamento de eventos complexos.…”

Section: No Entanto Os Sistemas De Transportes Inteligentes (Intelliunclassified

Detecção Móvel E Online De Anomalia Em Múltiplos Fluxos De Dados: Uma Abordagem Baseada Em Processamento De Eventos Complexos Para Detecção De Comportamento De Condução

VASCONCELOS¹

View full text Add to dashboard Cite

Ao meu irmão Rafael por ter insistido que ingressasse no doutorado.Ao meu grande amigo Luciano que embarcou comigo rumo ao Rio.Ao CNPq e à PUC-Rio, pelos auxílios concedidos, sem os quais este trabalho não poderia ter sido realizado.Aos meus amigos do LAC e da PUC, principalmente, Bruno e Roriz.Brunão, obrigado pelo acolhimento e atenção.Ao meu orientador Markus Endler pelas orientações, revisões, críticas e conselhos, ao professor Methanias Colaço pelas orientações, sugestões e contribuições.Aos meus pais pelo investimento em minha educação. Contudo, faço um agradecimento especial à minha grande mãe, uma leoa, que mesmo nos momentos mais difíceis, jamais deixou de investir no bem mais valioso que ela dizia que poderia me dar, minha formação.A Camila, minha amada esposa, sem você talvez eu não terminasse essa jornada. Suportou a distância e a ausência física durante os dois primeiros anos.Em meio ao caos, você foi capaz de serenamente me ouvir, aconselhar, motivar e tem conseguido me aturar por quatro anos e meio. Te amo.Ao meu sogro, Carlos Alberto, pelas conversas, conselhos, amparo e cuidado, principalmente nos momentos difíceis. Muito obrigado ao senhor e à toda família.Ao grande arquiteto do universo por permitir viver cada uma das dificuldades e aprender com os erros. Graças a sua infinita sabedoria chego ao fim dessa etapa da vida uma pessoa melhor. Dirigir é uma tarefa diária que permite uma locomoção mais rápida e mais confortável, no entanto, mais da metade dos acidentes fatais estão relacionados à imprudência. Manobras imprudentes podem ser detectadas com boa precisão, analisando dados relativos à interação motorista-veículo, por exemplo, curvas, aceleração e desaceleração abruptas. Embora existam algoritmos para detecção online de anomalias, estes normalmente são projetados para serem executados em computadores com grande poder computacional. Além disso, geralmente visam escala através da computação paralela, computação em grid ou computação em nuvem. Esta tese apresenta uma abordagem baseada em complex event processing para a detecção online de anomalias e classificação do comportamento de condução. Além disso, objetivamos identificar se dispositivos móveis com poder computacional limitado, como os smartphones, podem ser usados para uma detecção online do comportamento de condução. Para isso, modelamos e avaliamos três algoritmos de detecção online de anomalia no paradigma de processamento de fluxos de dados, que recebem os dados dos sensores do smartphone e dos sensores à bordo do veículo como entrada. As vantagens que o processamento de fluxos de dados proporciona reside no fato de que este reduz a quantidade de dados transmitidos do dispositivo móvel para servidores/nuvem, bem como se reduz o consumo de energia/bateria devido à transmissão de dados dos sensores e possibilidade de operação mesmo se o dispositivo móvel estiver desconectado. Para classificar os motoristas, um mecanismo estatístico utilizado na mineração de documentos que avalia a importância de uma palavra em uma coleção de document...

show abstract

Efficient Clustering-Based Outlier Detection Algorithm for Dynamic Data Stream

Cited by 57 publications

References 14 publications

Unsupervised outlier detection in streaming data using weighted clustering

Unsupervised outlier detection in streaming data using weighted clustering

Smartphone-based outlier detection: a complex event processing approach for driving behavior detection

Detecção Móvel E Online De Anomalia Em Múltiplos Fluxos De Dados: Uma Abordagem Baseada Em Processamento De Eventos Complexos Para Detecção De Comportamento De Condução

Contact Info

Product

Resources

About