Efficient and flexible algorithms for monitoring distance-based outliers over data streams

Kontaki, Maria; Gounaris, Anastasios; Papadopoulos, Apostolos N.; Tsichlas, Kostas; Manolopoulos, Yannis

doi:10.1016/j.is.2015.07.006

Cited by 81 publications

(51 citation statements)

References 48 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Kontaki et al [70] propose four distance-based algorithms for continuous outlier monitoring in data streams. The primary concerns are improving efficiency and reducing memory consumption.…”

Section: Related Workmentioning

confidence: 99%

“…An ONION employs an offline preprocessing phase followed by an online exploration phase, enabling users to establish connections among outliers. As it is difficult to set appropriate D and k values [70,71], the offline phase is a preprocessing three-dimensional phase that computes all possible combinations of D, k, and entire dataset instances. In fact, k can take in the universe of natural numbers and the user must specify lower and upper bounds for k. This phase outputs all outlier candidates.…”

Section: Tp Tpþfpmentioning

confidence: 99%

“…However, the tests show that the algorithms have good efficiency and effectiveness when compared to traditional algorithms. In addition, although there are efficient pattern detection algorithms in the literature such as [70,74,92] that were designed to perform continuous data processing, they use spatial data structures, such as R-Trees, STrees and Quad-Trees, which provide efficient indexes and query functions for spatial data. Nevertheless, for continuous-mode pattern detection in data streams, these data structures can become troublesome due to their difficulty in accessing and modifying the spatial tree in parallel [93][94][95].…”

Section: Threat To Validitymentioning

confidence: 99%

“…For instance, to avoid inconsistencies in the spatial tree index, these algorithms process the data stream sequentially, which can lead to scalability issues when considering a data stream with thousands of data items per second. Other algorithms for online outlier detection in data streams either were not designed for Kontaki et al [70] or did not have good results [74] in devices with memory and processing constraints.…”

Section: Threat To Validitymentioning

confidence: 99%

See 3 more Smart Citations

Smartphone-based outlier detection: a complex event processing approach for driving behavior detection

Vasconcelos

Olivieri

et al. 2017

J Internet Serv Appl

View full text Add to dashboard Cite

The majority of fatal car crashes are caused by reckless driving. With the sophistication of vehicle instrumentation, reckless maneuvers, such as abrupt turns, acceleration, and deceleration, can now be accurately detected by analyzing data related to the driver-vehicle interactions. Such analysis usually requires very specific in-vehicle hardware and infrastructure sensors (e.g. loop detectors and radars), which can be costly. Hence, in this paper, we investigated if off-the-shelf smartphones can be used to online detect and classify the driver's behavior in near real-time. To do so, we first modeled and performed an intrinsic evaluation to assess the performance of three outlier detection algorithms formulated as a data stream processing network which receives as input and processes data streams of smartphone and vehicle sensors. Next, we implemented a novel scoring mechanism based on online outlier detection to quantitatively evaluate drivers' maneuvers as either cautious or reckless. Thus, we adapted a data mining mechanism which takes into account a sensor's data rates and power to determine driver behavior in the scoring process. Finally, as the intrinsic evaluation does not necessarily reveal how well an algorithm will perform in a real-world scenario, we evaluated the algorithm that achieved the best result in a real-world case study to assess drivers' driving behavior. Our results indicate that the algorithm performs quickly and accurately; the algorithm classifies driver behavior with 95.45% accuracy. Moreover, such results are obtained within 100 milliseconds of processing time on average.

show abstract

“…Kontaki et al [70] propose four distance-based algorithms for continuous outlier monitoring in data streams. The primary concerns are improving efficiency and reducing memory consumption.…”

Section: Related Workmentioning

confidence: 99%

Section: Tp Tpþfpmentioning

confidence: 99%

Section: Threat To Validitymentioning

confidence: 99%

Section: Threat To Validitymentioning

confidence: 99%

See 2 more Smart Citations

Smartphone-based outlier detection: a complex event processing approach for driving behavior detection

Vasconcelos

Olivieri

et al. 2017

J Internet Serv Appl

View full text Add to dashboard Cite

show abstract

“…Kontaki et al [37], existem poucos trabalhos de pesquisa que estudam o problema da detecção de anomalia em fluxo de dados, tais como [19], [32], [37]- [39]. No entanto, nestes trabalhos, os algoritmos ou técnicas não foram projetados para serem executados em dispositivos cujo poder de processamento e memória são limitados.…”

Section: Justificativaunclassified

Detecção Móvel E Online De Anomalia Em Múltiplos Fluxos De Dados: Uma Abordagem Baseada Em Processamento De Eventos Complexos Para Detecção De Comportamento De Condução

VASCONCELOS¹

View full text Add to dashboard Cite

Ao meu irmão Rafael por ter insistido que ingressasse no doutorado.Ao meu grande amigo Luciano que embarcou comigo rumo ao Rio.Ao CNPq e à PUC-Rio, pelos auxílios concedidos, sem os quais este trabalho não poderia ter sido realizado.Aos meus amigos do LAC e da PUC, principalmente, Bruno e Roriz.Brunão, obrigado pelo acolhimento e atenção.Ao meu orientador Markus Endler pelas orientações, revisões, críticas e conselhos, ao professor Methanias Colaço pelas orientações, sugestões e contribuições.Aos meus pais pelo investimento em minha educação. Contudo, faço um agradecimento especial à minha grande mãe, uma leoa, que mesmo nos momentos mais difíceis, jamais deixou de investir no bem mais valioso que ela dizia que poderia me dar, minha formação.A Camila, minha amada esposa, sem você talvez eu não terminasse essa jornada. Suportou a distância e a ausência física durante os dois primeiros anos.Em meio ao caos, você foi capaz de serenamente me ouvir, aconselhar, motivar e tem conseguido me aturar por quatro anos e meio. Te amo.Ao meu sogro, Carlos Alberto, pelas conversas, conselhos, amparo e cuidado, principalmente nos momentos difíceis. Muito obrigado ao senhor e à toda família.Ao grande arquiteto do universo por permitir viver cada uma das dificuldades e aprender com os erros. Graças a sua infinita sabedoria chego ao fim dessa etapa da vida uma pessoa melhor. Dirigir é uma tarefa diária que permite uma locomoção mais rápida e mais confortável, no entanto, mais da metade dos acidentes fatais estão relacionados à imprudência. Manobras imprudentes podem ser detectadas com boa precisão, analisando dados relativos à interação motorista-veículo, por exemplo, curvas, aceleração e desaceleração abruptas. Embora existam algoritmos para detecção online de anomalias, estes normalmente são projetados para serem executados em computadores com grande poder computacional. Além disso, geralmente visam escala através da computação paralela, computação em grid ou computação em nuvem. Esta tese apresenta uma abordagem baseada em complex event processing para a detecção online de anomalias e classificação do comportamento de condução. Além disso, objetivamos identificar se dispositivos móveis com poder computacional limitado, como os smartphones, podem ser usados para uma detecção online do comportamento de condução. Para isso, modelamos e avaliamos três algoritmos de detecção online de anomalia no paradigma de processamento de fluxos de dados, que recebem os dados dos sensores do smartphone e dos sensores à bordo do veículo como entrada. As vantagens que o processamento de fluxos de dados proporciona reside no fato de que este reduz a quantidade de dados transmitidos do dispositivo móvel para servidores/nuvem, bem como se reduz o consumo de energia/bateria devido à transmissão de dados dos sensores e possibilidade de operação mesmo se o dispositivo móvel estiver desconectado. Para classificar os motoristas, um mecanismo estatístico utilizado na mineração de documentos que avalia a importância de uma palavra em uma coleção de document...

show abstract

There and back again: Outlier detection between statistical reasoning and data mining algorithms

Zimek

Filzmoser

2018

WIREs Data Min & Knowl

141

View full text Add to dashboard Cite

Outlier detection has been a topic in statistics for centuries. Over mainly the last two decades, there has been also an increasing interest in the database and data mining community to develop scalable methods for outlier detection. Initially based on statistical reasoning, however, these methods soon lost the direct probabilistic interpretability of the derived outlier scores. Here, we detail from a joint point of view of data mining and statistics the roots and the path of development of statistical outlier detection and of database‐related data mining methods for outlier detection. We discuss their inherent meaning, review approaches to again find a statistically meaningful interpretation of outlier scores, and sketch related current research topics. This article is categorized under: Algorithmic Development > Statistics Algorithmic Development > Scalable Statistical Methods Technologies > Machine Learning

show abstract

Efficient and flexible algorithms for monitoring distance-based outliers over data streams

Cited by 81 publications

References 48 publications

Smartphone-based outlier detection: a complex event processing approach for driving behavior detection

Smartphone-based outlier detection: a complex event processing approach for driving behavior detection

Detecção Móvel E Online De Anomalia Em Múltiplos Fluxos De Dados: Uma Abordagem Baseada Em Processamento De Eventos Complexos Para Detecção De Comportamento De Condução

There and back again: Outlier detection between statistical reasoning and data mining algorithms

Contact Info

Product

Resources

About