A Benchmark of Existing Tools for Outlier Detection and Cleaning in Trajectories

Abstract

Outlier detection and cleaning is an essential step in data preprocessing to ensure the integrity and validity of data analyses. This paper focuses on outlier points within a individual trajectories, i.e., points that deviate significantly inside a single trajectory. We benchmark ten open-source libraries to comprehensively evaluate available tools, comparing their efficiency and accuracy in identifying and cleaning outliers. This benchmarking considers the libraries as they are offered to end users, with real-world applicability. We compare existing outlier detection libraries, introduce a method for establishing ground-truth, and aim to guide users in choosing the most appropriate tool for their specific outlier detection needs. Furthermore, we survey the state-of-the-art algorithms for outlier detection and classify them into seven types: Statistic-based methods, Sliding window algorithms, Clustering-based methods, Graph-based methods, Ensemble-based methods, Learning-based methods, and Heuristic-based methods. Our research provides insights into these libraries' performance and contributes to developing data preprocessing and outlier detection methodologies.

Uma análise comparativa de técnicas de detecção de pontos de parada em ambientes urbanos

“…No trabalho [Duarte and Sakr 2023], é apresentado um método para gerar ground-truth, ou seja, um método para gerar um conjunto de targets ou labels que posteriormente podem ser usados para treinar e testar um ou mais modelos, utilizando validac ¸ão cruzada. Especificamente, esse método serve para gerar labels de 'outliers' ou 'ruído' em quatro conjuntos de dados distintos, que serão utilizados para avaliar os métodos de detecc ¸ão de outliers, e limpeza de trajetória, implementados em sete bibliotecas: (i)Movetk [Custers et al 2021]; (ii) Moving Pandas [Graser and Dragaschnig 2020]; (iii) Scikit-mobility [Pappalardo et al 2022]; (iv) Ptrail [Haidri et al 2021]; (v) Pymove [Sanches 2019, Bráz 2020]; (vi) Argosfilter [Freitas and Freitas 2022]; (vii) Stmove [Seidel et al 2019].…”

“…Usando um conjunto de dados gerados por meio desse framework, foram implementados e comparados alguns dos métodos mais utilizados descritos na literatura. Os resultados confirmaram trabalhos anteriores, como [Duarte and Sakr 2023], e introduziram novos algoritmos a comparac ¸ão, SGC, MSN e DFF. Contudo, é importante destacar também que pontos de melhoria foram identificados, como a realizac ¸ão de novas análises que considerem métodos diferentes de aquisic ¸ão de dados e seus impactos.…”

“…Embora a literatura apresente inúmeros métodos propostos para solucionar essa tarefa [Li et al 2008, Nogueira et al 2018, Aslak and Alessandretti 2020, Custers et al 2021, Duarte and Sakr 2023, poucos trabalhos concentram-se na comparac ¸ão abrangente dessas abordagens.…”