Unsupervised Interpretable Pattern Discovery in Time Series Using Autoencoders

Bascol, Kevin; Emonet, Rémi; Fromont, Élisa; Odobez, Jean-Marc

doi:10.1007/978-3-319-49055-7_38

Cited by 13 publications

(22 citation statements)

References 22 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…In [16] Benamara et al for example applied convolutional NNs to extract human emotions based on facial images. Autoencoders like in [17][18][19] are able to learn important features of the input data by first encoding the input data to a lower dimensional space and then decoding it to reconstruct the input. While the unsupervised extraction of patterns from image or video data is a common task for Convolutional Autoencoders (CAE), the pattern discovery in time series is an underrepresented problem.…”

Section: Related Workmentioning

confidence: 99%

“…While the unsupervised extraction of patterns from image or video data is a common task for Convolutional Autoencoders (CAE), the pattern discovery in time series is an underrepresented problem. In the following sections we take up some ideas regarding the architecture of CAEs from [17] and complement them by multiple additional methods to detect recurring patterns in time series data.…”

Section: Related Workmentioning

confidence: 99%

See 1 more Smart Citation

Pattern discovery in time series using autoencoder in comparison to nonlearning approaches

Noering

Schroeder

Jonas

et al. 2021

ICA

View full text Add to dashboard Cite

In technical systems the analysis of similar situations is a promising technique to gain information about the system’s state, its health or wearing. Very often, situations cannot be defined but need to be discovered as recurrent patterns within time series data of the system under consideration. This paper addresses the assessment of different approaches to discover frequent variable-length patterns in time series. Because of the success of artificial neural networks (NN) in various research fields, a special issue of this work is the applicability of NNs to the problem of pattern discovery in time series. Therefore we applied and adapted a Convolutional Autoencoder and compared it to classical nonlearning approaches based on Dynamic Time Warping, based on time series discretization as well as based on the Matrix Profile. These nonlearning approaches have also been adapted, to fulfill our requirements like the discovery of potentially time scaled patterns from noisy time series. We showed the performance (quality, computing time, effort of parametrization) of those approaches in an extensive test with synthetic data sets. Additionally the transferability to other data sets is tested by using real life vehicle data. We demonstrated the ability of Convolutional Autoencoders to discover patterns in an unsupervised way. Furthermore the tests showed, that the Autoencoder is able to discover patterns with a similar quality like classical nonlearning approaches.

show abstract

Section: Related Workmentioning

confidence: 99%

Section: Related Workmentioning

confidence: 99%

Pattern discovery in time series using autoencoder in comparison to nonlearning approaches

Noering

Schroeder

Jonas

et al. 2021

ICA

View full text Add to dashboard Cite

show abstract

“…Autoencoders are often combined with sequential data. It learns interpretable representations based on the multi-scale property of sequential data information [85], [86].…”

Section: ) Autoencodermentioning

confidence: 99%

“…This makes the deep learning model itself not a complete black box and the interpretable approaches based on the DL model are unique. [16] local linear model feature CPAR [17] global decision tree/rule feature Trepan [22], [23], [24], REFNE [26] global decision tree/rule √ feature [19], [20], [21] global decision tree/rule feature Anchors [30], PALM [31], [32] local decision tree/rule √ feature MMD-critic [37] global data point √ data point influence function [38] global data point data point SHAP [40], [42] local Shapley value √ feature [48], [49] global KG feature [50], [51], [52] global KG semantic relations RKGE [53], KPRN [54] global KG decision Path [56] local KG semantic relations [57] local KG semantic relations [64] local NN feature CAM [71], Grad-CAM [70], DeepLIFT [72], LRP [73], IBD [74] local NN feature SVCCA [75] global NN neuronal relations ACD [76] global/l ocal NN feature [78], [79], [80] global NN neuronal semantic [81], [82], [83] local NN feature [85], [86], [87] local NN data/feature…”

Section: A Comparison Analysismentioning

confidence: 99%

Review Study of Interpretation Methods for Future Interpretable Machine Learning

Zhou

2020

IEEE Access

View full text Add to dashboard Cite

In recent years, black-box models have developed rapidly because of their high accuracy. Balancing the interpretability and accuracy is increasingly important. The lack of interpretability severely limits the application of the model in academia and industry. Despite the various interpretable machine learning methods, the perspective and meaning of the interpretation are also different. We provide a review of the current interpretable methods and divide them based on the model being applied. We divide them into two categories: interpretable methods with the self-explanatory model and interpretable methods with external co-explanation. And the interpretable methods with external co-explanation are further divided into subbranch methods based on instances, SHAP, knowledge graph, deep learning, and clustering model. The classification aims to help us understand the model characteristics applied in the interpretable method better. This survey makes the researcher find a suitable model to solve interpretability problems more easily. And the comparison experiments contribute to discovering complementary features from different methods. At the same time, we explore the future challenges and trends of interpretable machine learning to promote the development of interpretable machine learning. INDEX TERMS Deep learning, interpretable machine learning, interpretable methods with the selfexplanatory model, interpretable methods with external co-explanation, influential instance, knowledge graph.

show abstract

“…The method presented by Bascol et.al. [11] studied the use of Convolutional Auto-encoders for unsupervised mining recurrent temporal patterns mixed in multivariate time series.…”

Section: Automatic Periodic Motif Detectionmentioning

confidence: 99%

Unsupervised co-segmentation of actions in motion capture data and videos

Παπουτσάκης¹

View full text Add to dashboard Cite

Στην παρούσα διατριβή εστιάζουμε στο πρόβλημα της χρονικής συντμηματοποίησης δράσεων σε ακολουθίες πολυδιάστατων δεδομένων κίνησης (motion capture data) και σε ακολουθίες εικόνων (βίντεο). Δοσμένων δύο ακολουθιών δεδομένων που αναπαριστούν δράσεις/δραστηριότητες, στόχος είναι να εντοπίσουμε και να ορίσουμε τα χρονικά όρια για όλα τα ζεύγη υπο-ακολουθιών που αναπαριστούν μια κοινή δράση (common action or commonality), δηλαδή μια δράση που επαναλαμβάνεται ταυτόσημη ή με παρόμοιο τρόπο μεταξύ των ακολουθιών. Το εν λόγω πρόβλημα αποτελεί ένα σημαντικό ερευνητικό θέμα στις περιοχές της Αναγνώρισης Προτύπων και της Υπολογιστικής ΄Ορασης και παρά την ερευνητική προσπάθεια που έχει αφιερωθεί σε αυτό, δεν έχει επιλυθεί πλήρως. Η παρούσα διατριβή περιγράφει μια νέα αποδοτική, μη-εποπτευόμενη προσέγγιση η οποία δεν προϋποθέτει εκ των προτέρων γνώση και μοντέλα των δράσεων που εκτελούνται, ενώ υιοθετεί μια γενική και ευέλικτη μοντελοποίηση των δεδομένων εισόδου ως πολυδιάστατες χρονοσειρές. Θεωρούμε διαφορετικά σενάρια για τις ακολουθίες δράσεων που δημιουργούν ενδιαφέρουσες προκλήσεις ως προς την επίλυση του προβλήματος: (α) σε κάθε ακολουθία εμφανίζονται μία ή περισσότερες δράσεις, εκτελούμενες απο ένα ή περισσότερα υποκείμενα (άτομα ή αντικείμενα), (β) στη γενική περίπτωση, ο αριθμός των κοινών δράσεων μεταξύ δύο ακολουθιών θεωρείται άγνωστος, (γ) μια κοινή δράση μπορεί να εντοπιστεί σε οποιοδήποτε χρονικό τμήμα μιας ακολουθίας, (δ) τα τμήματα μιας κοινής δράσης μεταξύ δύο ακολουθιών ενδέχεται να έχουν διαφορετική διάρκεια, να περιλαμβάνουν κινήσεις διαφορετικής ταχύτητας και τρόπου/τεχνικής εκτέλεσης, (ε) οι δράσεις που εμφανίζονται στις ακολουθίες ενδέχεται να αναπαριστούν φυσικές κινήσεις ενός ή περισσότερων ανθρώπων ή αντικειμένων, καθώς επίσης και περίπλοκες αλληλεπιδράσεις ανθρώπων με αντικείμενα. Προτείνουμε δύο καινοτόμες μεθόδους για την επίλυση του προβλήματος της χρονικής συν-τμηματοποίησης δράσεων σε ζεύγη ακολουθιών δεδομένων. Η πρώτη μέθοδος επιτυγχάνει την ανίχνευση και συν-τμηματοποίηση των N σημαντικότερων κοινών δράσεων μεταξύ των υπο σύγκριση ακολουθιών δεδομένων, βασιζόμενη στην ελαχιστοποίηση συνάρτησης κόστους που εκφράζει το κόστος μη-γραμμικής χρονικής στοίχισης των υπο-ακολουθιών των κοινών δράσεων, χρησιμοποιώντας την μέθοδο Dynamic Time Warping (DTW). Η διαδικασία ταυτόχρονης αναζήτησης λύσεων (κοινών δράσεων) και ελαχιστοποίησής της συνάρτησης κόστους μοντελοποιείται ως ένα στοχαστικό πρόβλημα, το οποίο λύνεται βάσει της εξελικτικής μεθόδου βελτιστοποίησης Canonical Particle Swarm Optimization (PSO). Η δεύτερη μέθοδος βασίζεται στην μοντελοποίηση του προβλήματος της συν-τμηματοποίησης των N σημαντικότερων κοινών δράσεων, ως ένα πρόβλημα αναζήτησης σε γράφο Ο γράφος ορίζεται ως ο πίνακας (μήτρα) που περιλαμβάνει τις Ευκλείδειες αποστάσεις όλων των δυνατών ζευγών καρέ των ακολουθιών εικόνων, καθένα από τα οποία αναπαρίσταται ως ένα διάνυσμα χαρακτηριστικών. Γίνεται χρήση του αλγορίθμου Johnson’s για την αναζήτηση των συντομότερων μονοπατιών σε γράφο και κατ' επέκταση για την επίλυση του προβλήματος μας. Και οι δύο πρωτότυπες μεθοδολογίες υποβάλλονται σε εκτενείς πειραματικές διαδικασίες χρησιμοποιώντας πλήθος απο ζεύγη ακολουθιών εικόνων (βίντεο) ή ακολουθιών που αναπαριστούν 3Δ δεδομένα καταγραφής κίνησης, αναδεικνύοντας την αποτελεσματικότητάς τους σε σύγκριση με άλλες υφιστάμενες αποδοτικές μεθόδους. Επιπρόσθετα, βασιζόμενοι στην εύρωστη απόδοση των μεθόδων αυτών, αναπτύσσουμε μια νέα μέθοδο για την εκτίμηση της ομοιότητας μεταξύ δύο ακολουθιών δράσεων, που επίσης υποστηρίζει την εξαγωγή επιχειρημάτων που αιτιολογούν τον υπολογισμό αυτό. Η μέθοδος αυτή βασίζεται στην χρονική συν-τμηματοποίηση των ζευγών 3Δ τροχιών κίνησης των ανθρώπινων αρθρώσεων και των αντικειμένων που παρατηρούνται στις ακολουθίες, συνδυάζοντας επιπλέον πληροφορία σχετικά με την σημασιολογική τους ομοιότητα. Τα αποτελέσματα αυτής της διαδικασίας ανα ακολουθία μοντελοποιούνται ως ένας γράφος που αναπαριστά το περιεχόμενό της ακολουθίας ανά αντικείμενο. Συγκεκριμένα, κάθε αντικείμενο αντιστοιχεί σε ένα κόμβο του γράφου. Οι ακμές του γράφου μοντελοποιούν πληροφορία με βάση τα αποτελέσματα της χρονικής συν-τμηματοποίησης μεταξύ των αντικειμένων της ακολουθίας και της σημασιολογικής τους πληροφορίας, εφόσον αυτή είναι διαθέσιμη. Στη συνέχεια η ομοιότητα/απόσταση μεταξύ δύο ακολουθιών δράσεων βασίζεται στην απόσταση (Graph Edit Distance) μεταξύ των αντίστοιχων γράφων τους, και υπολογίζεται ως το κόστος μιας βέλτιστης λύσης αντιστοίχησης (bipartite graph matching) σε διμερή γράφο που συντίθεται απο τους δύο επιμέρους γράφων. Η προτεινόμενη μεθοδολογία αξιολογείται πειραματικά στα προβλήματα της κατηγοριοποίησης δράσεων, της αντιστοιχίας δράσεων (action matching) και στον υπολογισμό της σειράς κατάταξης μεταξύ ζευγών δράσεων με βάση την ομοιότητά τους (pairwise action ranking) ανάμεσα σε τριπλέτες ακολουθιών εικόνων. Τα αποτελέσματα οδηγούν στο συμπέρασμα ότι η προτεινόμενη μέθοδος έχει αξιόλογη απόδοση, συγκρίσιμη ή και καλύτερη αυτής των καλύτερων γνωστών σύγχρονων μεθόδων μη εποπτευόμενης και εποπτευόμενης μάθησης.

show abstract

Unsupervised Interpretable Pattern Discovery in Time Series Using Autoencoders

Cited by 13 publications

References 22 publications

Pattern discovery in time series using autoencoder in comparison to nonlearning approaches

Pattern discovery in time series using autoencoder in comparison to nonlearning approaches

Review Study of Interpretation Methods for Future Interpretable Machine Learning

Unsupervised co-segmentation of actions in motion capture data and videos

Contact Info

Product

Resources

About