On Multidimensional Wavelet Synopses for Maximum Error Bounds

Zhang, Qing; Pang, Chaoyi; Hansen, David

doi:10.1007/978-3-642-00887-0_57

Cited by 15 publications

(3 citation statements)

References 13 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…the size of the synopses is only 0.6% of the original data size. Readers interested in details of the compression technique can refer to [29], [30]. This module aims at displaying original data stream and related clinical information.…”

Section: A Compressionmentioning

confidence: 99%

Towards Health Data Stream Analytics

Zhang

Pang

McBride

et al. 2010

IEEE/ICME International Conference on Complex Medical Engineering

Self Cite

View full text Add to dashboard Cite

Data streams, or data sets which continuously and rapidly grow over time, are a prominent form of clinical data generated during the monitoring and treatment of patients in the health care industry. We propose the name Health Data Stream Analytics (HDSA) to the application of stream data processing to clinical data. Our work in this area is demonstrating the useful role Health Data Stream Analytics can play in clinical decision support, patient safety improvement and early detection of adverse patient outcomes. Two major challenges in applying stream data processing to heath care are tailoring query support for the clinical context and dealing with the clinical requirement of online query processing. In this paper, we propose the Anaesthetic Data Analyser (ADA)as a Health Data Stream Analytics System for the anaesthetics specialty and describe how it addresses these challenges. ADA differentiates from current approaches by looking at trends in the data stream rather than a single data value against a preset threshold. The trend analysis supported by ADA is a novel application in this area, and enables support for adverse symptoms monitoring in physiological stream data, alerting clinicians when a pre-defined adverse data pattern is detected in the physiological signals. This paper also describes an online query processing algorithm and the results of experiments on "real world" physiological steam data which indicate the algorithms has sub-second response times for trend queries.

show abstract

Section: A Compressionmentioning

confidence: 99%

Towards Health Data Stream Analytics

Zhang

Pang

McBride

et al. 2010

IEEE/ICME International Conference on Complex Medical Engineering

Self Cite

View full text Add to dashboard Cite

show abstract

“…To alleviate these drawbacks, researchers have made efforts in constructing the representations with guaranteed maximum allowable approximate error on each data point (L ∞ norm), which is termed as the error-bounded representations. It has been engaged in many real world applications, such as continuous queries over data streams [15,19], sensor network management [25,35], and monitoring physiological data for surgery operations [23,36].…”

Section: Introductionmentioning

confidence: 99%

Error-Bounded Approximation of Data Stream: Methods and Theories

Xie

Pang

Zhou

et al. 2018

Studies in Big Data

Self Cite

View full text Add to dashboard Cite

As the development of sensor network and Internet of Things, the volume of data is rapidly increasing and the streaming data has attracted much attention recently. To efficiently process and explore data streams, the compact data representation is playing an important role, since the data approximations other than the original data items are usually applied in many stream mining tasks, such as clustering, classification and correlation analysis. In this chapter, we focus on the maximum error-bounded approximation of data stream, which represents the streaming data with constrained approximation error on each data point. There are two criteria for the approximation solution: self-adaption over time for varied error bound and real-time processing. We reviewed the existing data approximation techniques and summarized some essential theories such as optimization guarantee. Two op-Qing Xie( ) * Reprinted by permission from Springer Nature: Springer, The VLDB Journal, Maximum error-bounded piecewise linear representation for online stream approximation, Q. Xie et al., c Springer-Verlag Berlin Heidelberg 2014. (doi: https://doi.org/10.1007/s00778-014-0355-0) 2 Q. Xie et al.timal linear-time algorithms are introduced to construct error-bounded piecewise linear representation for data stream. One generates the line segments by data convex analysis, and the other one is based on the transformed space, which can be extended to a general model. We theoretically analyzed and compared these two different spaces, and proved the theoretical equivalence between them, as well as the two algorithms.

show abstract

“…However, the algorithm of [ZPH09] is presented in a centralized setting and there is no evidence of its performance on large scale datasets.…”

Section: Synopses For Multidimensional Datamentioning

confidence: 99%

Wavelet-based algorithms for approximate processing in the big data era

Mytilinis¹,

Μυτιλήνης²

View full text Add to dashboard Cite

Τα σύγχρονα συστήματα αναλυτικής επεξεργασίας καλούνται να αντιμετωπίσουν έναν τεράστιο όγκο δεδομένων. Ο όγκος αυτός των δεδομένων καθώς και οι αυστηρές απαιτήσεις για τον χρόνο απόκρισης των ερωτημάτων δίνουν όλο και αυξανόμενη έμφαση στην αποδοτικότητα των τεχνικών Προσεγγιστικής Επεξεργασίας Ερωτημάτων (ΠΕΕ). Η βασική ιδέα της ΠΕΕ είναι η κατασκευή μιας συμπιεσμένης αναπαράστασης ενός συνόλου δεδομένων και η εκτέλεση των ερωτημάτων, που θέτουν οι χρήστες, πάνω σε αυτή τη σύνοψη αντί για τα αρχικά δεδομένα. Μία σημαντική πρόκληση τα τελευταία χρόνια είναι η κατασκευή συνόψεων που παρέχουν αιτιοκρατικές εγγυήσεις για την ποιότητα του αποτελέσματος. Οι ντετερμινιστικές εγγυήσεις παρέχουν ισχυρά αποτελέσματα και είναι ευκολότερο για τους χρήστες να τις κατανοήσουν και να τις ερμηνεύσουν. Καθώς τα δείγματα και τα sketches συνήθως παρέχουν στατιστικές εγγυήσεις, για την παροχή αιτιοκρατικών εγγυήσεων καταφεύγουμε κυρίως σε τεχνικές όπως τα ιστογράμματα και τα wavelets. Λόγω της ικανότητάς του να προσεγγίζει έντονες ασυνέχειες, ο μετασχηματισμός wavelet έχει αποδειχτεί ένα αρκετά αποδοτικό εργαλείο για τη μείωση του μεγέθους των δεδομένων. Ωστόσο, οι υπάρχουσες τεχνικές οι οποίες είναι βασισμένες στην χρήση των wavelets και οι οποίες παράλληλα στοχεύουν στην ελαχιστοποίηση του παρατηρούμενου μέγιστου σφάλματος πάσχουν από μεγάλη πολυπλοκότητα που καθιστά την χρήση τους μη πρακτική. Επιπλέον, δεν μπορούν να χειριστούν αποδοτικά το πρόβλημα σε πολυδιάστατα δεδομένα. Ως εκ τούτου, στο πρώτο μέρος της διατριβής προτείνω παράλληλους αλγορίθμους που εκμεταλλεύονται τις βασικές ιδιότητες του μετασχηματισμού wavelet και κατασκευάζουν αποδοτικά συνόψεις που ελαχιστοποιούν μη-Ευκλείδιες μετρικές σφαλμάτων. Η πειραματική αξιολόγηση στο κατανεμημένο σύστημα επεξεργασίας Hadoop έδειξε ότι οι προτεινόμενοι αλγόριθμοι επιτυγχάνουν γραμμική κλιμακωσιμότητα και μπορούν να επιταχύνουν την κατασκευή της σύνοψης μέχρι και 20 φορές όταν ο αλγόριθμος μπορεί να τρέξει πλήρως παράλληλα στην συστοιχία. Το δεύτερο μέρος της διατριβής μελετάει το πρόβλημα σε περιβάλλοντα ροών δεδομένων που συναντάμε σε εφαρμογές IoT. H εποχή του IoT έχει προκαλέσει μια μετατόπιση των συστημάτων από ισχυρούς υπολογιστικά διακομιστές σε συσκευές που λειτουργούν "στην άκρη του δικτύου" κι έχουν περιορισμένες δυνατότητες επεξεργασίας και μνήμης. Οι αλγόριθμοι που σχεδιάζονται για τέτοιες αρχιτεκτονικές θα πρέπει να έχουν χαμηλή χρονική πολυπλοκότητα και ελάχιστο αποτύπωμα στη μνήμη. Επίσης, σε πολλές εφαρμογές ροών δεδομένων, τα πιο πρόσφατα δεδομένα θεωρούνται πιο σημαντικά. Το μοντέλο κυλυομένου παραθύρου είναι μια ιδιαίτερη περίπτωση επεξεργασίας ροών δεδομένων, όπου διαρκώς μόνο τα πιο πρόσφατα στοιχεία παραμένουν ενεργά και τα υπόλοιπα απορρίπτονται. Καθώς στις ΙοΤ εφαρμογές η διαθέσιμη μνήμη είναι συνήθως πολύ μικρότερη από το μέγεθος του παραθύρου, τα ερωτήματα απαντώνται από συνόψεις που κατασκευάζονται σε πραγματικό χρόνο. Για την αποτελεσματική κατασκευή τέτοιων συνόψεων παρουσιάζονται αλγόριθμοι βασισμένοι σε wavelets. Οι προτεινόμενοι αλγόριθμοι παρέχουν ντετερμινιστικές εγγυήσεις και παράγουν σχεδόν ακριβή αποτελέσματα για μια ποικιλία κατανομών δεδομένων και φόρτου ερωτημάτων.

show abstract

On Multidimensional Wavelet Synopses for Maximum Error Bounds

Cited by 15 publications

References 13 publications

Towards Health Data Stream Analytics

Towards Health Data Stream Analytics

Error-Bounded Approximation of Data Stream: Methods and Theories

Wavelet-based algorithms for approximate processing in the big data era

Contact Info

Product

Resources

About