Maintaining bounded-size sample synopses of evolving datasets

Gemulla, Rainer; Lehner, Wolfgang; Haas, Peter J.

doi:10.1007/s00778-007-0065-y

Cited by 65 publications

(67 citation statements)

References 30 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…There has been recent work on maintaining bounded-size samples in a data warehouse that continually receives new data, but only random samples were considered [8,17]. Our (one-pass and two-pass) algorithms can be thought of as constructing special summaries that may be stored in a data warehouse for CFD confidence estimation.…”

Section: Related Workmentioning

confidence: 99%

Estimating the confidence of conditional functional dependencies

Cormode

Golab

Korn

et al. 2009

Proceedings of the 2009 ACM SIGMOD International Conference on Management of Data

View full text Add to dashboard Cite

Incidentiemeetkunde is een theoretisch kader waarin bijna elke vorm van meetkunde past. Wij zullen onder andere zien hoe affiene en projectieve meetkunde kunnen gezien worden als voorbeelden van incidentiemeetkunden. Verder tonen we nog enkele andere mooie incidentiemeetkunden die dikwijls binnen projectieve ruimten leven. Voorbeelden en definitieVoorbeeld 1. Door de studie van affiene vlakken over K-vectorruimten kwamen wij tot de axiomatische definitie 1.4.1die algemener blijkt te zijn (zie voorbeeld 1.4.1). Deze axiomatische definitie maakt geen gebruik van acties of vectorruimten en is veel eenvoudiger dan definitie 1.1.1 . Toch zijn de axiomatische affiene vlakken niet veel algemener dan de affiene vlakken over een K-vectorruimte want indien we aan definitie 1.4.1 het Pappus-axioma (A6) toevoegen, volgt uit stelling 1.4.8 dat dit vlak isomorf is met een affien vlak over een zekere K-vectorruimte.We merken op dat de definitie van een axiomatisch affien vlak (en ook van het Pappusaxioma) geformuleerd wordt aan de hand van de zogenaamde incidentie-eigenschappen van punten en rechten. We zeggen dat een punt p incident is met een rechte R indien p ∈ R. Axioma (A2) bijvoorbeeld, kan men als volgt formuleren: Gegeven een rechte R en een punt p niet incident met R, bestaat er steeds een unieke rechte R ′ zodanig dat p incident is met R ′ en geen enkel punt tegelijk incident is met R en R ′ .Het lijkt eigenaardig dat wij tot nu toe enkel spraken over axiomatische affiene vlakken. Zou men de hogerdimensionale affiene ruimten niet kunnen beschrijven via incidentie-eigenschappen? Misschien worden deze beschrijvingen te ingewikkeld?Voorbeeld 2. Ook de definitie van axiomatisch projectief vlak (zie oefening 2.1.2.1 op bladzijde 50) is gebaseerd op de notie incidentie. We merkten op dat dit axiomastelsel zelfduaal is. Indien men de axioma's formuleert als incidentie-eigenschappen, wordt dit nog duidelijker omdat 'incident zijn' zelfduaal is. Als een punt p op een rechte R ligt, zegt men zowel "p is incident met R" als "R is incident met p". Door te spreken van 'incidentie', verdwijnt het idee dat rechten "groter" zijn dan punten. Alle projectieve objecten worden op dezelfde voet 93

show abstract

Section: Related Workmentioning

confidence: 99%

Estimating the confidence of conditional functional dependencies

Cormode

Golab

Korn

et al. 2009

Proceedings of the 2009 ACM SIGMOD International Conference on Management of Data

View full text Add to dashboard Cite

show abstract

“…This means that reservoir sampling can handle only updates and insertions, and not the deletions. To deal with this issue, a new sampling method is proposed in [66], called Random Pairing (RP), to cope with deletions in a data set with stable size. In this way that, they add new data points to the sample to keep the size of sample constant when a deletion occurs in the sample.…”

Section: Random Pairingmentioning

confidence: 99%

“…There is more research considering maintenance of dynamic data streams such as [87]. Discovery of association rules through sampling has been investigated in many studies by [88][89][90] sampling approaches for database files are reviewed.…”

Section: Other Improvements and Applications Of Probability Sampling mentioning

confidence: 99%

Data Summarization Techniques for Big Data—A Survey

Hesabi

Tari

Gościński

et al. 2015

Handbook on Data Centers

View full text Add to dashboard Cite

“…"Priority Sampling" aims to reduce the variance on subset-sum queries [10]. There has also been work on sampling from streams which include deletions [15,16].…”

Section: · · ·mentioning

confidence: 99%

Continuous sampling from distributed streams

Cormode

Muthukrishnan

et al. 2012

J. ACM

View full text Add to dashboard Cite

A fundamental problem in data management is to draw and maintain a sample of a large data set, for approximate query answering, selectivity estimation, and query planning. With large, streaming data sets, this problem becomes particularly difficult when the data is shared across multiple distributed sites. The main challenge is to ensure that a sample is drawn uniformly across the union of the data while minimizing the communication needed to run the protocol on the evolving data. At the same time, it is also necessary to make the protocol lightweight, by keeping the space and time costs low for each participant. In this paper, we present communication-efficient protocols for continuously maintaining a sample (both with and without replacement) from k distributed streams. These apply to the case when we want a sample from the full streams, and to the sliding window cases of only the W most recent elements, or arrivals within the last w time units. We show that our protocols are optimal (up to logarithmic factors), not just in terms of the communication used, but also the time and space costs for each participant.

show abstract

Maintaining bounded-size sample synopses of evolving datasets

Cited by 65 publications

References 30 publications

Estimating the confidence of conditional functional dependencies

Estimating the confidence of conditional functional dependencies

Data Summarization Techniques for Big Data—A Survey

Continuous sampling from distributed streams

Contact Info

Product

Resources

About