Best Practices in Data Cleaning: A Complete Guide to Everything
                    You Need to Do Before and After Collecting Your Data

Osborne, Jason W.

doi:10.4135/9781452269948

Cited by 293 publications

(273 citation statements)

References 0 publications

Supporting

Mentioning

253

Contrasting

Unclassified

Order By: Relevance

“…Choć dane pochodzące z Internetu są relatywnie wiarygodne i pozbawione manualnych błędów (w porów-naniu np. do danych zbieranych przez ankieterów), praktyka analityczna pokazuje (Osborne 2012), że zanim zostaną przeanalizowane, dane te muszą zostać poddane procesowi czyszczenia (ang. data cleaning).…”

Section: Wyzwania W Analizie Dużych Zbiorów Danychunclassified

Zastosowanie technologii big data w e-biznesie

Gamrot¹

2015

Funkcjonowanie E-Biznesu. Zasoby, Procesy, Technologie

View full text Add to dashboard Cite

Zastosowanie technologii big data w e-biznesie WstępObserwowane w ostatnich latach upowszechnienie się rozwiązań e-commerce, wraz z rozwojem technologii informatycznych, przyczyniło się do gwał-townego wzrostu ilości informacji dotyczących aktywności gospodarczej w internecie. Rosnąca każdego dnia ilość danych doczekała się nawet własnej nazwy -big data, co z angielskiego rozumieć można potocznie jako "duże dane" lub "masowe zbiory danych" (Witkowski 2014: 9-10). I choć duże zbiory danych mogą dotyczyć wszystkich sfer życia i biznesu, ich podstawowym źródłem jest internet (Kohavi, Provost 2001: 5-10).Wśród teoretyków i praktyków e-biznesu dominuje przekonanie o istnieniu znaczącej wartości dodanej danych dotyczących aktywności gospodarczej w internecie Wielki 2014). Nie dzieje się to bez przyczyny -posiadając informacje o zachowaniu klientów podczas dokonywania decyzji o zakupie, przedsiębiorcy są w stanie dynamicznie dostosowywać wyświetlane treści do oczekiwań i preferencji użytkowników strony internetowej (Kohavi 2001). Dane dotyczące wielkości sprzedaży mogą z kolei pomóc w optymalizacji decyzji dotyczących wielkości stanów magazynowych, obniżając jednocześnie koszty logistyki. Za pomocą algorytmów big data możliwe jest również wykrywanie podejrzanych zachowań, minimalizując jednocześnie ryzyko oszustwa przez nieuczciwych klientów (Lek 2001: 160-165).Wykorzystanie masowych zbiorów danych stanowi jednak duże wyzwanie. Samo posiadanie dużej ilości danych nie jest bowiem tożsame z posiadaniem dużej ilości informacji potrzebnych w procesie podejmowania decyzji. Aby surowe dane (ang. raw data) zostały przekształcone w wartościowe informacje, muszą być najpierw odpowiednio przygotowane, umieszczone w odpowiednim, zapewniającym prywatność i bezpieczeństwo miejscu oraz poddane skomplikowanej analizie statystycznej. Wszystkie te kroki, choć nie różnią się znacząco od standardowego podejścia do analizy, zaczynają być wyjątkowo problematyczne  Wydział Ekonomiczno-Socjologiczny, Uniwersytet Łódzki.

show abstract

Section: Wyzwania W Analizie Dużych Zbiorów Danychunclassified

Zastosowanie technologii big data w e-biznesie

Gamrot¹

2015

Funkcjonowanie E-Biznesu. Zasoby, Procesy, Technologie

View full text Add to dashboard Cite

show abstract

“…In this work, we assume that we neither know all entities in D nor its size (i.e., open world assumption). This distinguishes our problem from the problem of missing data [37,43,44], which refers to incomplete data or missing attribute values.…”

Section: Unknown Unknownsmentioning

confidence: 99%

“…In the statistics literature, this second problem is referred to as Missing Not At Random (MNAR) [37,43], where the missingness of a data item depends on its value. There are many statistical inference techniques dealing with MNAR [1,10,9,1,52,40], but nearly all the techniques require at least partial knowledge of the record.…”

Section: A Naïve Solutionmentioning

confidence: 99%

See 1 more Smart Citation

Estimating the Impact of Unknown Unknowns on Aggregate Query Results

Chung

Mortensen

Binnig

et al. 2018

ACM Trans. Database Syst.

View full text Add to dashboard Cite

It is common practice for data scientists to acquire and integrate disparate data sources to achieve higher quality results. But even with a perfectly cleaned and merged data set, two fundamental questions remain: (1) is the integrated data set complete and (2) what is the impact of any unknown (i.e., unobserved) data on query results?In this work, we develop and analyze techniques to estimate the impact of the unknown data (a.k.a., unknown unknowns) on simple aggregate queries. The key idea is that the overlap between different data sources enables us to estimate the number and values of the missing data items. Our main techniques are parameter-free and do not assume prior knowledge about the distribution. Through a series of experiments, we show that estimating the impact of unknown unknowns is invaluable to better assess the results of aggregate queries over integrated data sources.

show abstract

“…According to Osborne (2012), "the better your reliability, the more accurate and replicable your results" (p. 262).…”

Section: E--------------f--------------g--------------h Slightly Truementioning

confidence: 99%

Examining the perceptions of first-year STEM students on retention factors at the University of the West Indies.

Cox¹,

Joy²

View full text Add to dashboard Cite

Best Practices in Data Cleaning: A Complete Guide to Everything You Need to Do Before and After Collecting Your Data

Cited by 293 publications

References 0 publications

Zastosowanie technologii big data w e-biznesie

Zastosowanie technologii big data w e-biznesie

Estimating the Impact of Unknown Unknowns on Aggregate Query Results

Examining the perceptions of first-year STEM students on retention factors at the University of the West Indies.

Contact Info

Product

Resources

About