Statistical wavelet-based anomaly detection in big data with compressive sensing

Wang, Wei; Lu, Di; Zhou, Xin; Zhang, Baoju; Mu, Jiasong

doi:10.1186/1687-1499-2013-269

Cited by 29 publications

(23 citation statements)

References 29 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…For example, for a 2000-mAh (milliamperes per hour) battery operating with 3.7 volts, the mobile edge device can last for around 16 h in LA mode, 140 h in CA mode and around 20 h in CLA mode. The battery time was calculated using Equation (9). Here, "P" represents the power.…”

Section: Results Of the Real-world Experimentsmentioning

confidence: 99%

See 1 more Smart Citation

RedEdge: A Novel Architecture for Big Data Processing in Mobile Edge Computing Environments

Rehman

Jayaraman

Malik

et al. 2017

JSAN

View full text Add to dashboard Cite

Abstract:We are witnessing the emergence of new big data processing architectures due to the convergence of the Internet of Things (IoTs), edge computing and cloud computing. Existing big data processing architectures are underpinned by the transfer of raw data streams to the cloud computing environment for processing and analysis. This operation is expensive and fails to meet the real-time processing needs of IoT applications. In this article, we present and evaluate a novel big data processing architecture named RedEdge (i.e., data reduction on the edge) that incorporates mechanism to facilitate the processing of big data streams near the source of the data. The RedEdge model leverages mobile IoT-termed mobile edge devices as primary data processing platforms. However, in the case of the unavailability of computational and battery power resources, it offloads data streams in nearer mobile edge devices or to the cloud. We evaluate the RedEdge architecture and the related mechanism within a real-world experiment setting involving 12 mobile users. The experimental evaluation reveals that the RedEdge model has the capability to reduce big data stream by up to 92.86% without compromising energy and memory consumption on mobile edge devices.

show abstract

Section: Results Of the Real-world Experimentsmentioning

confidence: 99%

“…The compression-based data reduction helps with reducing the overall volume of big data that could be easily handled during in-network data movement in clusters and data centres [8,9,29,30]. However, these methods involve computational overhead of decompression.…”

Section: Related Workmentioning

confidence: 99%

RedEdge: A Novel Architecture for Big Data Processing in Mobile Edge Computing Environments

Rehman

Jayaraman

Malik

et al. 2017

JSAN

View full text Add to dashboard Cite

show abstract

“…Çox sayda tədqiqatlarda anomaliyaların aşkarlanması üçün statistik yanaşmalar, ölçünün kiçildilməsi, maşın təliminə əsaslanan, neyron şəbəkələr, bayes şəbəkəsi, entropiya, qaydalara əsaslanan, SVM əsaslı və s. model və alqoritmlər təklif olunmuşdur [7,9,[14][15][16][17][18].…”

Section: Anomaliyalarin Aşkarlanmasi Metodlariunclassified

Big Data analitika əsasında informasiya təhlükəsizliyi obyektində anomaliyaların aşkarlanması modeli

Alıguliyev¹,

Hacırəhimova²

2017

İnformasiya Təhlükəsizliyinin Aktual Problemləri III Respublika Elmi-Praktiki Seminarının Materialları

View full text Add to dashboard Cite

Xülasə-Anomaliyaların aşkarlanması verilənlərin analizində əsas məsələlərdəndir və şəbəkə təhdidlərinin aşkarlanmasında geniş istifadə olunur. Məqalədə Big data analitika əsasında şəbəkə trafikində anomaliyaların aşkarlanması üçün daha dəqiq və sadə multi-klassifikator modeli təklif olunmuşdur. Eksperimentlər NSL-KDD verilənlər dəsti üzrə WEKA proqram təminatında aparılmışdır.Anomaliyaların aşkarlanmasının dəqiqliyi baxımından təklif olunan model yaxşı nəticələr göstərmişdir.Açar sözlər-Anomaliya, Big data, Big data analitika, informasiya təhlükəsizliyi, klassifikatorlar ansamblı, IDS, NSL-KDD, WEKA. I. GİRİŞBəşəriyyətin mövcudluğundan təhlükəsizlik problemləri insanları daim düşündürmüş. Big data erasında isə təhlükəsizlik məsələlərinə maraq daha da artmış və siyasi, iqtisadi, sosial, demoqrafik, hərbi, ekoloji və s. kimi aspektlərdə çox ciddi elmi-tədqiqat istiqamətinə çevrilmişdir.[1]-də də göstərildiyi kimi Big data və informasiya təhlükəsizliyi məsələlərinə iki müxtəlif aspektdən baxmaq olar: informasiya təhlükəsizliyində Big data analitikanın tətbiqi və Big data texnologiyalarında informasiya təhlükəsizliyi problemləri.Şəbəkə xidmətlərindən, veb əlavələrdən geniş istifadə müəssisə və təşkilatlarda şəbəkə və kompüter təhdidlərinə qarşı təhlükəsizlik tədbirlərinin həyata keçirilməsini ön plana çəkmişdir. Belə ki, son zamanlar kiber-terror, kibermüharibələr və s. kimi kiber-məqsədli hücumların (məsələn, kiber-terror, kiber-müharibələr, APT-Advanced Persistent Threat və s.) sayı sürətlə artmaqdadır [2]. Korporativ kompüter şəbəkələrin təhlükəsizliyinə böyük təhdidlər yaradanbu hücumların aşkarlanması üçün şəbəkə, host, təhlükəsizlik qurğuları və s. mənbələrdən çox böyük həcmdə verilənlərin toplanması, verilənlərdə anomaliyaların aşkarlanması məsələsini aktuallaşdırır və məsələnin həllində daha effektiv analiz metod və alqoritmlərinin yaradılmasını tələb edir. Çünki kompüter şəbəkələrində təhlükəli trafiklərin erkən aşkarlanması, log faylların analizi şəbəkə təhlükəsizliyinin təmin edilməsində əsas şərtdir. Verilənlərin analizində anomaliyaların aşkarlanması isə əsas məsələlərdəndir. Anomaliyaların aşkarlanması qeyri-müntəzəm davranışlara müdaxilə etmək imkanı verir. Hücumların qarşısının qabaqcadan alınması (0-cı gündən), yəni əvvəllər rast gəlinməyən və bədniyyətli verilənlərin filtirlənməsi xüsusilə vacibdir.Anomaliya verilənlərdə müəyyən olunmuş normal davranışa uyğun olmayan qanunauyğunluq kimi başa düşülür və ya verilənlərin göstəricisi kimi təyin olunur. Tədqiqatlarda anomaliya sözünə sinonim kimi "outliers", "exceptions", "peculiarities", "surprise" terminləri də istifadə olunur [3]. Yəni anomaliyaların aşkarlanması verilənlərdə ehtimal olunan davranışlara uyğun olmayan şablonların tapılması problemidir. Bu problem özünü Big data kontekstində daha qabarıq göstərir. Anomaliyaların aşkarlanmasındakı ənənəvi metodlar böyük həcm, müxtəliflik, yüksək sürət kimi kimi xüsusiyyətlərlə təyin olunan böyük verilənlərdə yaxşı nəticə göstərmirlər [4][5][6][7].Anomaliyaların düzgün aşkarlanmaması və ya emalı əldə olu...

show abstract

“…Wang et al [5] presented an anomaly identification and huge medical data analysis. Due the sampling theory as well as storage of huge medical data and inadequacy of uncompressed data, a new theory called compressive sensing was introduced and utilized in the anomaly identification techniques.…”

Section: Existing Literaturesmentioning

confidence: 99%

Reviewing the Techniques of Disease Detection and Classification from the Challenging Medical Data

S¹,

Seetharam²

2015

IJCA

View full text Add to dashboard Cite

The area of healthcare sector is now meeting a new challenge of data management. Owing to adoption of advance technology for patient-related services as well as diagnosis, a high-dimensional data is being generated. The biggest problems of such data are manifold e.g. i) they are much bigger in size that is difficult to be stored in physical servers, ii) they are massively growing in size with respect to increase of time, iii) they are of various forms and formats owing to be generated from multiple devices, and iv) there is larger dimensionality of uncertainty too. Owing to all these problems, it is almost impossible to apply the conventional data analysis algorithm for extracting teh knowledge. This paper discusses about the some of the recently adopted technique for analysis such medical data for an effective disease detection and classification with a contribution of exploring the research gap for the existing literatures.

show abstract

Statistical wavelet-based anomaly detection in big data with compressive sensing

Cited by 29 publications

References 29 publications

RedEdge: A Novel Architecture for Big Data Processing in Mobile Edge Computing Environments

RedEdge: A Novel Architecture for Big Data Processing in Mobile Edge Computing Environments

Big Data analitika əsasında informasiya təhlükəsizliyi obyektində anomaliyaların aşkarlanması modeli

Reviewing the Techniques of Disease Detection and Classification from the Challenging Medical Data

Contact Info

Product

Resources

About