The evaluation of Network Anomaly Detection Systems: Statistical analysis of the UNSW-NB15 data set and the comparison with the KDD99 data set

Moustafa, Nour; Slay, Jill

doi:10.1080/19393555.2015.1125974

Cited by 678 publications

(407 citation statements)

References 18 publications

Supporting

Mentioning

392

Contrasting

Unclassified

Order By: Relevance

“…Bu çalışma kapsamında kullanılan veri kümesi, Avustralya Siber Güvenlik Merkezi'nde bulunan Siber Güvenlik Laboratuvarından alınmıştır [14]. …”

Section: Veri Kümesiunclassified

Topluluk Yöntemlerine Dayalı Dağıtık Hizmet Dışı Bırakma Saldırılarının Algılanması

Çatak¹

2017

SDÜ Fen Bil Enst Der

View full text Add to dashboard Cite

Anahtar KelimelerSiber güvenlik, Dagıtık hizmet dışı bırakma saldırıları, Makine ögrenmesi, Topluluk algoritmaları Özet: Dagıtık hizmet dışı bırakma eski bir siber saldırı yöntemi olmasına ragmen günümüzde saldırganlar tarafından hala kullanılmaktadır. Saldırganlar, internet üzerinde yer alan protokollerin mevcut zafiyetleri kullanılarak çeşitli katmanlarda bu tip saldırılar gerçekleştirmektedirler. Günümüzde makine ögrenmesi yöntemleri gelişen teknoloji ile beraber yüksek boyutlu veri kümelerine uygulanabilir olmaktadır. Siber saldırıların algılan-ması için kullanılacak olan veri kümeleri yüksek sayıda satırlar içeren log dosyalarıdır. Bu çalışmada dagıtık hizmet dışı bırakma saldırılarında elde edilmiş olan logların analiz edilerek tahmin modeli ortaya çıkarılması hedeflenmiştir. Topluluk yöntemleri kullanılarak, siber güvenlik veri kümeleri egitilebilir duruma getirilmektedir. Farklı parametreler kullanılarak model performans ölçümü uygulanmıştır. Buşekilde en yüksek dogruluga sahip model oluşturulması hedeflenmiştir. Ortaya konulan modelin sınıflandırma performans ölçüsü tablo veşekillerle paylaşılmıştır. Detection of Distributed Denial of Service Attacks Based on Ensemble MethodsKeywords Cyber security, Distributed denial of service attacks, Machine learning, Ensemble methods Abstract: Distributed denial-of-service is still used by attackers today, although it is an old method of cyber attack. Attackers are performing such attacks on various layers using the existing weaknesses of the protocols on the internet. Today, machine learning methods can be applied to high-dimensional data sets together with developing technology. The data sets to be used for the detection of cyber attacks are log files with a high number of rows. In this study, it is aimed to analyze the logs obtained in distributed denial-of-service attacks to build the prediction model. Cyber security data sets are brought into a trainable state using ensemble methods. Model performance measurement was applied using different parameters. It is aimed to create a model with the highest degree of accuracy in this way. The classification performance of the proposed model is shared with tables and figures. GirişBilgisayar kullanımının oldukça artmış oldugu günümüzde, gerçekleşen siber saldırıların ölçegi buna baglı olarak oldukça artmaktadır. Yapılan siber saldırıların önemli bir kısmını dagıtık hizmet dışı bırakma saldırıları adı verilen, hizmet veren sistemin işlemci, disk, ag gibi kaynaklarını tüketmeyi hedefleyen saldırılardır [1]. Dagıtık hizmet dışı bırakma saldırıları, adından anlaşıldıgı üzere tek saldırgan bilgisayar tarafından degil, birden fazla bilgisayarın koordineli birşekilde saldırması ile gerçekleşmektedir. Bu sekilde bir koordinasyon içeren saldırgan bilgisayarlar topluluguna RobotNetwork veya kısaca botnet adı verilmektedir. Günümüzde yapılan dagıtık hizmeti dışı bırakma saldırıları için kullanılan botnet agında yer alan bileşenler sadece kişisel bilgisayarlardan oluşmayıp, Mirai saldırısında oldugu gibi kişisel bilgisayarların dış...

show abstract

“…Bu çalışma kapsamında kullanılan veri kümesi, Avustralya Siber Güvenlik Merkezi'nde bulunan Siber Güvenlik Laboratuvarından alınmıştır [14]. …”

Section: Veri Kümesiunclassified

Topluluk Yöntemlerine Dayalı Dağıtık Hizmet Dışı Bırakma Saldırılarının Algılanması

Çatak¹

2017

SDÜ Fen Bil Enst Der

View full text Add to dashboard Cite

show abstract

“…Failing to do so does not contribute to IDS research even if the system reliably detects all attacks showing the best possible capabilities. It has also been reported that the results of such contributions become irrelevant mostly when performed cross-validation with contemporary workloads [35]. Therefore, the models and evaluations based exclusively on outdated datasets place a shadow of doubt on their usefulness and also impair the ability to explore further knowledge horizons.…”

Section: Background and Related Workmentioning

confidence: 99%

Toward Bulk Synchronous Parallel-Based Machine Learning Techniques for Anomaly Detection in High-Speed Big Data Networks

et al. 2017

View full text Add to dashboard Cite

Anomaly detection systems, also known as intrusion detection systems (IDSs), continuously monitor network traffic aiming to identify malicious actions. Extensive research has been conducted to build efficient IDSs emphasizing two essential characteristics. The first is concerned with finding optimal feature selection, while another deals with employing robust classification schemes. However, the advent of big data concepts in anomaly detection domain and the appearance of sophisticated network attacks in the modern era require some fundamental methodological revisions to develop IDSs. Therefore, we first identify two more significant characteristics in addition to the ones mentioned above. These refer to the need for employing specialized big data processing frameworks and utilizing appropriate datasets for validating system's performance, which is largely overlooked in existing studies. Afterwards, we set out to develop an anomaly detection system that comprehensively follows these four identified characteristics, i.e., the proposed system (i) performs feature ranking and selection using information gain and automated branch-and-bound algorithms respectively; (ii) employs logistic regression and extreme gradient boosting techniques for classification; (iii) introduces bulk synchronous parallel processing to cater computational requirements of high-speed big data networks; and; (iv) uses the Infromation Security Centre of Excellence, of the University of Brunswick real-time contemporary dataset for performance evaluation. We present experimental results that verify the efficacy of the proposed system.

show abstract

“…This dataset was utilized in [5] for statistical and evaluation purposes by comparing five different algorithms DT, LR, NB, ANN, and EM clustering, for measuring their performance in terms of accuracy and False Alarm Rate (FAR) against the KDD99 dataset. The evaluation results showed that the DT technique achieved the best efficiency.…”

Section: Related Workmentioning

confidence: 99%

“…The authors in [24] apply a combining classifier with NBTree and RandomTree algorithm in the NSL-KDD dataset for detecting the normal and attack traffic with an achieved accuracy of 89,24% along 41 attributes. In [5], a different multiclass classifier is applied to identify normal traffic or nine attack types: Fuzzers, Analysis, Backdoor, DoS, Exploit, Generic, Reconnaissance, Shellcode and Worm. The highest result of 85,56% was achieved using a Decision Tree algorithm with all the attributes.…”

Section: Related Workmentioning

confidence: 99%

See 1 more Smart Citation

A Two-Stage Classifier Approach using RepTree Algorithm for Network Intrusion Detection

Belouch¹,

Hadaj²,

Idhammad³

2017

ijacsa

View full text Add to dashboard Cite

Abstract-In this paper, we present a two-stage classifier based on RepTree algorithm and protocols subset for network intrusion detection system. To evaluate the performance of our approach, we used the UNSW-NB15 data set and the NSL-KDD data set. In first phase our approach divides the incoming network traffics into three type of protocols TCP, UDP or Other, then classifies into normal or anomaly. In second stage a multiclass algorithm classify the anomaly detected in the first phase to identify the attacks class in order to choose the appropriate intervention. The number of features is reduced from over 40 to less than 20 features, according to the protocol, using feature selection techniques. The detection accuracy of 88,95% and 89,85% was achieved on the complete UNSW-NB15 and NSL-KDD data set, respectively using individual classifier, results are better as compared to the recent work on these data sets.

show abstract

The evaluation of Network Anomaly Detection Systems: Statistical analysis of the UNSW-NB15 data set and the comparison with the KDD99 data set

Cited by 678 publications

References 18 publications

Topluluk Yöntemlerine Dayalı Dağıtık Hizmet Dışı Bırakma Saldırılarının Algılanması

Topluluk Yöntemlerine Dayalı Dağıtık Hizmet Dışı Bırakma Saldırılarının Algılanması

Toward Bulk Synchronous Parallel-Based Machine Learning Techniques for Anomaly Detection in High-Speed Big Data Networks

A Two-Stage Classifier Approach using RepTree Algorithm for Network Intrusion Detection

Contact Info

Product

Resources

About