Big Data Infrastructure Design Optimizes Using Hadoop Technologies Based on Application Performance Analysis

Abstract

Infrastruktur Big Data merupakan teknologi yang menyediakan kemampuan untuk menyimpan, memproses, menganalisis, dan memvisualisasikan data yang berukuran besar. Alat dan aplikasi yang digunakan menjadi salah satu tantangan ketika membangun infrastruktur big data. Pada penelitian ini kami menawarkan sebuah strategi baru guna mengoptimasi desain infrastruktur big data yang merupakan bagian penting dalam pengolahan big data dengan cara melakukan analisis kinerja aplikasi yang digunakan pada setiap tahap pemrosesan big data. Proses diawali dari mengumpulkan data yang bersumber dari berita online dengan menggunakan metode web crawler dengan menerapkan aplikasi Scrapy dan Apache Nutch. Selanjutnya menerapkan teknologi Hadoop untuk mempermudah dalam penyimpanan dan komputasi big data secara terdistribusi. No-SQL database Mongo DB dan HBase untuk mempermudah melakukan query data, Setelah itu membangun mesin pencari menggunakan Elasticsearch dan Apache Solr. Data yang tersimpan kemudian di analisis menggunakan Apache Hive, Pig dan Spark. Data yang telah dianalisis kemudian ditampilkan dalam website menggunakan aplikasi Zeppelin, Metabase, Kibana dan Tableau. Skenario pengujian terdiri dari jumlah server dan file yang digunakan. Parameter pengujian mulai dari kecepatan proses, penggunaan memori, penggunaan CPU, throughput dll. Hasil pengujian kinerja setiap aplikasi kemudian dibandingkan dan dianalisis untuk melihat kelebihan dan kekurangan aplikasi sebagai referensi dalam membangun desain infrastruktur yang optimal sesuai dengan kebutuhan penggunanya. Penelitian ini telah menghasilkan dua alternatif desain infrastruktur big data. Infrastruktur yang disarankan sudah diimplementasikan pada node-node komputer di Lab Big Data Pens untuk mengolah big data dari media online dan terbukti dapat berjalan dengan baik.