An Empirical Evidence of Barriers in a Big Data Infrastructure

Chunpir, Hashim Iqbal; Rathmann, Torsten; Zaina, Luciana A. M.

doi:10.1093/iwc/iwy024

Cited by 2 publications

(2 citation statements)

References 18 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Alat dan aplikasi yang digunakan pada infrastruktur big data akan mengubah pusat data secara signifikan pada dekade mendatang [2]. Hal pertama yang perlu diperhatikan dalam membangun infrastruktur big data adalah desain dan rancangan sistem [3]. Desain yang di terapkan tanpa memahami beberapa aspek penting seperti kebutuhan teknologi, kompleksitas teknologi, masalah ketersediaan data, biaya yang tinggi, privasi, dan integritas teknologi.…”

Section: Pendahuluanunclassified

“…Kebutuhan akan infrastruktur analitik terintegrasi untuk membantu manajer dalam meningkatkan kinerja operasi dan membongkar silo informasi yang dihasilkan dari analitik data besar [3]. Menggunakan infrastruktur Big Data tanpa memahami masalah biaya tinggi, kompleksitas teknologi, ketersediaan data, privasi, dan integritas mungkin belum tentu menjadi cara yang tepat untuk organisasi mana pun karena Big Data adalah komponen penting dari pengambilan keputusan manajemen yang membutuhkan kapabilitas baru, serta perubahan organisasi dan budaya [4].…”

Section: Tinjauan Literaturunclassified

See 1 more Smart Citation

Big Data Infrastructure Design Optimizes Using Hadoop Technologies Based on Application Performance Analysis

2022

View full text Add to dashboard Cite

Infrastruktur Big Data merupakan teknologi yang menyediakan kemampuan untuk menyimpan, memproses, menganalisis, dan memvisualisasikan data yang berukuran besar. Alat dan aplikasi yang digunakan menjadi salah satu tantangan ketika membangun infrastruktur big data. Pada penelitian ini kami menawarkan sebuah strategi baru guna mengoptimasi desain infrastruktur big data yang merupakan bagian penting dalam pengolahan big data dengan cara melakukan analisis kinerja aplikasi yang digunakan pada setiap tahap pemrosesan big data. Proses diawali dari mengumpulkan data yang bersumber dari berita online dengan menggunakan metode web crawler dengan menerapkan aplikasi Scrapy dan Apache Nutch. Selanjutnya menerapkan teknologi Hadoop untuk mempermudah dalam penyimpanan dan komputasi big data secara terdistribusi. No-SQL database Mongo DB dan HBase untuk mempermudah melakukan query data, Setelah itu membangun mesin pencari menggunakan Elasticsearch dan Apache Solr. Data yang tersimpan kemudian di analisis menggunakan Apache Hive, Pig dan Spark. Data yang telah dianalisis kemudian ditampilkan dalam website menggunakan aplikasi Zeppelin, Metabase, Kibana dan Tableau. Skenario pengujian terdiri dari jumlah server dan file yang digunakan. Parameter pengujian mulai dari kecepatan proses, penggunaan memori, penggunaan CPU, throughput dll. Hasil pengujian kinerja setiap aplikasi kemudian dibandingkan dan dianalisis untuk melihat kelebihan dan kekurangan aplikasi sebagai referensi dalam membangun desain infrastruktur yang optimal sesuai dengan kebutuhan penggunanya. Penelitian ini telah menghasilkan dua alternatif desain infrastruktur big data. Infrastruktur yang disarankan sudah diimplementasikan pada node-node komputer di Lab Big Data Pens untuk mengolah big data dari media online dan terbukti dapat berjalan dengan baik.

show abstract

Section: Pendahuluanunclassified

Section: Tinjauan Literaturunclassified