Optimizing Hadoop Framework for Solid State Drives

Hong, Jaeki; Li, Liang; Han, Chihye; Jin, Bingxu; Yang, Qian; Yang, Zilong

doi:10.1109/bigdatacongress.2016.11

Cited by 6 publications

(2 citation statements)

References 12 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…Since the storage is a well-known bottleneck in data intensive workloads, several studies have been investigating the benefits of using Solid State Drives as a replacement for traditional Hard Disk Drive [9], [10], [11], [12], [13], [14], [15], [16]. Solid-state storage offers several advantages over hard disks such as lower access latencies for random requests, higher bandwidth, and lower power consumption.…”

Section: Introductionmentioning

confidence: 99%

Storage and Memory Characterization of Data Intensive Workloads for Bare Metal Cloud

Makrani¹

2018

Preprint

View full text Add to dashboard Cite

As the cost-per-byte of storage systems dramatically decreases, SSDs are finding their ways in emerging cloud infrastructure. Similar trend is happening for main memory subsystem, as advanced DRAM technologies with higher capacity, frequency and number of channels are deploying for cloud-scale solutions specially for non-virtualized environment where cloud subscribers can exactly specify the configuration of underling hardware. Given the performance sensitivity of standard workloads to the memory hierarchy parameters, it is important to understand the role of memory and storage for data intensive workloads. In this paper, we investigate how the choice of DRAM (high-end vs low-end) impacts the performance of Hadoop, Spark, and MPI based Big Data workloads in the presence of different storage types on bare metal cloud. Through a methodical experimental setup, we have analyzed the impact of DRAM capacity, operating frequency, the number of channels, storage type, and scale-out factors on the performance of these popular frameworks. Based on micro-architectural analysis, we classified data-intensive workloads into three groups namely I/O bound, compute bound, and memory bound. The characterization results show that neither DRAM capacity, frequency, nor the number of channels play a significant role on the performance of all studied Hadoop workloads as they are mostly I/O bound. On the other hand, our results reveal that iterative tasks (e.g. machine learning) in Spark and MPI are benefiting from a highend DRAM in particular high frequency and large number of channels, as they are memory or compute bound. Our results show that using SSD PCIe cannot shift the bottleneck from storage to memory, while it can change the workload behavior from I/O bound to compute bound.

show abstract

Section: Introductionmentioning

confidence: 99%

Storage and Memory Characterization of Data Intensive Workloads for Bare Metal Cloud

Makrani¹

2018

Preprint

View full text Add to dashboard Cite

show abstract

“…Both conclusions are expected since a lot of data transfer takes place among nodes in map-shuffle-reduce operations. Less related to our study, [26] proposes a performance model using queuing network to simulate the execution time of MapReduce and thus come up with a cost-performance model for SSDs and HDDs in Hadoop, and [19], [40] explore how to optimize a…”

Section: Related Workmentioning

confidence: 99%

Spreading dynamics in complex networks with applications in vehicular networks

Basaras¹,

Μπασαράς²

View full text Add to dashboard Cite

Η ανάλυση σύμπλεκτων (complex) δικτύων έχει λάβει τεράστια προσοχή τα τελευταία χρόνια, εξαιτίας της ανάπτυξης των online social δικτύων, και της ύπαρξης τεραστίου όγκου δεδομένων σχετικών με τεχνολογικά (Internet, Web, power grids), βιολογικά δίκτυα (αλληλεπιδράσεων πρωτεϊνών, γονιδίων, εξάπλωση ασθενειών), κ.τ.λ. Η παρούσα διατριβή εξερεύνησε το ζήτημα της διάδοσης “πληροφορίας” (φημών, ιών,…) σε σύμπλεκτα δίκτυα, καθώς και εφαρμογές των σχετικών αποτελεσμάτων σε ad hoc δίκτυα οχημάτων. Ειδικότερα, μελετήθηκε το πρόβλημα της μεγιστοποίησης διάδοσης (influence maximization), και αναπτύχθηκαν state-of-the-art αλγορίθμοι για την εύρεση των πιο ικανών διασκορπιστών πληροφορίας (influential spreaders) σε μονοεπίπεδα και πολυεπίπεδα σύμπλεκτα δίκτυα, καθώς και προσαρμογή αυτών σε πρωτόκολλα δρομολόγησης σε ad hoc δίκτυα οχημάτων (vehicular ad hoc networks). Επιπρόσθετα, μελετήθηκε το δυϊκό πρόβλημα της ελαχιστοποίησης διάδοσης “κακοήθους” (malicious) πληροφορίας σε σύμπλεκτα δίκτυα, για πρώτη φορά σε online fashion, και αναπτύχθηκε αλγόριθμος για την επιλογή των καλύτερων παρακωλυτών διάδοσης κακοήθους πληροφορίας. Κάτω από το πρίσμα των προσφάτων εξελίξεων στα self-driving cars, το προαναφερθέν πρόβλημα μελετήθηκε και για ad hoc δίκτυα οχημάτων, και αναπτύχθηκε μια τεχνική black-listing για όσα οχήματα έχουν περάσει στον έλεγχο κάποιου “adversary”. Τέλος, μελετήθηκε και γενικεύτηκε η ισχύς του “παραδόξου της φιλίας” για μια σειρά από τοπολογικά χαρακτηριστικά των κόμβων ενός δικτύου, και αναπτύχθηκαν εφαρμογές του για την μεγιστοποίηση (ελαχιστοποίηση) της διάδοσης της πληροφορίας στα σύμπλεκτα δίκτυα.

show abstract