Τα υπολογιστικά νέφη είναι πλέον μια ευρέως διαδομένη και συχνά χρησιμοποιούμενη τεχνολογία. Οι δυνητικά άπειροι υπολογιστικοί πόροι των νεφών, είναι προσβάσιμοι σε οποιονδήποτε έχει τη δυνατότητα σύνδεσης στο διαδίκτυο και δεν απαιτούν από τον χρήστη προγενέστερη επένδυση σε υλικό ή λογισμικό. Μερικοί λόγοι που οδηγούν στην όλο και αυξανόμενη υιοθέτησή τους από μεγάλες εταιρίες και οργανισμούς καθώς και από απλούς χρήστες είναι ότι ακολουθούν ένα ευέλικτο μοντέλο χρονοχρέωσης, παρέχουν υψηλό επίπεδο κλιμακωσιμότητας (scalability), ευελιξίας και ελαστικότητας. Από την απαρχή των υπολογιστικών νεφών μέχρι και σήμερα, οι τεχνολογίες εικονικοποίησης αποτελούν αναπόσπαστο συστατικό τους. Οι διάφορες τεχνολογίες εικονικοποίησης επιτρέπουν την ταυτόχρονη διαμοίραση της υπάρχουσας υπολογιστικής υποδομής σε πολλούς χρήστες, αυξάνοντας τη χρησιμοποίηση των πόρων και παράλληλα μειώνοντας το συνολικό κόστος και την ενεργειακή κατανάλωση. Οι εικονικές μηχανές (virtual machines - VMs) αποτελούν το πρώτο μέσο που χρησιμοποιήθηκε στα νέφη για την κατανομή των υπολογιστικών πόρων και τη δημιουργία απομονωμένων περιβαλλόντων μεταξύ των χρηστών. Πρόσφατα, μια πιο ελαφριά τεχνολογία εικονικοποίησης (lightweight virtualization) έκανε την εμφάνισή της στα νέφη, τα containers. Η κύρια διαφορά των containers με τα VMs, από την οποία προκύπτουν όλες οι επιμέρους διαφορές τους, είναι ότι τα containers μοιράζονται το λειτουργικό σύστημα του εξυπηρετητή στον οποίο εκτελούνται, εν αντιθέσει με τα VMs, όπου το κάθε VM εκτελεί το δικό του λειτουργικό σύστημα. Η άνοδος των υπολογιστικών νεφών συνέβαλε στη μείωση του κόστους και διευκόλυνε την αποθήκευση και επεξεργασία μεγάλου όγκου δεδομένων από πλαίσια κατανεμημένης επεξεργασίας. Πολλές πλατφόρμες νεφών, απλοποιούν ακόμη περισσότερο την εκτέλεση τέτοιου είδους διεργασιών, προσφέροντας σχετικές υπηρεσίες, εργαλεία ή ακόμη και VMs με προ-εγκατεστημένα πλαίσια κατανεμημένης επεξεργασίας. Δύο από τα πιο διαδεδομένα πλαίσια κατανεμημένης επεξεργασίας, τα οποία μελετώνται και σε αυτή τη διατριβή, είναι το Hadoop και Spark. Η παρούσα διπλωματική διατριβή αποτελείται από δύο θεματικές ενότητες. Στην πρώτη ενότητα μελετώνται, ερευνώνται και γίνεται εμπειρική αξιολόγηση των πλαισίων κατανεμημένης επεξεργασίας Hadoop και Spark. Στη δεύτερη ενότητα παρουσιάζονται και ερευνώνται καινοτόμες τεχνολογίες εικονικοποίησης, συστήνεται και αξιολογείται ο συνδυασμός αυτών και προτείνεται και αξιολογείται η υιοθέτησή τους στις σύγχρονες υπηρεσίες υπολογιστικών νεφών.