Parallelised Bayesian optimisation for deep learning

Abstract

Η εκπαίδευση σε βαθιά νευρωνικά δίκτυα (ΒΝΔ) είναι μια απαραίτητη διαδικασία στη μηχανική μάθηση. Η διαδικασία εκπαίδευσης των ΒΝΔ στοχεύει στη βελτιστοποίηση των τιμών των παραμέτρων του δικτύου, που συχνά βασίζεται στην παράγωγο των λογαριθμικών πιθανοτήτων των παραμέτρων. Ως εκ τούτου, είναι πολύ πιθανό η διαδικασία βελτιστοποίησης να βρει τοπικές βέλτιστες τιμές αντί για καθολικές. Επιπλέον, οι συμβατικές προσεγγίσεις που χρησιμοποιούνται για αυτή τη διαδικασία, όπως οι μέθοδοι Μαρκοβιανής αλυσίδας Μόντε Κάρλο, όχι μόνο προσφέρουν μη βέλτιστη απόδοση χρόνου εκτέλεσης, αλλά επίσης αποτρέπουν την αποτελεσματική παραλληλοποίηση λόγω εγγενών εξαρτήσεων στη διαδικασία. Σε αυτή τη διατριβή, εξετάζουμε μια εναλλακτική προσέγγιση στις μεθόδους Μαρκοβιανής αλυσίδας Μόντε Κάρλο (Markov Chain Monte Carlo, MCMC), τον δειγματολήπτη ακολουθιακών Μόντε Κάρλο (Sequential Monte Carlo, SMC), ο οποίος γενικεύει τα φίλτρα σωματιδίων (particle filters). Πιο συγκεκριμένα, η διατριβή εστιάζει στη βελτίωση της απόδοσης και της ακρίβειας των μεθόδων SMC, ιδιαίτερα στο πλαίσιο της πλήρους Μπεϋζιανής μάθησης. Σε αυτό το πλαίσιο, η διατριβή προτείνει μια νέα μέθοδο εκπαίδευσης νευρωνικών δικτύων χρησιμοποιώντας τις μεθόδους σημαντικής δειγματοληψίας (μέθοδος importance sampling) και επαναδειγματοληψίας. Η αρχική σύγκριση των δύο μεθόδων αποκαλύπτει ότι η προτεινόμενη μεθοδολογία είναι χειρότερη τόσο στην ακρίβεια όσο και στην απόδοση. Αυτό οδήγησε την έρευνα να επικεντρωθεί στην βελτίωση της απόδοσης και ακρίβειας της προτεινόμενης μεθοδολογίας. Η ανάλυση απόδοσης ξεκίνησε με την εφαρμογή μιας νέας προτεινόμενης, παράλληλης και πλήρως κατανεμημένης μεθοδολογίας επαναδειγματοληψίας, με βελτιωμένη χρονική πολυπλοκότητα από την αρχική προσέγγιση χρησιμοποιώντας δύο πλαίσια MapReduce, το Hadoop και το Spark. Τα αποτελέσματα δείχνουν ότι το Spark είναι έως και 25 φορές ταχύτερο από το Hadoop, ενώ στο Spark η νέα προτεινόμενη μεθοδολογία είναι έως και 10 φορές ταχύτερη από την αρχική μέθοδο. Ωστόσο, παρατηρείται ότι η εφαρμογή του ίδιου αλγορίθμου στο Message Passing Interface (MPI) παρέχει σημαντικά καλύτερους χρόνους εκτέλεσης και είναι πιο κατάλληλος για τον προτεινόμενο αλγόριθμο. Η ανάλυση ακρίβειας ξεκίνησε με πειράματα που δείχνουν ότι ο βασικός δειγματολήπτης SMC παρέχει χειρότερη ακρίβεια από τους εναλλακτικούς ή ανταγωνιστικούς αλγόριθμους MCMC. Τρεις διαφορετικές στρατηγικές εφαρμόζονται στον βασικό δειγματολήπτη SMC παρέχοντας καλύτερη ακρίβεια. Η ανάλυση επεκτείνεται για να συμπεριλάβει ανταγωνιστικούς αλγόριθμους. Η εξαντλητική αξιολόγηση δείχνει ότι η προτεινόμενη προσέγγιση προσφέρει ανώτερη απόδοση και ακρίβεια.