Facial feature extraction and estimation of gaze direction in human-computer interaction

Abstract

Στην σύγχρονη εποχή της πληροφορίας η αλληλεπίδραση μεταξύ ανθρώπου-υπολογιστή βρίσκεται στο επίκεντρο του ενδιαφέροντος, σε μια προσπάθεια να υλοποιηθούν διεπαφές οι οποίες θα λειτουργούν απρόσκοπτα και φυσικά, προσομοιώνοντας την επικοινωνία μεταξύ ανθρώπων. Στον πυρήνα αυτής της προσπάθειας βρίσκεται η μελέτη του προσώπου καθώς και η εστίαση της προσοχής που καθορίζεται από την κατεύθυνση του βλέμματος. Κεντρικό αντικείμενο της παρούσας διδακτορικής διατριβής είναι η ανάλυση εικόνων και βίντεο χρησιμοποιώντας τεχνικές υπολογιστικής όρασης με στόχο τον εντοπισμό των χαρακτηριστικών σημείων του προσώπου, τον ακριβή εντοπισμό των κέντρων των ματιών καθώς και της παρακολούθησης της κατεύθυνσης του βλέμματος. Συνήθως τέτοια συστήματα βασίζονται σε παραδοχές σχετικά με την τοπολογική θέση των χαρακτηριστικών σημείων, τις παραμέτρους της κάμερας, ή σε χρήση εξειδικευμένου υλικού (hardware). Έχοντας ως στόχο ένα σύστημα το οποίο θα μπορεί να λειτουργεί καθολικά, μη παρεμβατικά, κάτω από οποιεσδήποτε συνθήκες και χωρίς να θέτει συγκεκριμένους περιορισμούς στο χρήστη, όλες οι προσεγγίσεις που αναπτύχθηκαν στα πλαίσια της παρούσας διατριβής βασίζονται στη χρήση μιας απλής κάμερας, κάτω από κανονικές συνθήκες φωτισμού. Στην παρούσα διατριβή αρχικά πραγματοποιείται η εύρεση του προσώπου και ο εντοπισμός των χαρακτηριστικών σημείων του. Στη συνέχεια εντοπίζονται τα κέντρα των ματιών και υπολογίζεται η κατεύθυνση του βλέμματος. Τέλος οι τεχνικές που αναπτύχθηκαν ενσωματώνονται σε πραγματικές εφαρμογές. Η αποτελεσματικότητα της μεθόδου παρακολούθησης αξιολογείται σε διαθέσιμες βάσεις δεδομένων και εξάγονται αποτελέσματα και συμπεράσματα. Οι μέθοδοι που αναπτύχθηκαν στην παρούσα διατριβή παρουσιάζουν βελτιωμένη απόδοση σε σχέση με τις υπάρχουσες μεθόδους, ενθαρρύνοντας περεταίρω έρευνα στο πεδίο.