Ανάπτυξη Τεχνικών Οπτικής Αναγνώρισης Χειρονομιών

Abstract

Στα πλαίσια της παρούσα διδακτορικής διατριβής αναπτύχθηκαν τεχνικές οπτικής αναγνώρισης χειρονομιών που έχουν να κάνουν: (i) με την ανίχνευση του χεριού σε έγχρωμες εικόνες, (ii) την εκτίμηση χειρομορφής, που σχηματίζεται με τον συνδυασμό ανασηκωμένων δακτύλων, (iii) την αναγνώριση δυναμικών χειρονομιών, που εκτελεί ο χρήστης, και (iv) την εύρεση τμημάτων του σώματος σε εικόνες που λαμβάνονται από αισθητήρα βάθους. Αναπτύχθηκαν δύο τεχνικές ανίχνευσης του χεριού σε έγχρωμες εικονοσειρές, οι οποίες αντιμετωπίζουν τις δυσκολίες που σχετίζονται με την ποικιλία στις κάμερες και τις συνθήκες φωτισμού καθώς και την πολυπλοκότητα του παρασκηνίου. Στην πρώτη τεχνική προτείνεται ένα φίλτρο χρώματος δέρματος, με χρήση συνδυασμού ενός δυναμικού στατιστικού χρωματικού μοντέλου βασισμένο σε εικονοστοιχεία της περιοχής του προσώπου και ενός χρωματικού μοντέλου βασισμένο σε κατώφλια. Η δεύτερη τεχνική, αξιοποιεί πληροφορίες κίνησης, χρώματος δέρματος και μορφολογίας με σκοπό την επίτευξη υψηλής αποδοτικότητας και ευρωστίας στην εύρεση του χεριού σε σύνθετα περιβάλλοντα λειτουργίας. Η εκτίμησης της χειρομορφής στηρίζεται στην εύρεση του σκελετού του χεριού με χρήση ενός τροποποιούμενου αλγόριθμου μετασχηματισμού απόστασης ως προς τον οριζόντιο άξονα. Η αναγνώριση των δυναμικών χειρονομιών επιτυγχάνεται με την ταξινόμηση των χαρακτηριστικών που εξάγονται από την τροχιά που έχει διαγράψει το χέρι κατά την εκτέλεση της χειρονομίας. Η αναγνώριση της χειρονομίας επιτυγχάνεται με τη χρήση Κρυφών Μαρκοβιανών Μοντέλων. Οι δυσκολίες της ανίχνευσης του χεριού σε έγχρωμες εικόνες, οδήγησε στην ανάπτυξη μιας τεχνικής εύρεσης τμημάτων του άνω μέρους του σώματος βασισμένη στην όραση βάθους. Βάσει της πληροφορίας του χάρτη βάθους της σκηνής που παρέχει ο αισθητήρας της συσκευής Microsoft Kinect, επιτυγχάνεται η ανίχνευση έξι σημείων του σώματος με χρήση του αυτό-οργανούμενου και αυτό-αναπτυσσόμενου νευρωνικού αερίου (SGONG). Στη συνέχεια, εξάγεται η περιοχή του χεριού, η οποία χρησιμοποιείται για την αναγνώριση στατικών χειρονομιών, ενώ ταυτόχρονα η κίνησή του παρακολουθείται με χρήση του φίλτρου Kalman για την αναγνώριση δυναμικών χειρονομιών. Τέλος, αναπτύχθηκε ένα λογισμικό απεικόνισης ψηφιακού χάρτη, το οποίο ελέγχεται μέσω στατικών και δυναμικών χειρονομιών και εκμεταλλεύεται τον τριδιάστατο εντοπισμό του χεριού με τη χρήση όρασης βάθους.