Η μέθοδος του γεωραντάρ είναι μη καταστροφική και εφαρμόζεται επιτυχώς σε αρχαιολογικές γεωφυσικές διασκοπήσεις για την χαρτογράφηση θαμμένων θεμελίων. Η αρχή λειτουργίας του στηρίζεται στην εκπομπή Η/Μ κυμάτων από κεραία-πομπό τα οποία διαδίδονται στο υπέδαφος με ταχύτητα η οποία επηρεάζεται κυρίως από τις ηλεκτρικές ιδιότητες του μέσου. Όταν εισέλθουν σε μέσο διαφορετικών ηλεκτρικών ιδιοτήτων ένα μέρος ανακλάται προς την επιφάνεια όπου ανιχνεύεται από την κεραία-δέκτη ενώ το υπόλοιπο συνεχίζει τη διάδοση στο νέο μέσο. Στις αρχαιολογικές διασκοπήσεις οι κεραίες πομπός-δέκτης κινούνται ταυτόχρονα έχοντας σταθερή απόσταση μεταξύ τους κατά μήκος μιας γραμμής μελέτης πάνω στην επιφάνεια του εδάφους συλλέγοντας καταγραφές που ονομάζονται ίχνη (traces). Κατά αυτό τον τρόπο προκύπτουν τομογραφικές εικόνες του υπεδάφους. Σε αυτού του είδους εικόνες, τα αρχαία θεμέλια συνήθως αποτυπώνονται με πρότυπα τα οποία έχουν την μορφή πολλαπλών υπερβολών και περιθλάσεων που αναφέρονται ως ανακλάσεις. Η ερμηνεία τέτοιων δεδομένων είναι μία ιδιαίτερα χρονοβόρα και απαιτητική διαδικασία, η επιτυχία της οποίας στηρίζεται κυρίως στην εμπειρία. Ο λόγος είναι ότι τα πρότυπα με τα οποία απεικονίζονται στα δεδομένα οι καταγραφές από το υπέδαφος, δεν αποδίδουν ξεκάθαρα τη φύση του ανακλαστήρα που τα προκάλεσε. Έτσι ανακλάσεις θαμμένων αρχαιοτήτων μπορεί είτε να παραβλεφθούν ή να παρερμηνευτούν. Τα δεδομένα γεωραντάρ είναι επίσης ευαίσθητα σε θόρυβο ο οποίος συνήθως δεν μπορεί να απομακρυνθεί κατά την επεξεργασία αφήνοντας κατάλοιπα. Όταν έχει γραμμική μορφή, καταγράφεται με πρότυπα που μοιάζουν αρκετά με αυτά των θαμμένων κτιρίων. Σε τέτοια δεδομένα η αβεβαιότητα της ερμηνείας και η πιθανότητα λάθους είναι υψηλές καθιστώντας αναγκαστική τη λήψη πληροφορία από άλλες μεθόδους. Η ανάπτυξη ενός συστήματος αυτόματης αναγνώρισης προτύπων που αποδίδονται σε αρχαία αρχιτεκτονικά κατάλοιπα θα αποτελούσε ένα ιδιαίτερα χρήσιμο εργαλείο που θα διευκόλυνε την διαδικασία της ερμηνείας και θα βελτίωνε την ακρίβεια της περιορίζοντας τα λάθη. Πάνω σε αυτό το πλαίσιο, η παρούσα διδακτορική διατριβή εξετάζει τα Συνελικτικά Νευρωνικά Δίκτυα (ΣΝΔ) ως μέσο προς την υλοποίηση ενός τέτοιου συστήματος.Τα ΣΝΔ είναι ευρέως γνωστά λόγω των ραγδαίων εξελίξεων που έχουν γνωρίσει τα τελευταία χρόνια σε σχέση με την αυτόματη αναγνώριση προτύπων και σε θέματα Βαθιάς Μαθήσεως. Είναι μία κατηγορία Τεχνικών Νευρωνικών Δικτύων (ΤΝΔ) Πρόσθιας Τροφοδοσίας (Feedforward) με πλήρως συνδεδεμένα επίπεδα (fully connected layers), στα οποία έχει ενσωματωθεί η λειτουργία της συνέλιξης. Η τελευταία επιτρέπει δισδιάστατες και τρισδιάστατες εισόδους. Μία ενδεικτική αρχιτεκτονική ΣΝΔ περιλαμβάνει το επίπεδο εισόδου, το συνελικτικό επίπεδο, το επίπεδο αποκοπής ReLU (Rectified Linear Unit), το συγκεντρωτικό επίπεδο (pooling layer), τα πλήρως συνδεδεμένα επίπεδα, και το επίπεδο εξόδου. Το συνελικτικό επίπεδο, το επίπεδο ReLU, και το επίπεδο συγκέντρωσης είναι υπεύθυνα για την εξαγωγή των σημαντικών γνωρισμάτων (features) της εισόδου, ενώ μέσω των πλήρως συνδεδεμένων επιπέδων, που είναι ουσιαστικά ένα ΤΝΔ πρόσθιας τροφοδοσίας, εκτελείται η προσέγγιση του προβλήματος μαθήσεως, όπως λ.χ. ταξινόμηση ή παλινδρόμηση. Τα βάρη των συνάψεων στα συνελικτικά επίπεδα στηρίζονται στα δεκτικά πεδία (receptive fields), όπου ο νευρώνας ενός επιπέδου συνδέεται με μία περιοχή νευρώνων του επόμενου επιπέδου. Η εκπαίδευση των ΣΝΔ γίνεται με τον ίδιο τρόπο όπως στην περίπτωση των ΤΝΔ Πρόσθιας Τροφοδοσίας, χρησιμοποιώντας τον αλγόριθμο οπισθοδιάδοσης (backpropagation) για τον υπολογισμό του σφάλματος που προκύπτει από τα βάρη που έχουν αποδοθεί στις συνάψεις των νευρώνων ενός επιπέδου, και έναν αλγόριθμο βελτιστοποίησης της κλίσης (gradient). Τα βάρη αναπροσαρμόζονται έτσι ώστε να ελαχιστοποιείται η επιλεγμένη συνάρτηση κόστους (cost function). Για την εκπαίδευση χρησιμοποιείται σύνολο δεδομένων που έχει χωριστεί σε ένα σετ εκπαίδευσης (training set) και ένα σετ δοκιμών γενίκευσης (test set). Ένα σύνηθες πρόβλημα εκπαίδευσης είναι αυτό της υπερπροσαρμογής (overfitting) όπου τα βάρη του μοντέλου μαθήσεως έχουν προσαρμοστεί τόσο καλά στα δεδομένα του σετ εκπαιδεύσεως με αποτέλεσμα προβλέψεις με χρήση διαφορετικών δεδομένων να είναι ανακριβείς. Ορισμένες γνωστές τεχνικές που αντιμετωπίζουν το πρόβλημα της υπερπροσαρμογής και βελτιώνουν την γενίκευση είναι αναφορικά η εφαρμογή μετασχηματισμών για αύξηση των εικόνων (Image Augmentation), η παράβλεψη νευρώνων (Dropout) και η κανονικοποίηση κατά σύνολα (Batch Normalization).Τα ΣΝΔ παρουσιάζουν ένα ευρύ πεδίο εφαρμογών κυρίως σε προβλήματα επιβλεπόμενης μάθησης που χρησιμοποιούν προσεγγίσεις όπως την ταξινόμησης εικόνας, την κατάτμησης εικόνας και τον εντοπισμό αντικειμένων. Έτσι είναι ιδιαιτέρως διαδεδομένα σε θέματα μηχανικής όρασης που σχετίζονται με ανάλυση εικόνας και βίντεο όπως π.χ. ανάλυση ιατρικών εικόνων, αναγνώριση προσώπων, αναγνώριση κειμένων, ανάλυση δορυφορικών εικόνων κ.α.. Η εφαρμογή τους σε δεδομένα γεωραντάρ δεν είναι το ίδιο διαδεδομένη, ενώ οι μελέτες που αφορούν συγκεκριμένα αρχαιολογικά δεδομένα είναι ελάχιστες. Παρόλα αυτά τα αποτελέσματα που παρουσιάζουν είναι αρκετά καλά, ενθαρρύνοντας την περαιτέρω έρευνα. Στη παρούσα διατριβή χρησιμοποιείται η αρχιτεκτονική ΣΝΔ βαθιάς μαθήσεως AlexNet για την ταξινόμηση οριζόντιων τομών βάθους (C-scans) της μεθόδου γεωραντάρ. Η συγκεκριμένη αρχιτεκτονική ήταν αυτή που έκανε τα ΣΝΔ ευρέως γνωστά για θέματα ταξινόμησης εικόνας λόγω των πολύ καλών αποτελεσμάτων. Παράλληλα είναι απλή παρέχοντας τα οφέλη μιας βαθιάς αρχιτεκτονικής που αφορούν την αυτόματη αναγνώριση προτύπων. Αποτελείται από πέντε συνελικτικά επίπεδα, τρία συγκεντρωτικά επίπεδα, και τρία πλήρως συνδεδεμένα. Η συνάρτηση ενεργοποίησης που χρησιμοποιείται είναι η ReLU με εξαίρεση το τελευταίο πλήρης συνδεδεμένο επίπεδο στο οποίο χρησιμοποιείται η Softmax. Επίσης γίνεται χρήση των τεχνικών γενίκευσης Dropout και μίας τεχνικής κανονικοποίησης που εφαρμόζεται στα βάρη των συνελικτικών επιπέδων που αναφέρεται ως Κανονικοποίηση Τοπικής Απόκρισης (Local Response Normalization).Τα δεδομένα που χρησιμοποιούνται έχουν συλλεχθεί με το σύστημα Noggin και κεραία κεντρικής συχνότητας 250MHz από 52 αναγνωρισμένες αρχαιολογικές θέσεις στην Ελλάδα, Κύπρο και Σικελία. Τα δεδομένα συλλέχθηκαν στα πλαίσια ερευνητικών προγραμμάτων του Εργαστηρίου Γεωφυσικής-Δορυφορικής Τηλεπισκόπησης και Αρχαιοπεριβάλλοντος του Ιδρύματος Τεχνολογίας και Έρευνας. Αρχικά πραγματοποιήθηκε η επεξεργασία των δεδομένων σε περιβάλλον MATLAB που αποσκοπούσε την αποθορυβοποίηση των δεδομένων, την ανάδειξη των ανακλάσεων από το υπέδαφος και η εξαγωγή των εικόνων τομών βάθους. Οι τεχνικές και τα φίλτρα που εφαρμόσθηκαν είναι οι: δειγματοληψία ιχνών (trace resampling), διόρθωση μηδενικού χρόνου (time-zero correction), διόρθωση Dewow, ενίσχυση inverse amplitude decay, αφαίρεση μέσου σήματος υποβάθρου (Average Background Removal), εφαρμογή ζωνωπερατών φίλτρων (Bandpass filtering), και ο υπολογισμός του στιγμιαίου πλάτους μετασχηματισμού Hilbert (Instantaneous Envelope). Εν συνεχεία δημιουργήθηκαν τρισδιάστατοι όγκοι του υπεδάφους και ακολούθησε η εξαγωγή των οριζόντιων τομών (C-scans).Σε επόμενο βήμα ακολούθησε ένα στάδιο προετοιμασίας στο οποίο εφαρμόζεται κυλιόμενο παράθυρο αποκοπής με αλληλεπικαλυπτόμενο βήμα με σκοπό την αύξηση του αριθμού των εικόνων που θα χρησιμοποιηθούν στο σετ δεδομένων για την εκπαίδευση των ΣΝΔ. Το μέγεθος του παραθύρου προσαρμόσθηκε ώστε να αντιστοιχεί σε διαστάσεις 10x10m της κάθε τομής, ενώ η επικάλυψη ορίσθηκε στα δύο μέτρα. Τα συγκεκριμένα διαστήματα κρίθηκαν κατάλληλα καθώς επιτρέπουν την επαρκή απεικόνιση των αρχαίων κτιρίων ενώ παράλληλα αυξάνουν σημαντικά των αριθμό των εικόνων που μπορούν να χρησιμοποιηθούν για εκπαίδευση.Όσο αφορά το σετ δεδομένων, ορίστηκαν τρεις τάξεις βάση των κυρίαρχων γνωρισμάτων (feature) που παρατηρήθηκαν στα δεδομένα και είναι: απροσδιόριστες γεωφυσικές ανωμαλίες, κτίρια και γραμμικός θόρυβος. Συνολικά επιλέχθηκαν 18375 παραδείγματα, με 6125 ανά τάξη και ακολούθησε διαμερισμός τους σε σετ εκπαίδευσης και σε αξιολόγησης. Σε αυτό σημείο εξετάζονται δύο προσεγγίσεις, του αυτόματου και μη αυτόματου διαχωρισμού ώστε να εξεταστεί ποια μπορεί να οδηγήσει σε καλύτερη γενίκευση. Στη πρώτη προσέγγιση τα δεδομένα του σετ γενίκευσης προέρχονται εξ’ ολοκλήρου από την περιοχή μελέτης της Ελάτειας ενώ στη δεύτερη προσέγγιση ο διαχωρισμός είναι τυχαίος από όλο το σύνολο των επιλεγμένων εικόνων για κάθε τάξη.Τα ΣΝΔ υλοποιήθηκαν και εκπαιδευτήκαν σε Python χρησιμοποιώντας την βιβλιοθήκη Tensorflow με το Keras API. Για την εκπαίδευση εξετάστηκαν δύο αλγόριθμοι βελτιστοποίησης ο Stochastic Gradient Descent (SGD) με χρήση ροπής (momentum) και ο Adam (Adaptive Moments). Για την βελτίωση των αποτελεσμάτων και απόδοσης εξετάστηκαν οι τεχνικές κανονικοποίησης συνόλου (Batch Normalization), παράλειψης νευρώνα (Dropout), και εφαρμογή μετασχηματισμών αύξησης εικόνων (Image Augmentation). Επιπλέον πραγματοποιήθηκε συντονισμός (tuning) των υπερπαραμέτρων ρυθμού μάθησης (learning rate) και μέγεθος συνόλου (batch size) των δύο αλγόριθμων βελτιστοποίησης που εξετάζονται, με σκοπό την περαιτέρω βελτίωση των αποτελεσμάτων. Ο συντονισμός πραγματοποιήθηκε με την βιβλιοθήκη Keras Tuner. Μέσα από μία σειρά συγκρίσεων και δοκιμών προέκυψαν δύο τελικά μοντέλα, ένα για κάθε την κάθε προσέγγιση διαχωρισμού δεδομένων. Το μοντέλο Α προέκυψε από τον μη αυτόματο διαχωρισμό ενώ το μοντέλο Β προέκυψε από τον αυτόματο διαχωρισμό. Η γενίκευση των δύο μοντέλων εξετάζεται σε ένα νέο σετ δεδομένων που ονομάστηκε σετ αξιολόγησης (evaluation set). Σε αυτό επιλέχθηκαν 32 παραδείγματα γεωφυσικών ανωμαλιών, 32 θορύβου και 36 αρχαίων κτιρίων από τις αρχαιολογικές θέσεις της Άλου Θεσσαλίας και της Σίσσι Ηρακλείου που είχαν εξαιρεθεί της διαδικασίας εκπαίδευσης. Συνοψίζοντας τα αποτελέσματα, καλύτερος αλγόριθμος βελτιστοποίησης αποδείχθηκε ο SGD με απαραίτητη όμως την χρήση κανονικοποίησης κατά σύνολα (Batch Normalization), ενώ η χρήση της παράβλεψη νευρώνων (dropout) βελτίωσε περαιτέρω τα αποτελέσματα. Σε αντίθεση η εφαρμογή μετασχηματισμών για αύξηση των εικόνων (Image Augmentation) είχε αρνητική επίδραση στα αποτελέσματα και κρίθηκε η αναγκαία η περαιτέρω έρευνα ώστε να βρεθούν οι κατάλληλοι μετασχηματισμοί που θα οδηγήσουν σε βελτίωση των αποτελεσμάτων. Όσο αφορά τις δοκιμές στο σετ αξιολόγησης, καλύτερη γενίκευση παρουσιάζει το μοντέλο Β (αυτόματου διαχωρισμού) πετυχαίνοντας ακρίβεια 92% έναντι 85%. Παρόλα αυτά, η ακρίβεια των προβλέψεων δεν ήταν σταθερή καθώς υπήρχαν περιπτώσεις όπου παρόμοιες εικόνες δεν ταξινομήθηκαν καλά. Αυτό υποδηλώνει την ανάγκη αύξησης του αριθμού των εικόνων εκπαίδευσης είτε με τεχνικές μετασχηματισμών, είτε με νέα δεδομένα ή πιθανόν με χρήση γενετικού δικτύου για παραγωγή εικόνων (Generative Adversarial Network). Εν κατακλείδι τα αποτελέσματα ταξινόμησης κρίνονται ιδιαιτέρως καλά, με περιθώρια βελτίωσης. Έτσι σηματοδοτείται μια νέα πορεία έρευνας για την εξέλιξη της διαδικασίας της ερμηνείας των δεδομένων γεωραντάρ.
