Reconstructing the 3D geometry of the surgical site and detecting instruments within it are important tasks for surgical navigation systems and robotic surgery automation. Traditional approaches treat each problem in isolation and do not account for the intrinsic relationship between segmentation and stereo matching. In this paper, we present a learning-based framework that jointly estimates disparity and binary tool segmentation masks. The core component of our architecture is a shared feature encoder which allows strong interaction between the aforementioned tasks. Experimentally, we train two variants of our network with different capacities and explore different training schemes including both multi-task and single-task learning. Our results show that supervising the segmentation task improves our network's disparity estimation accuracy. We demonstrate a domain adaptation scheme where we supervise the segmentation task with monocular data and achieve domain adaptation of the adjacent disparity task, reducing disparity End-Point-Error and depth mean absolute error by 77.73% and 61.73% respectively compared to the pre-trained baseline model. Our best overall multi-task model, trained with both disparity and segmentation data in subsequent phases, achieves 89.15% mean Intersection-over-Union in RIS and 3.18 millimetre depth mean absolute error in SCARED test sets. Our proposed multi-task architecture is real-time, able to process (1280x1024) stereo input and simultaneously estimate disparity maps and segmentation masks at 22 frames per second. The model code and pre-trained models are made available: https://github.com/dimitrisPs/msdesis

Η διατριβή επιχειρεί την κατανόηση των μεταβολών στο σχεδιασμό της κατασκευής και της διαδικασίας λειτουργίας του δημόσιου χώρου ως αποτέλεσμα των αλλαγών στη σύγχρονη κυρίαρχη ιδεολογία και οικονομία. Συσχετίζει τις μεταβολές στην οντολογία (στις ιδιότητες και τις σχέσεις) του αντικειμένου σχεδιασμού με τις μεταβολές στην τεχνική του μετασχηματισμού της ύλης και στην τεχνική της διαπραγμάτευσης.Παρατηρώντας την αλλαγή παραδείγματος του αντικειμένου της αρχιτεκτονικής στο πλαίσιο της επικράτησης αφενός της βιο-πολιτικής εξουσίας, αφετέρου της πληροφορικοποιημένης οικονομίας και παραγωγής και της συνακόλουθης ανάδυσης του δικτυακού παραδείγματος, η εργασία υποθέτει ότι η κατασκευή ορίζεται εντός της οντολογίας του αντικειμένου. Αν αλλάζει ριζικά το αντικείμενο σχεδιασμού, τότε αλλάζει ριζικά και ο τρόπος κατασκευής και λειτουργίας του. Η ριζική αλλαγή της οντολογίας του αντικειμένου σχεδιασμού γίνεται κατανοητή κατά την αλλαγή της οντολογίας του προγράμματος σχεδιασμού.Επιλέγοντας ως πεδίο συστηματικής παρατήρησης τους χώρους πολιτισμού, αναζητήθηκε η ριζική αλλαγή στη σύλληψη τους και αντίστοιχα η ριζική αλλαγή στη διατύπωση του προγράμματος σχεδιασμού τους και η αντίστοιχη αλλαγή του τρόπου σύλληψης και υλοποίησης της κατασκευής τους.Το κείμενο έχει δομή που συνδυάζει επιχειρηματολογική και αναλυτική ανάπτυξη. Η επιχειρηματολογική ανάπτυξη βασίζεται στη διάκριση μεταξύ σχεδιασμού των πράξεων που προϋπάρχουν (φάση κατασκευής) και σχεδιασμού των πράξεων κατά τη διάρκεια ζωής του αντικειμένου (φάση λειτουργίας). Η αναλυτική ανάπτυξη βασίζεται στην περιγραφή της οντολογίας, τη μεθοδολογίας και των εργαλείων σχεδιασμού.