vii 5 Η μέθοδος παρεκκλίνουσας τροχιάς 103 5.1 Εισαγωγή 103 5.2 Η μέθοδος της παρεκκλίνουσας τροχιάς 103 5.3 Αριθμητικές εφαρμογές 105 5.4 Συμπεράσματα 6 Σύγκριση μεθόδων ελαχιστοποίησης 113 6.1 Εισαγωγή 6.2 Οι αλγόριθμοι 6.3 Ένα νέο πακέτο σύγκρισης μεθόδων (OPTAC) 6.3.1 Δομή του πακέτου OPTAC 6.3.2 Χρήση και εφαρμογές του πακέτου 6.3.3 Σύγκριση μεθόδων χρησιμοποιώντας το OPTAC 6.4 Συμπεράσματα IV Κατασκευή νέων Runge-Kutta μεθόδων 155 7 Κατασκευή νέων Runge-Kutta μεθόδων 7.1 Εισαγωγή 7.2 Η αντικειμενική συνάρτηση σφάλματος αποκοπής 7.3 Βέλτιστες μέθοδοι Runge-Kutta 7.4 Διαγωνίως πεπλεγμένες μέθοδοι Runge-Kutta 169 7.5 Συμπεράσματα 173 V Εκπαίδευση νευρωνικών δικτύων 175 8 Εκπαίδευση νευρωνικών δικτύων 8.1 Εισαγωγή 177 8.2 Κατασκευή της συνάρτησης σφάλματος 177 8.3 Η μέΒο'Οος Backpropagation 179 8.4 Αποφυγή των τοπικών ελαχίστων 180 viii ΠΕΡΙΕΧΟΜΕΝΑ 8.5 Εφαρμογές στην εκπαίδευση νευρωνικών δικτύων 181 8.5.1 Μέθοδοι μέγιστης κλίσης 181 8.5.2 Μέθοδοι βελτιστοποίησης Jacobi-SOR 194 8.5.3 Μέθοδος διαστατικής ελάττωσης 196 Α Οι αλγόριθμοι. 199 Α.1 Μέθοδοι μέγιστης κλίσης 199 Α.1.1 Η μέθοδος προσαρμογής του βήματος ανά κατεύθυνση Α. 1.2 Η μέθοδος προσαρμογής του βήματος ανά συντεταγμένη Α.2 Μέθοδοι ελάττωσης διάστασης Α.2.1 Η μέθοοος βελτιστοποίησης SOR Α.2.2 Μέθοδος διαστατικής ελάττωσης Α.2.3 Μέθοδος σύνθεσης διαστατικής ελάττωσης Α.2.4 Μέθοδος σύνθεσης διαστατικής ελάττωσης με χαλάρωση Α.2.5 Μέθοδος σύνθεσης διαστατικής ελάττωσης με ολική χαλάρωση Α.3 Πακέτο σύγκρισης μεθόδων ελαχιστοποίησης OPTAC Β Προβλήματα ελαχιστοποίησης Β.1 Κλασσικά προβλήματα ελαχιστοποίησης 209 Β.2 Προβλήματα από την εκπαίδευση νευρωνικών δικτύων 215 C Synopsis Βιβλιογραφία 225 Ευρετήριο 248 ' οπότε έχουμε τις μεθόδους Fletcher-Reeves [84] και Polak-Ribiere [170] αντίστοιχα. Οι μέθοδοι συζυγών κλίσεων μπορούν να θεωρηθούν σαν μέθοδοι μεταβλητής μετρικής οι οποίες χρησιμοποιούν λιγότερες πληροφορίες για την προσέγγιση της Εσσιανής [34,129]. Επειδή ο πίνακας Η είναι θετικά ορισμένος, η χρήση ή όχι του μοναδιαίου πίνακα ως αρχική προσέγγιση