Forecasting the Effectiveness of Policy Implementation Strategies

Savio, Nicolas D.; Νικολόπουλος, Κωνσταντίνος

doi:10.1080/01900690903241765

Cited by 8 publications

(6 citation statements)

References 26 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…The unstructured employment of panels of experts (Savio & Nikolopoulos, 2010) has several limitations (Lee, Goodwin, Fildes, Nikolopoulos, & Lawrence, 2007), such as the inability of forecasters to recall analogous cases and the recollection of unusual or inappropriate past cases. Thus, the adoption of structured approaches is seen as a better way to overcome these limitations and fully capitalize on expert judgment (Green & Armstrong, 2007b).…”

Section: Judgmental Forecastingmentioning

confidence: 99%

See 1 more Smart Citation

Relative performance of methods for forecasting special events

Νικολόπουλος

Litsa

Petropoulos

et al. 2015

Journal of Business Research

Self Cite

View full text Add to dashboard Cite

Forecasting special events such as conflicts and epidemics is challenging because of their nature and the limited amount of historical information from which a reference base can be built. This study evaluates the performances of structured analogies, the Delphi method and interaction groups in forecasting the impact of such events. The empirical evidence reveals that the use of structured analogies leads to an average forecasting accuracy improvement of 8.4% compared to unaided judgment. This improvement in accuracy is greater when the use of structured analogies is accompanied by an increase in the level of expertise, the use of more analogies, the relevance of these analogies, and the introduction of pooling analogies through interaction within experts. Furthermore, the results from group judgmental forecasting approaches were very promising; the Delphi method and interaction groups improved accuracy by 27.0% and 54.4%, respectively.

show abstract

Section: Judgmental Forecastingmentioning

confidence: 99%

“…The selection of a particular model is dependent on the availability of data in each particular case (De Gooijer & Hyndman, 2006;Savio & Nikolopoulos, 2009); IA is a rather costly and resource-extensive tool (Savio & Nikolopoulos, 2010, 2013.…”

Section: Policy Impact Assessment Toolsmentioning

confidence: 99%

Relative performance of methods for forecasting special events

Νικολόπουλος

Litsa

Petropoulos

et al. 2015

Journal of Business Research

Self Cite

View full text Add to dashboard Cite

show abstract

“…Governing bodies generally outsource such forecasting tasks to specialized institutes or academic centers, known in the field to be experienced and trained for such a task. A good discussion on the use of experts in forecasting tasks is offered in Savio and Nikolopoulos (2009b).…”

Section: The Problem Of Identifying Experts and Their Level Of Expertisementioning

confidence: 99%

“…An experiment was carried to test the performance of the S-SA approach in the hands of semi-experts when compared with unaided judgment. S-SA was first used in Savio and Nikolopoulos (2009b) when it was tested in the hands of non-experts. The S-SA approach, which is based on the structured analogies (SA) approach in Green and Armstrong (2007) [3], is one promising alternative when participants fail to give quantitative outcomes to their analogies.…”

Section: Working With Semi-expertsmentioning

confidence: 99%

Forecasting effectiveness of policy implementation strategies: working with semi‐experts

Savio

Νικολόπουλος²

2009

Foresight

Self Cite

View full text Add to dashboard Cite

Purpose -Policy implementation strategies (PIS) are schemes designed by a government with an aim of hitting targets or attaining objectives set out by a policy. Forecasting by analogies (FBA) has been shown to be successful in situations of high uncertainty and low quantitative data as is that of PIS effectiveness forecasts. What is more, a structured approach to FBA helps the expert structure his thoughts in an organized manner before making a prediction, which is hypothesized to improve accuracy. This paper aims to discuss these issues.Design/methodology/approach -This research suggests a semi-structured analogies (S-SA) approach for such a task. A pilot experiment was carried to test the performance of the S-SA approach in the hands of semi-experts when compared with unaided judgment (UJ).Findings -The results of the experiment showed that for this level of expertise, there is no statistical evidence to suggest any approach is better than the other. Possible explanations of this result is that analogy recall of experts was hindered by four constructs: information, complexity, worldview, and expertise. It was concluded that the structured analogies approach for forecasting PIS effectiveness must be investigated further by means of a study involving ''true experts''.Research limitations/implications -The sample sizes were small. Practical implications -Forecasting PIS effectiveness is seen as an important tool for deciding upon which PIS to ultimately adopt (as there may be many available!) and this then has important implications for governmental budgeting.Originality/value -The paper offers further insight into the performance of a structured analogies approach to forecasting PIS effectiveness in the hands of individuals with a mid-level of expertise.

show abstract

“…Χε μερικζσ περιπτϊςεισ, μόνο αφοφ ζχει ολοκλθρωκεί θ διαδικαςία πρόβλεψθσ και παρατθριςει κανείσ τθν ικανότθτα των ςυμμετεχόντων να ανακαλοφν πλθροφορίεσ μπορεί να ςυνειδθτοποιιςει το πραγματικό επίπεδο ειδίκευςισ τουσ. Επιπλζον, το κυνιγι του μεγαλφτερου αρικμοφ των ειδικϊν κα αποτελοφςε πρόκλθςθ, όμωσ κα ιταν όλο και πιο δφςκολο να προςδιοριςτοφν οι "πραγματικοί" ειδικοί (Savio & Nikolopoulos, 2010). Ψζλοσ, θ επιλογι να δοκοφν κίνθτρα ςτουσ ειδικοφσ δεν ζχει δοκιμαςτεί κακόλου ςτθν περίπτωςι μασ, και αυτό ςτο παρελκόν είχε δϊςει ιςχυρι ϊκθςθ ςε παρόμοιεσ μελζτεσ.…”

Section: προοπτικζσ -εξζλιξθunclassified

Ολοκληρωμένη μεθοδολογία και πληροφοριακό σύστημα παραγωγής πρoβλέψεων για τις δράσεις της ψηφιακής στρατηγικής στην Ελλάδα

Litsa¹,

Λίτσα²

View full text Add to dashboard Cite

Στόχος της παρούσας διατριβής είναι η πρόβλεψη της επιτυχίας Στρατηγικών Υλοποίησης Πολιτικής – ΣΥΠ (Policy Implementation Strategies - PIS) που έχουν προκηρυχθεί στα πλαίσια της Ψηφιακής Στρατηγικής στην Ελλάδα. Τα προγράμματα αυτά περιλαμβάνουν κυρίως Δράσεις της Κοινωνίας της Πληροφορίας και της Ειδικής Γραμματείας Ψηφιακού Σχεδιασμού. Για το σκοπό αυτό οι Δράσεις οργανώθηκαν ως προβλήματα πρόβλεψης, για τα οποία χρησιμοποιήθηκαν μέθοδοι κριτικών προβλέψεων, ενώ επίσης υλοποιήθηκε πληροφοριακό σύστημα για κριτικές προβλέψεις.Σημαντικά θέματα σχετικά με τη δημόσια πολιτική, τις κριτικές μεθόδους πρόβλεψης και το λογισμικό προβλέψεων εξετάστηκαν μέσα από βιβλιογραφική έρευνα που είχε ως στόχο την πλήρη κατανόηση τους και ακολούθως τη διαμόρφωση της μεθοδολογίας που προτείνεται από την παρούσα διατριβή ως ερευνητική προσέγγιση στο υπό μελέτη πρόβλημα.Οι Δράσεις τις οποίες μελετά η παρούσα διατριβή έλαβαν χώρα είτε για πρώτη φορά, είτε στα πλαίσια επαναπροκήρυξης της ίδιας Δράσης μετά από μικρό αριθμό επαναλήψεων αυτής. Επομένως, τα παρελθοντικά δεδομένα είναι λίγα και για μικρό βάθος χρόνου, κι έτσι οι στατιστικές μέθοδοι πρόβλεψης δεν μπορούν να εφαρμοστούν στην παρούσα περίπτωση. Για το λόγο αυτό επιλέχθηκε η χρήση κριτικών μεθόδων πρόβλεψης για την πρόβλεψη της επιτυχίας τους. Αφού επιλεχτεί μια ΣΥΠ, δηλαδή Δράση, θα μπορέσουν στη συνέχεια να εφαρμοστούν πιο πολύπλοκα και δαπανηρά εργαλεία αξιολόγησης, όπως η ανάλυση κόστους-οφέλους. Οι προβλέψεις δεν στοχεύουν να υποκαταστήσουν τις πιο εξιδικευμένες τεχνικές, αλλά να προηγηθούν αυτών, εξοικονομώντας χρόνο και χρήμα. Η βασική μέθοδος κριτικών προβλέψεων που χρησιμοποιήθηκε στα πειράματα της παρούσας Διατριβής ήταν η μέθοδος των Δομημένων Αναλογιών. Η μέθοδος αυτή δημιουργήθηκε αρχικά για την πρόβλεψη αποφάσεων σε προβλήματα όπου υπάρχουν αντικρουόμενα συμφέροντα. Στην έρευνα χρησιμοποιήθηκε η μέθοδος των Δομημένων Αναλογιών ελαφρώς διαφοροποιημένη ώστε να ταιριάξει στην παρούσα περίπτωση, ενώ επίσης συνδυάστηκε και με άλλες τεχνικές προβλέψεων. Ο στόχος ήταν να εξεταστεί αν με την μέθοδο αυτή μπορούν να παραχθούν ικανοποιητικές προβλέψεις και για το ζήτημα της Ψηφιακής Στρατηγικής και επίσης να διερευνηθεί αν οι παραλλαγές της μεθόδου μπορούν να δώσουν καλύτερα αποτελέσματα από την αυτούσια μέθοδο.Η μέθοδος Delphi που χρησιμοποιήθηκε κι αυτή στην έρευνά μας έδωσε επίσης καλά αποτελέσματα και ακόμα καλύτερα όταν χρησιμοποιήθηκε σε συνδυασμό με τη μέθοδο των Δομημένων Αναλογιών. Παρόλα αυτά, ήταν η χρήση των Δομημένων Αναλογιών μέσω ομάδων αλληλεπίδρασης που φαίνεται ότι αξιοποίησε καλύτερα τις δυνατότητες της μεθόδου και έδωσε τα πιο καλά αποτελέσματα στις προβλέψεις. Η προσωπική αλληλεπίδραση στις ομαδικές συναντήσεις προκάλεσε την ικανοποίηση των συμμετεχόντων. Φαίνεται ότι όσο μεγαλύτερη είναι η ποικιλία στη σύνθεση, από την άποψη της προέλευσης των ειδικών των ομάδων αλληλεπίδρασης, τόσο πιο ακριβείς είναι οι προκύπτουσες προβλέψεις. Από την παρούσα έρευνα προκύπτει λοιπόν ότι έχει νόημα να στηρίζεται κανείς στην ομαδική παρά στην ατομική εμπειρία.Η διατριβή περιλαμβάνει μια σειρά πειραμάτων με διαφορετικούς τρόπους διεξαγωγής, διάφορες μεθόδους κριτικών προβλέψεων και διαφορετικές κατηγορίες συμμετεχόντων. Στα πρώτα δύο πειράματα συμμετείχαν προπτυχιακοί φοιτητές της σχολής των Ηλ/γων Μηχ/κών και Μηχ/κών Η/Υ του Ε.Μ.Π.. Το πειράματα διεξάχθηκαν στην αίθουσα διδασκαλίας και στη αίθουσα εξέτασης του μαθήματος 'Τεχνικές Προβλέψεων'. Οι φοιτητές χωρίστηκαν σε ομάδες ανάλογα με τη μέθοδο που θα χρησιμοποιούσαν, κατόπιν τους δόθηκαν ερωτηματολόγια σχετικά με τις Δράσεις και τους ζητήθηκε να δώσουν προβλέψεις για κάθε Δράση. Στο πρώτο πείραμα οι προβλέψεις ήταν ατομικές ενώ στο δεύτερο ατομικές και ομαδικές. Για το λόγο όμως ότι στην περίπτωση των κριτικών προβλέψεων οι προβλέψεις διατείνεται ότι είναι πιο σημαντικές όταν προέρχονται από ειδικούς, οργανώθηκαν και δυο πειράματα με ειδικούς. Το πρώτο πείραμα διεξήχθη ηλεκτρονικά. Οι ειδικοί πληροφορήθηκαν για το πείραμα μέσω e-mail, τα ερωτηματολόγια στάλθηκαν μέσω e-mail, το ίδιο και οι απαντήσεις των ειδικών. Ακολούθησαν δύο πειράματα όπου στο κάθε ένα από αυτά συγκεντρώθηκαν τέσσερις ειδικοί από το σύνολο των ειδικών που συμμετείχε στο πρώτο πείραμα. Οι ειδικοί παρήγαγαν ομαδικές προβλέψεις και στη συνέχεια ακολούθησε συζήτηση στα πλαίσια συνέντευξης για τα πειράματα που έλαβαν μέρος, όπου και διατύπωσαν τις απόψεις και προτάσεις τους.Η παραπάνω έρευνα συνοψίστηκε σε σχετικό δικτυακό τόπο με ενημερωτικό περιεχόμενο. Eπίσης, υλοποιήθηκε ολοκληρωμένο πληροφοριακό σύστημα παραγωγής κριτικών προβλέψεων που ενσωματώνει τις βασικές μεθόδους ατομικών κριτικών προβλέψεων της έρευνας. Το σύστημα αυτό αποτελεί μια καινοτόμο εφαρμογή, μιας και δεν έχει δημιουργηθεί κάτι αντίστοιχο για εμπορικό ή ερευνητικό σκοπό, παρά μόνο για τη μέθοδο Delphi. Το σύστημα περιλαμβάνει και την γνωστή και αξιόπιστη μέθοδο στατιστικών προβλέψεων Theta, η οποία δύναται να χρησιμοποιηθεί σε περιπτώσεις που υπάρχουν παρελθοντικά δεδομένα. Από την παρούσα διατριβή προέκυψαν διάφορα συμπεράσματα. Τα πιο σημαντικά είναι ότι οι ομαδικές προβλέψεις δίνουν καλύτερα αποτελέσματα από τις ατομικές, ότι οι δομημένες μέθοδοι κριτικών προβλέψεων, και ειδικά οι Δομημένες Αναλογίες, έχουν καλύτερη επίδοση από τις πιο απλοϊκές μεθόδους κι ότι οι συνδυασμοί επιλεγμένων μεθόδων και ειδικών επίσης μπορούν να αποδώσουν καλύτερα. Επιπλέον, το σύστημα που προτείνουμε σύμφωνα με σχετική αξιολόγηση επηρεάζει θετικά όλη την διαδικασία πρόβλεψης. Συνοπτικά, μπορούμε να πούμε ότι η συμβολή της παρούσας διατριβής βρίσκεται καταρχήν στο ότι για πρώτη φορά επιχειρείται πρόβλεψη της επιτυχίας των Δράσεων της Ψηφιακής Στρατηγικής στην Ελλάδα και μάλιστα με κριτικές μεθόδους πρόβλεψης, ατομικές και ομαδικές. Η χρήση των Δομημένων Αναλογιών με διαφοροποιημένη μορφή για να ταιριάξει στην παρούσα περίπτωση αλλά και ο συνδυασμός της με άλλες μεθόδους είναι επίσης κάτι που επιχειρείται για πρώτη φορά. Επιπλέον, το διαδικτυακό πληροφοριακό σύστημα για την παραγωγή κριτικών προβλέψεων που υλοποιήσαμε είναι κάτι καινοτόμο όχι μόνο για την Ψηφιακή Στρατηγική αλλά και γενικότερα.

show abstract

Forecasting the Effectiveness of Policy Implementation Strategies

Cited by 8 publications

References 26 publications

Relative performance of methods for forecasting special events

Relative performance of methods for forecasting special events

Forecasting effectiveness of policy implementation strategies: working with semi‐experts

Ολοκληρωμένη μεθοδολογία και πληροφοριακό σύστημα παραγωγής πρoβλέψεων για τις δράσεις της ψηφιακής στρατηγικής στην Ελλάδα

Contact Info

Product

Resources

About