Alexandria digital library: user evaluation studies and system design

Hill, Linda; Carver, Larry; Dolin, Ron; Smith, Terence R.; Frew, James; Rae, Mary-Anna

doi:10.1002/(sici)1097-4571(2000)51:3<246::aid-asi4>3.3.co;2-y

Cited by 41 publications

(34 citation statements)

References 5 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…The criteria listed in the (Borgman, 2000 Marchionini, 2001;Sumner, 2001), focus groups (Hill, 1007(Hill, & 2000 Marchionini, 2001), ethnographic observations (Borgman, 2000 Hill, 1997 & 20000;Khoo, 2001; Marchionini, 2001;Seadle & Peters, 2000), and content analysis (Marchionini, 2001). By contrast, quantitative methods are much employed to evaluate system performance and the outcome of digital information organization and representation.…”

Section: Benchmarking Evaluation Methods and Criteriamentioning

confidence: 99%

Section: Benchmarking Evaluation Methods and Criteriamentioning

confidence: 99%

“…The most frequently used methods are log analysis (Abbas, 2002; Carter, 2001;Jones, 2000;Sfakakis & Kapidakis, 2002) and experiments (Baldonado, 2000;Hee;Hidaka, 2001;Ma, 2001;Park, 2000;Purcell et al, 1997;Rui, 2000;Sumner, 2001. Survey (Hill, 1997(Hill, & 2000, as a special research method somewhere between the qualitative and quantitative approaches, is also widely used.A number of studies have combined various qualitative and quantitative methods Borgman, 2000;Dorward et al, 2002;Entlich et al, 1996;Hill, 1997Hill, & 2000Kassim & Kochtanek, 2003;Marchionini, 2000;Spink, 1998) findings. The framework includes four main methodological aspects for e-book evaluation, namely selection of material (e.g., collection), selection of actors (e.g., participants, evaluators, task developers, and task assessors), selection of tasks, and selection of evaluation techniques (e.g., questionnaire, behavior observation, think-aloud, and interviews).…”

mentioning

confidence: 99%

“…Nevertheless, the assumption is not justified by the research findings from the preceding section of the user-centered approach, where user related factors do influence the outcome of DL uses (Baldonado, 2000;Carter et al, 2000;Hill et al, 2000;Jones et al, 2000; Marchionini, 1998;Sumner, 2001;Thong, 2002).…”

mentioning

confidence: 99%

See 3 more Smart Citations

Developing a holistic model for digital library evaluation

Zhang

2009

J. Am. Soc. Inf. Sci.

View full text Add to dashboard Cite

The objective of the research is to develop a holistic model for digital library (DL) evaluation. To develop such a model, a three-stage research approach was applied: exploration, confirmation, and verification. During the exploration stage, a literature review was conducted, and then an interview along with card sorting technique was employed to collect perceptions from DL experts with emphasis on determining what criteria should be used in DL evaluation. Then, the criteria identified from the exploration were used for developing an online survey during the confirmation stage. Heterogeneous DL stakeholders were asked to rate the importance of each criterion to DL evaluation.The holistic model was constructed by utilizing descriptive and inference statistical techniques. Its holistic nature was ensured through: (1) incorporation of various DL stakeholders' perspectives in light of Marchionini's multifaceted evaluation approach, and (2) inclusion of all digital library levels suggested by Saracevic's stratified information retrieval model. Eventually, in the verification stage, selected criteria from the model were tested in real DL use setting. Some significant findings include: (1) consistently perceived important criteria for DL evaluation. DL stakeholders care more about premise (e.g., accessibility and iii iii sustainability of a DL), process (e.g., ease of use, technology reliability, and service responsiveness), and direct performance (e.g., usefulness of information, successfulness and efficiency of task completion), whereas less concerned about indirect factors (e.g., personalization, behavior change, service courtesy, and extended social effects); (2) inter-group divergence in importance perception for some evaluation criteria. The divergence primarily exists between the user and other DL stakeholder groups; (3) some promising criteria (e.g., comprehensiveness of collection, integrity of information, integration of service to information seeking path, collaboration/sharing) augment the existing DL evaluations whereby important criteria have essentially been covered; and (4) most importantly, the core dissertation objective is fulfilled, that is the construction of the holistic evaluation model, in which heterogeneous stakeholders' perspectives at all DL levels are presented. Moreover, some prestigious journals also have devoted special issues to this subject (e.g., 2 Science 1993Science , 2000 Information Processing and Management, 1999; Library Trends, 2000; Communication of ACM, 1995. IEEE Computer, 1995. Journal of American Society for InformationHowever, behind this fast-growing scene are some weaknesses that might hinder the progress of DL innovation. One of the remarkable weaknesses is reflected in the two competing visions of what is a DL, which are pinpointed by Borgman in 1999. One vision, with the research domain (e.g., Fox et al., 1993;Lesk, 1997) Unsurprisingly, the divergent visions of the definition of the DL cannot but yield to different foci in DL development. The view ...

show abstract

Section: Benchmarking Evaluation Methods and Criteriamentioning

confidence: 99%

Section: Benchmarking Evaluation Methods and Criteriamentioning

confidence: 99%

mentioning

confidence: 99%

mentioning

confidence: 99%

See 2 more Smart Citations

Developing a holistic model for digital library evaluation

Zhang

2009

J. Am. Soc. Inf. Sci.

View full text Add to dashboard Cite

show abstract

“…Κατά την πρώτη περίπτωση, οι σχεδιαστές ψηφιακών βιβλιοθηκών και οι θεωρητικοί της χρησιμότητας σε αυτά τα περιβάλλοντα [Covey, 2002] ακολούθησαν τις διδαχές της κοινότητας Αλληλεπίδρασης Ανθρώπου Μηχανής που πρότεινε την συνδυαστική εφαρμογή μεθόδων [Doubleday et al, 1997]. Χαρακτηριστικά παραδείγματα παραμένουν οι αξιολογήσεις των έργων Alexandria Digital Library [Hill et al, 2000], DeLIver [Bishop, et al, 2002] και Envision [Fox et al, 1993], όπου οι συγκριτικές και εποπτικές μέθοδοι, συνδυάστηκαν με μεθόδους αρχείων καταγραφής, ερωτηματολογίων και συνεντεύξεων. Παράλληλα η πρακτική αυτή, η οποία εύστοχα ονομάστηκε από την Buttenfield [1999] «το συγκλίνον παράδειγμα», απέδωσε τη συγκριτική αξιολόγηση των μεθόδων που χρησιμοποιήθηκαν.…”

Section: άξονας χρήστης-σύστημαunclassified

Μοντέλα Και Κριτήρια Αξιολόγησης Συλλογών Ηλεκτρονικών Τεκμηρίων

Tsakonas¹,

Τσάκωνας²

View full text Add to dashboard Cite

Οι ψηφιακές βιβλιοθήκες αποτελούν ένα σημαντικό μέρος των ηλεκτρονικών πηγών που καλύπτουν τις διαρκώς κλιμακούμενες πληροφοριακές ανάγκες των χρηστών διαφόρων κοινοτήτων. Αποτελούν ένα σημείο αναφοράς στον σύγχρονο κόσμο της πληροφόρησης, αφού οι επενδύσεις σε οικονομικό επίπεδο είναι υψηλές, τόσο για την ανάπτυξη τους, όσο και για την απόκτηση πρόσβασης στο περιεχόμενο που παρέχουν. Ως πληροφοριακά συστήματα οι ψηφιακές βιβλιοθήκες διακρίνονται από σύνθετες φάσεις ανάπτυξης και στο πλαίσιο αυτό η αξιολόγηση κρίνεται ένα σημαντικό στοιχείο βελτίωσης και προσαρμογής. Η χρηστοκεντρική θεώρηση της αξιολόγησης έχει κερδίσει σημαντικό έδαφος τα τελευταία χρόνια ισοσκελίζοντας τη διαφορά με τις συστημοκεντρικές προσεγγίσεις της. Οι χρηστοκεντρικές αυτές θεωρήσεις όχι μόνο τοποθετούν στο επίκεντρο των βελτιώσεων τα οφέλη του χρήστη για την επαύξηση των θετικών στοιχείων της διάδρασης του με τις ψηφιακές βιβλιοθήκες, αλλά ενημερώνονται από τα χαρακτηριστικά του, ούτως ώστε η ενημέρωση και η επέμβαση στη λειτουργία τους να είναι ουσιαστική. Στη παρούσα διδακτορική διατριβή παρουσιάζεται η προσπάθεια ανάπτυξης ενός χρηστοκεντρικού μοντέλου αξιολόγησης των συστημάτων πληροφόρησης των ψηφιακών βιβλιοθηκών. Έχοντας ως σημείο αφετηρίας τις ανάγκες για την κάλυψη πολλών διαφορετικών αντικειμένων που επιβάλλονται από τη διεπιστημονικότητα του χώρου, την πολυπλοκότητα, τόσο των συστημάτων, όσο και του περιβάλλοντος, και την οικοδόμηση του σε γνωρίσματα των χρηστών, το μοντέλο αυτό εμφανίζει τα χαρακτηριστικά της ευελιξίας, της ευρύτητας και της αξιοποίησης των ιδιοτήτων των χρηστών. Στο επίκεντρο του βρίσκονται οι αλληλεπιδράσεις μεταξύ τριών κυρίων φορέων και πιο συγκεκριμένα του περιεχομένου, του συστήματος και του χρήστη. Οι αλληλεπιδράσεις αυτές στηρίζονται σε άξονες που περιγράφουν τα χαρακτηριστικά της χρησιμότητας, της χρηστικότητας και της απόδοσης.

show abstract

Alexandria digital library: user evaluation studies and system design

Hill

Carver

Larsgaard

et al. 2000

J. Am. Soc. Info. Sci.

Self Cite

View full text Add to dashboard Cite

The Alexandria Digital Library (ADL) is one of the six digital library projects funded by NSF, DARPA, and NASA. ADL's collection and services focus on information containing georeferences: maps, images, data sets, text, and other information sources with links to geographic locations. During this study period, three different user interfaces were developed and tested by user groups. User feedback was collected through various formal and informal approaches and the results fed back into the design and implementation cycle. This article describes the evolution of the ADL system and the effect of user evaluation on that evolution. ADL is an ongoing project; user feedback and evaluation plans for the remainder of the project are described.

show abstract

Alexandria digital library: user evaluation studies and system design

Cited by 41 publications

References 5 publications

Developing a holistic model for digital library evaluation

Developing a holistic model for digital library evaluation

Μοντέλα Και Κριτήρια Αξιολόγησης Συλλογών Ηλεκτρονικών Τεκμηρίων

Alexandria digital library: user evaluation studies and system design

Contact Info

Product

Resources

About