PROMETHEUS: Procedural Methodology For Developing Heuristics Of Usability

Abstract

Usability is a key discipline related to the development of modern software systems. Its goal is to assess the userfriendliness and effectiveness of a software product from the user point of view. Therefore, proper methodologies and techniques to perform this assessment are definitely relevant. Heuristic evaluation is probably the most commonly used method for usability assessment. Initially developed by Nielsen and Molich in the '90s, traditional heuristic evaluations rely on Nielsen's wellknown 10 usability heuristics. However, recent evidence suggests that such heuristics are not sufficiently complete for dealing with new domains such as interactive television, virtual worlds, and many others. In addition to the lack of suitability of traditional heuristics, in the past years the lack of a robust methodology or process to effectively develop and validate these new domainspecific heuristics has been documented. In this paper we summarize current evidence regarding the lack of suitability of traditional heuristics, as well as the need to develop new domain-specific heuristics. After identifying and acknowledging existing gaps in heuristics for state-of-the-art technology, as documented by other researchers, we present PROMETHEUS, a PROcedural METhodology for developing HEuristics of USability. PROMETHEUS refines the methodology of , and is composed of 8 stages. PROMETHEUS clearly defines the artifacts that are required and produced by each stage, and also presents a set of quality indicators in order to assess the need for further refinement in the development of new heuristics. As an initial validation of PROMETHEUS, we apply a questionnaire to several researchers that have used the methodology of Rusu et al. , and we have also performed a small retrospective study, computing the quality indicators of several previous studies. Our results suggest that PROMETHEUS is a very promising methodology, and that the metrics and indicators are indeed pertinent with respect to the conclusions of previous studies.

Accesibilidad para personas con baja visión de los gráficos estadísticos en la prensa digital: una propuesta metodológica basada en indicadores heurísticos

“…En este tipo de revisiones, muy extendidas en el ámbito de la usabilidad y la accesibilidad, varios expertos se valen de su experiencia y se basan en su propio juicio para examinar la interfaz en base a una serie de principios denominados indicadores heurísticos. Esta técnica tiene su origen en el trabajo seminal de Nielsen y Molich (1990), base sobre la cual otros autores han realizado propuestas metodológicas para la confección de nuevas listas de heurísticas para la evaluación tanto de aspectos generales relacionados con la usabilidad, la accesibilidad o la experiencia de usuario, como con aspectos más específicos de las interfaces o de tipos concretos de sitios o aplicaciones web, conocidas como "heurísticas de dominio" (Hub;Čapková, 2010;Rusu et al, 2011;Van Greunen et al, 2011;Masip;Oliva;Granollers, 2012;Lechner et al, 2013;Franklin et al, 2014;Lawson, 2015;Jiménez et al, 2017;Quiñones et al, 2018).…”

“…Para la selección, descripción, especificación y refinamiento del conjunto de heurísticos se ha seguido el método propuesto por Quiñones et al (2018), el cual se ha complementado con las métricas propuestas por Jiménez et al (2017) para la validación en comparación a otras listas de heurísticas existentes. El método consta de 8 fases, de las cuales las 6 primeras consisten en: 1) exploratoria, en la que se propone realizar una revisión de la bibliografía publicada con el objetivo de recopilar información relevante para la construcción de la lista de indicadores.…”

“…Finalmente, con el objetivo de validar la eficacia del nuevo conjunto de indicadores (d) se calculan las siguientes métricas propuestas por Jiménez et al (2017) considerando tanto los resultados obtenidos con las heurísticas propuestas, como con un conjunto de heurísticas de control (c) (anexo 1) formado por 14 criterios de conformidad extraídos de las WCAG 2.1. Para la selección de este subconjunto de criterios de conformidad se han tenido en cuenta sólo aquellos aplicables al perfil de usuario objeto de estudio de esta investigación.…”

Usability heuristics for the set‐top box and TV interfaces

“…On the contrary, software developers generally ignore usability principles and concern about technical issues of software such as techniques, methods, or tools (Cayola & Macias, 2018; Juristo et al, 2007). A usability heuristics list specific to STB&TV interfaces may guide software developers in constructing a usable interface because general‐purpose heuristics are not sufficient for specific domains, such as interactive television, virtual world, and so forth (Jimenez et al, 2017). Therefore, this study aims to propose usability heuristics and checklist items that usability experts may use as a reference during the design and evaluation process of STB&TV interfaces.…”

“…Second, this study proposes a five‐step formal methodology to develop usability heuristics and checklist items applicable to different systems, not only for STB&TVs. Furthermore, differently from the existing studies (Hermawati & Lawson, 2015; Hub & Čapková, 2010; Jimenez et al, 2017; Quinones et al, 2018; Rusu et al, 2011), the proposed methodology quantifies the several stages of the development of the usability heuristics and checklist items and uses analytical methods. Third, the existing studies only propose methodologies to develop usability heuristics.…”