Designing a Multimodal Graph System to Support Non-Visual Interpretation of Graphical Information

Abstract

While researchers have performed numerous studies to understand the human interpretation of visual graphs in reading, comprehending and interpreting displayed data; visually impaired (VI) users still face many challenges that prevent them from fully benefiting from these graphs. Thus, it influences their understanding of data visualization and in turn reduces their role in collaborating with their sighted colleagues in educational and working environments. We intend to develop a mobile application where visually impaired users can work together to build a collaborative graph that supported by data sonification in the mobile environment. The system properties were all tested by the task of identifying line trends in time series, which resulted in an accuracy of more than 80% for notes below 20 points. The usability testing has given result of 6.7 out 10 based on users’ perception on the effectivity of the features.

Point Estimation with Markers for Effective Mobile Auditory Graphs

“…Putra et.al. have designed mobile auditory graph (MAG) to support collaborative task for VI users to enable them to create and edit graph collaboratively [14].…”

Tecnologías educativas móviles colaborativas para estudiantes ciegos. Una revisión sistemática

“…É importante ressaltar que, como tecnologias móveis, as aplicações estudadas podem ser utilizadas em diversos ambientes. Dessa forma, é possível encontrar tecnologias criadas para uso dentro de sala, assistidas e monitoradas pelo educador (Chinthaka e Abeygunawardhana, 2018) (Shi, Zhao e Azenkot, 2017) (Guinness, Muehlbradt, Szafir e Kane, 2018), e também, aplicações para uso fora da sala de aula (Setiawan et al, 2019) (Kane et al, 2015) (Pesek, Kuhl, Baloh e Marolt, 2015). Recursos como a gamificação foram utilizados no ensino primário, criando um sistema de pontos e atividades recreativas para estimular a vontade de aprender.…”

“…As aplicações de gamificação indicaram que os alunos se tornaram mais interessados a aprender e mais dispostos a estudar, devido a mistura de conteúdos com jogos. Entretanto alguns aplicativos, como o «Sistema Multimodal de Gráficos» (Setiawan et al, 2019), obtiveram notas não tão satisfatórias, na faixa de 6.7 de 10, que não está abaixo da média, mas mostra uma deficiência em proporcionar uma experiência completa.…”