Usability Framework for the Design and Evaluation of Multimodal Interaction

Abstract

The design and evaluation of multimodal interaction is difficult. For designers in industry, developing multimodal interaction systems is a big challenge. Although past researches have presented various methodologies, they have addressed only specific cases of multimodality and failed to generalise their methodologies to a range of applications. In this paper, we present a usability framework for the design and evaluation of multimodal interaction. First, in the early phase of multimodality design, elementary multimodal commands are elicited using traditional usability techniques. Second, based on the CARE (Complementarity, Assignment, Redundancy, and Equivalence) properties and the FSM (Finite State Machine) formalism, the original set of elementary commands is automatically expanded to form a more comprehensive set of multimodal commands. Third, this new set of multimodal commands is evaluated in two ways: user-testing and errorrobustness evaluation. This framework acts as a structured and general methodology both for designing and evaluating multimodal interaction. We expect that it will help designers to produce more usable multimodal systems.

Uma abordagem para projeto de aplicações com interação multimodal da Web

“…Por outro lado, projetar interfaces que se beneficiam dos avanços em tecnologias de reconhecimento como o reconhecimento de voz e os dispositivos novos de interação ainda é uma atividade complexa, mas têm permitido novas possibilidades de pesquisa no campo de interfaces multimodais (CHANG;.…”

“…A falta de entendimento sobre a melhor forma de combinar os diferentes modos de interação nas interfaces muitas vezes leva a projetos de interface com pouca usabilidade (CHANG;.…”

“…No transcorrer desta década, inúmeras pesquisas em diversas áreas da computação mostraram a preocupação em considerar o usuário como um importante participante no processo de projeto de software com usabilidade (HOLZINGER, 2005;HUBERT, 2006;NIELSEN, 2006;SEFFAH et al, 2006;KAMEL;AIT AMEUR, 2007;RAJANEN;IIVARI, 2007;BERNHAUPT, 2008;CHANG;, pelo fato de que o software automatiza as tarefas cotidianas do usuário e o usuário tem necessidades que devem ser atendidas pelo produto. Essas necessidades são expressas por algumas palavras que são usadas como métricas na avaliação de usabilidade do software: aprendizagem, eficácia, eficiência, satisfação, intuitividade, entre outras.…”