Gaze-based prediction of pen-based virtual interaction tasks

Çığ, Çağ la; Sezgin, Metin

doi:10.1016/j.ijhcs.2014.09.005

Cited by 14 publications

(9 citation statements)

References 35 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…The vision based input channels used in interactive systems include facial expression [15,16], gestures [17][18][19][20][21], head movement [22], the whole body action [23][24][25][26], eye gaze [27], and etc. Skin color [28,29], shape of the head, facial features [30,31] are often used to recognize and locate the faces.…”

Section: Input and Output Modalitiesmentioning

confidence: 99%

A Review of Multimodal Interaction

Liang¹,

Liang²,

Xue-qian³

et al. 2016

Advances in Computer Science Research

View full text Add to dashboard Cite

Abstract-Due to the contribution to a more natural and efficient human-computer interaction style, multimodal interactive systems are becoming more and more commonplace and cover a wide range of applicants. Therefore, there seems to be an urgent need for an introduction to related concepts of multimodal interaction and an analytical review of the-state-of-the-art. In this paper, we try to present a brief review of some of the significant aspects in multimodal interaction. At first, the definition and advantages of multimodal systems are discussed, and then a brief development history of multimodal interaction is introduced. Next, we touch on the recent development in the breadth of work on input/output modalities and fusion engine. Finally, we provide a personal outlook for the research of multimodal interaction. It is our hope for this paper to provide a picture of the contemporary state of multimodal interaction research and a meaningful outlook for this research field.

show abstract

Section: Input and Output Modalitiesmentioning

confidence: 99%

A Review of Multimodal Interaction

Liang¹,

Liang²,

Xue-qian³

et al. 2016

Advances in Computer Science Research

View full text Add to dashboard Cite

show abstract

“…Yeni bir sinyalin hangi aktiviteye ait olduğunun anlaşılabilmesi için bu sinyalin tek tek tüm karakteristik sinyallere olan uzaklığı ölçülmekte ve bu uzaklık değerleri ile eğitilmiş olan bir DVM modeli kullanılarak bu yeni sinyalin etiketi belirlenmektedir. Uzaklık ölçümü yapılırken [4]'te detaylandırılan açık kaynak DZE kütüphanesinden faydalanılmaktadır.…”

Section: A Statik Sistemunclassified

“…Kullanıcıların günlük hayatta yaptıkları aktivitelerin yanı sıra bilgisayarlı sistemlerle etkileşimdeyken yaptıkları aktiviteleri tanıma üzerine çeşitli çalışmalar yürütülmüştür [1,2,3]. Kullanıcıların bilgisayarlı sistemlerle etkileşimdeyken yaptıkları aktiviteleri tanımaya yönelik güncel ve önemli çalışmalardan biri de kalem-temelli mobil cihazlar için geliştirilmiş aktivite tanıma sistemidir [4]. Bu sistem, mobil cihazlarda sıklıkla gerçekleştirilen taşıma (drag), yeniden boyutlandırma (resize), akıtma (scroll) vb.…”

unclassified

“…Bunun için öncelikle literatürdeki statik sistem [4] [4] ve buna alternatif olarak yeni geliştirdiğimiz dinamik sistem açıklanmış ve aktivite tanıma doğruluğu açısından karşılaştırılmıştır. Deneylerde [4]'te detaylandırılan çokkipli veri tabanı kullanılmıştır. Bu veri tabanında 5 farklı aktivite (taşıma, büyütme, küçültme, akıtma ve serbest çizim) için 10 katılımcıdan, 10 rastgele tekrarla, 3 farklı ölçekte toplanmış çizim ve bakış yönü verileri bulunmaktadır.…”

unclassified

See 2 more Smart Citations

Gaze-based real-time activity recognition for proactive interfaces

Çığ

Sezgin

2015

2015 23nd Signal Processing and Communications Applications Conference (SIU)

View full text Add to dashboard Cite

Özetçe-Göz hareketlerine dayalı etkileşim üzerine yapılan çalışmalardaki aktif araştırma alanlarından biri de kullanıcıların bilgisayarlı sistemlerle etkileşimdeyken yaptıkları aktiviteleri tanımayı hedefler. Bu çalışmaların tümü, yapılan aktiviteyi ancak aktivite bitiminden sonra tespit edebilmektedir. Bu nedenle, gerçek-zamanlı bir proaktif ara yüzde kullanımları mümkün değildir. Bu bildiride (1) literatürdeki kalem-temelli mobil cihazlar için geliştirilmiş bir aktivite tanıma sistemi gerçek-zamanlı aktivite tanımaya uygun hale getirilmiş ve (2) bu sisteme alternatif bir zaman-temelli aktivite tanıma sistemi geliştirilmiştir. Yapılan kapsamlı deneylerin sonuçları, yeni geliştirilen sistemin gerçek-zamanlı aktivite tanıma için literatürdeki sistemden daha başarılı olduğunu göstermiştir. Anahtar Kelimeler -gerçek-zamanlı aktivite tanıma; proaktif ara yüzler; çok-kipli etkileşim; göz hareketlerine dayalı etkileşim; kalem-temelli etkileşim; öznitelik çıkarımı.Abstract-One active line of research on gaze-based interaction aims to predict user activities during interaction with computerized systems. All of the existing studies, however, are able to detect the performed activity only after the activity ends. Therefore, it is not possible to employ these systems in real-time proactive user interfaces. In this paper (1) an existing activity prediction system for pen-based mobile devices is modified for real-time activity prediction and (2) an alternative time-based activity prediction system is introduced. The results of our comprehensive experiments demonstrate that the newly developed system is more successful than the existing system with respect to real-time activity prediction. Keywords -eager activity recognition; proactive interfaces; multimodal interaction; gaze-based interaction; sketch-based interaction; feature extraction. I. GİRİŞGöz takip cihazları, hem bilimsel araştırmalarda hem 978-1-4799-4874-1/14/$31.00 ©2015 IEEE Bu çalışma TÜBİTAK tarafından 110E175 ve 113E325 numaralı araştırma projeleri kapsamında desteklenmektedir.

show abstract