Spatial augmented reality for physical drawing

Abstract

Interaction en Réalité Augmentée Spatiale pour le Dessin Physique RésuméCette dissertation décrit le design, implémentation et évaluation de nouvelles applications en Réalité Augmentée Spatiale (RAS). Ces applications sont concentrées sur l'amélioration du dessin physique tels que les dessins au crayons ou peintures en utilisant de la projection interactive. Tout d'abord, nous décrivons notre système de RAS et ses possibilités. Il prend en compte les paramètres internes et externes d'un couple caméra/projecteur pour permettre une projection précise sur des feuilles de papier. De plus, il permet la détection du toucher sur les feuilles ainsi que la position de la main au dessus de celles-ci grâce à une caméra de profondeur. Par conséquent, il permet la création d'écrans tactiles interactifs sur des feuilles de papier posées sur une table.Ensuite, nous nous penchons sur la création d'art visuel, plus précisément sur les premières étapes de la création quand l'artiste créer la structure. Nous offrons la possibilité de créer et d'éditer des lignes de construction numériques (LCN) projetées sur le papier. Ces outils sont des outils de Réalité Augmentée (RA), c'est-à-dire qu'ils s'ajoutent aux outils existants: toute l'interface utilisateur est sur la table, et l'utilisateur n'utilise jamais ni une souris, ni un clavier ni un écran. En plus des simples LCN (lignes et courbes), nous proposons une spécialisation pour les dessins spécifiques tels que les dessins en perspective, les dessins de personnages ainsi que les dessins à partir d'un modèle 3D. Nous proposons de nouvelles méthodes pour afficher et interagir avec des objets 3D sur papier. Nous proposons également de créer des dessins mixtes: art visuel interactif qui tire parti à la fois des possibilités physiques et numériques.Pour finir, nous décrivons des nouveaux usages pour notre système de RAS de nombreux contextes différents à travers des démonstrations publiques. L'acceptabilité de ce genre de système a été très bonne, et "magique" par la plupart des utilisateurs: ils ont juste vu et interagis avec des feuilles de papier sans remarquer le système de projection et suivi. Mots clés:Réalité augmentée spatiale, projection, papier, interaction tangible, camera de profondeur, dessin, création artistique, multi-touch, code créatif, interaction spatiale 3 Spatial Augmented Reality for Physical Drawing AbstractThis dissertation presents the design, implementation, and evaluation of novel Spatial Augmented Reality (SAR) applications. These applications focus on enhancing physical drawing such as pencil drawing or painting by the projection of digital tools.First, we describe our tabletop SAR system and its possiblities. It takes into account the camera and projector internal and external parameters to enable precise projection onto tracked sheets of paper. In addition to this, we enable touch and hand detection over the table with a depth camera. Consequently, it enables the creation of interactive touch screens on the pieces of paper on a table.Next, we focus on the ...

Exploring Tablet Interfaces for Product Appearance Authoring in Spatial Augmented Reality

“…Nevertheless, the need to track the user and the risk of occluding the projected images reduce the interface performance of such a system in terms of precision and reliability, especially when dealing with 190 a small prototype. For this reason, applications based on free body movements often integrate a space which is separate from the SAR and complementary that, by displaying a traditional GUI, extends the interactive functionalities of the system (Laviole & Hachet, 2012). This promising strategy of separating the system into two environments demonstrates an attempt to avoid selection errors that can occur if the work and the menu spaces are blended.…”

WireDraw

“…In terms of drawing, Flagg and Rehg [9] employ multiple projectors to create an interactive display on the canvas to guide artists to paint using traditional media and tools. Laviole and Hachet [22] demonstrate that traditional 2D drawing can be enhanced by projecting real photos or virtual renderings on tracked sheets of paper. Lee et al [23] utilize a 'shadow image' of suggestive contours that are updated in real time to guide 2D drawing.…”