NCL+Depth

Abstract

The availability of 3D-enabled displays, both stereoscopic and autostereoscopic ones, is growing in the market. However, most of the current multimedia digital TV standard for describing interactive applications does not take advantage of these technologies. A useful and flexible way to codify 3D-video to work with both stereoscopic and autoestereoscopic displays is using video plus depth-per-pixel information. In order to improve authoring of interactive digital TV applications written in NCL (Nested Context Language), the Latin-American standard for digital TV, this paper proposes some extensions to this language to allow multimedia authors to be aware of depth information. Among the new features provided it is the control and animation of depth information for synthetic and non-synthetic media objects. As it is based on 2D+depth information, the proposed extensions will enable multimedia authors to take advantage of stereo and autostereoscopic displays, and also are compatible with previous versions of NCL players. INTRODUÇÃONos últimos anos, vários dispositivos equipados com displays 3D, tanto estereoscópicos quanto autoestereoscópicos, já estão no mercado, à disposição de usuários finais [1]. Com esses novos displays disponíveis, o número de pessoas aptas a receber conteúdo 3D só tende a aumentar. Contudo, a quantidade de conteúdo que tira proveito das funcionalidades providas por esses dispositivos ainda é pequena e é um dos gargalos para a popularização dos serviços multimídia 3D.Displays estereoscópicos produzem a ilusão de profundidade ao apresentar um par imagens que são vistas pelos dois olhos com um ângulo paralaxe. O ângulo paralaxe 1 é o ângulo entre as linhas de vista dos dois olhos que levam à disparidade entre as duas imagens projetadas nas retinas [2]. Esses dispositivos já estão disponível no mercado e são usados em TVs 3Ds, cinema 3D e aplicações móveis. Geralmente, eles requerem a codificação de pares de imagens que, ao serem apresentadas, devem ser filtradas (usualmente por meio de óculos) para que cada olho receba a "sua imagem" correspondente. Sistemas estereoscópicos têm a vantagem de serem uma solução simples e robusta [2], não necessitando de processamento complexo, como provisão e estimação da geometria da cena ou síntese adicional de cada view, e requerendo apenas a codificação de um par de vídeo estéreo. Existem vários métodos de codificação simples, como side-byside ou bottom-up, e alguns outros que tiram proveito das dependências temporais entre cada view, bem como da interdependência entre cada uma dessas views.Por outro lado, displays autoestereoscópicos apresentam uma imagem com ilusão de profundidade sem a necessidade da utilização de óculos [3]. Atualmente, as tecnologias mais utilizadas para esses displays são a lenticular sheets e a parallax barriers. Para permitir a visualização do efeito de paralaxe em mais de um ponto de vista, tais displays necessitam de uma quantidade de views bem maior do que apenas o par requerido pelos displays estéreo. Várias pesquisas têm sido real...