Real-World Normal Map Capture for Nearly Flat Reflective Surfaces

Jacquet, Bastien; Häne, Christian; Köser, Kevin; Pollefeys, Marc

doi:10.1109/iccv.2013.94

Cited by 12 publications

(8 citation statements)

References 31 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…While the ellipsoid fit is an approximation -since car windows can have small imperfections and normal variations [Jacquet et al 2013] -the resulting flow is sufficiently plausible in our test scenes, and allows real-time performance. See Fig.…”

Section: Ellipsoid Fitting For Car Windowsmentioning

confidence: 99%

Image-Based Rendering of Cars using Semantic Labels and Approximate Reflection Flow

Rodríguez

Prakash

Hedman

et al. 2020

Proc. ACM Comput. Graph. Interact. Tech.

View full text Add to dashboard Cite

Image-Based Rendering (IBR) has made impressive progress towards highly realistic, interactive 3D navigation for many scenes, including cityscapes. However, cars are ubiquitous in such scenes; multi-view stereo reconstruction provides proxy geometry for IBR, but has difficulty with shiny car bodies, and leaves holes in place of reflective, semi-transparent windows on cars. We present a new approach allowing free-viewpoint IBR of cars based on an approximate analytic reflection flow computation on curved windows. Our method has three components: a refinement step of reconstructed car geometry guided by semantic labels, that provides an initial approximation for missing window surfaces and a smooth completed car hull; an efficient reflection flow computation using an ellipsoid approximation of the curved car windows that runs in real-time in a shader and a reflection/background layer synthesis solution. These components allow plausible rendering of reflective, semi-transparent windows in free viewpoint navigation. We show results on several scenes casually captured with a single consumer-level camera, demonstrating plausible car renderings with significant improvement in visual quality over previous methods.

show abstract

Section: Ellipsoid Fitting For Car Windowsmentioning

confidence: 99%

Image-Based Rendering of Cars using Semantic Labels and Approximate Reflection Flow

Rodríguez

Prakash

Hedman

et al. 2020

Proc. ACM Comput. Graph. Interact. Tech.

View full text Add to dashboard Cite

show abstract

“…Do tính chất và tầm quan trọng, có khá nhiều kỹ thuật được đề xuất phục vụ việc xây dựng bản đồ pháp tuyến bề mặt [4,5,8,7,11,16,20,22,24,26,27] tuy nhiên hầu hết các phương pháp có độ chính xác chưa cao hoặc phức tạp trong việc tổ chức và thu thập dữ liệu, hoặc không không phù hợp với các dạng bề mặt có hệ số phản xạ gương cao. Có thể phân các kỹ thuật ước lượng pháp tuyến thành ba hướng chính:…”

Section: Giới Thiệuunclassified

Một Kỹ Thuật Ước Lượng Pháp Tuyến Bề Mặt Đối Tượng Dựa Trên Tập Ảnh Thu Được Từ Camera

Hùng¹,

Toàn²,

Thiện³

2016

Fair - Nghiên Cứu Cơ Bản Và Ứng Dụng Công Nghệ Thông Tin 2015

View full text Add to dashboard Cite

Trong bài báo này, chúng tôi đề xuất một kỹ thuật ước lượng chính xác bản đồ pháp tuyến bề mặt (Normal-Map) trên tập ảnh thu được từ đối tượng với vị trí camera cố định và hướng nguồn sáng thay đổi. Kỹ thuật đề xuất sử dụng phương pháp lặp tối ưu Gradient descent để giải ngược phương trình chiếu sáng Blinn-Phong với một số điều kiện giả định. Chúng tôi đã tiến hành cài đặt và thử nghiệm kỹ thuật đề xuất trên hai tập dữ liệu: một được sinh ra từ các mô hình 3D bằng các phương pháp chiếu sáng, hai là tập dữ liệu thu được từ camera với các điều kiện chiếu sáng biết trước được xây dựng bởi Ying Xiong và cộng sự. Kỹ thuật đề xuất cho kết quả tốt trên cả hai tập dữ liệu thử nghiệm với thời gian tính toán chấp nhận được.

show abstract

“…Other algorithms have also been proposed to recover 3D shapes from specular images. They employed either a known calibrated scene (Savarese et al, 2005; Tarini et al, 2005; Liu et al, 2013) or multiple images such as specular flows (Adato et al, 2010), motions of reflection correspondences (Sankaranarayanan et al, 2010), or line tracking (Jacquet et al, 2013). Although they are useful in some situations, they cannot recover 3D shapes from a single specular image in an unknown scene.…”

Section: Introductionmentioning

confidence: 99%

Computational Model for Human 3D Shape Perception From a Single Specular Image

Shimokawa

Nishio

Sato

et al. 2019

Front. Comput. Neurosci.

View full text Add to dashboard Cite

In natural conditions the human visual system can estimate the 3D shape of specular objects even from a single image. Although previous studies suggested that the orientation field plays a key role for 3D shape perception from specular reflections, its computational plausibility, and possible mechanisms have not been investigated. In this study, to complement the orientation field information, we first add prior knowledge that objects are illuminated from above and utilize the vertical polarity of the intensity gradient. Then we construct an algorithm that incorporates these two image cues to estimate 3D shapes from a single specular image. We evaluated the algorithm with glossy and mirrored surfaces and found that 3D shapes can be recovered with a high correlation coefficient of around 0.8 with true surface shapes. Moreover, under a specific condition, the algorithm's errors resembled those made by human observers. These findings show that the combination of the orientation field and the vertical polarity of the intensity gradient is computationally sufficient and probably reproduces essential representations used in human shape perception from specular reflections.

show abstract

Real-World Normal Map Capture for Nearly Flat Reflective Surfaces

Cited by 12 publications

References 31 publications

Image-Based Rendering of Cars using Semantic Labels and Approximate Reflection Flow

Image-Based Rendering of Cars using Semantic Labels and Approximate Reflection Flow

Một Kỹ Thuật Ước Lượng Pháp Tuyến Bề Mặt Đối Tượng Dựa Trên Tập Ảnh Thu Được Từ Camera

Computational Model for Human 3D Shape Perception From a Single Specular Image

Contact Info

Product

Resources

About