Combining visual features and semantic concepts in digital video retrieval based on hierarchical data model.

Abstract

Nowadays, digital video documents grow in both the number and the size of storing spaces. Therefore, it requires efficient management techniques and methods that allow retrieving video documents in an efficient way. This paper presents a method for automatic structural analysis of digital videos to generate the table of content and the index table of the given videos.These tables allow storing videos by a hierarchy of video, cluster of shots, shots, key-frames of shots, cluster of regions. Then a method for retrieving videos by using the input data as visual feature and semantic concepts is represented. The video retrieval is performed by two steps in off-line and on-line modes. The off-line step consists of decomposing a video sequence into elementary segments. Then, these elementary segments are classified by a hierarchical clustering algorithm. Finally, a table of content and an index table are generated for the given video sequence. The on-line step consists of retrieving videos based on a hierachical data base using the input data as video clip, shot ,key-frames, representatives of region's clusters, then the retrieved results are filtered by semantic concepts. The obtained results show that the proposed model is more efficient than the traditional systems which are only based on global, local visual features or keywords. Tóm tȃt. Hiê. n nay dũ. liê. u video số du. o. . c lu. u trũ. và phát triê ' n vó. i số lu. o. . ng ngày càng tȃng, do vâ. y dẫn dến mô. t nhu cầ u là cầ n có mô. t cách thú. c qua 'n lý hũ. u hiê. u ho. n dê ' phu. c vu. viê. c truy tìm thông tin và cách thú. c truy tìm. Trong bài báo này chúng tôi trình bày mô. t phu. o. ng pháp giúp phân tích tu. . dô. ng cấu trúc cu 'a video số nhȃm ta. o ra ba ' n mu. c lu. c và chı ' mu. c, giúp lu. u trũ. nô. i dung doa. n video số theo cấu trúc phân cấp: video, ló. p các doa. n co. so. ' , doa. n co. so. ' , khung hình chính, ló. p các vùng và truy vấn du. . a vào dȃ. c tru. ng thi. giác và ngũ. nghĩa. Bài toán du. o. . c tiếp câ. n bȃng viê. c dầ u tiên là phân tích tu. . dô. ng video số thành các doa. n co. so. ' , sau dó nhóm chúng la. i theo phu. o. ng pháp phân ló. p phân cấp và cuối cùng là rút go. n cấu trúc phân cấp dê ' ta. o ba ' ng mu. c lu. c và chı ' mu. c. Viê. c truy vấn du. o. . c thu. . c hiê. n du. . a trên cấu trúc phân cấp vó. i hai giai doa. n, trong giai doa. n dầ u, kết qua ' truy vấn du. . a vào dȃ. c tru. ng thi. giác, trong giai doa. n cuối, kết qua ' du. o. . c lo. c la. i du. . a vào ngũ. nghĩa hoȃ. c ngu. o. . c la. i. Kết qua ' thu. . c nghiê. m cho thấy phu. o. ng pháp này da. t kết qua ' cao ho. n so vó. i phu. o. ng pháp truy vấn chı ' du. . a vào dȃ. c tru. ng thi. giác toàn cu. c, cu. c bô. hoȃ. c ngũ. nghĩa.