Key frame extraction for video summarization using local description and repeatability graph clustering

Gharbi, H A; Bahroun, Sahbi; Zagrouba, Ezzeddine

doi:10.1007/s11760-018-1376-8

Cited by 37 publications

(16 citation statements)

References 27 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…The NMF/DL method due to its performance, can potentially cope with the huge volume of unstructured heterogeneous digital image data from a plethora of cameras at airports and railway stations, which requires radically new approaches in order to process [44,45].…”

Section: State Of the Artmentioning

confidence: 99%

Method for clustering and identification of objects in laser scanning point clouds using dynamic logic

Milanov

Badenko

Yadykin

et al. 2021

Int J Adv Manuf Technol

View full text Add to dashboard Cite

Today there is a gap between a presence of various new equipment on the market which provides streams of various digital data about the environment, in particular in the form of laser scanning point clouds, and the lack of adequate e cient methods and software for information extraction from such data. A solution to the problem of bridging this gap is proposed on the basis of neural modeling eld theory and dynamic logic (DL). We present a DL-based method of extracting and analyzing information from hybrid point clouds, which include not only spatial coordinates and intensity, but also the color of each point, and can be from multiple sources including terrestrial, mobile and airborne laser scanning data. The proposed method is signi cant for creating a fundamental theoretical basis for new application algorithms and software for many new applications, including building information modeling, "smart city" environment, etc. The proposed method is fairly new to solving various problems related to extracting semantically rich information from a nontraditional type of digital data, especially hybrid point clouds created from laser scanning. This method will allow to signi cantly expand the existing boundaries of knowledge in the eld of extraction and analysis of information from various digital data, because neural modeling eld theory and DL can improve the performance of relevant calculations and close the existing gap in analysis of digital images.

show abstract

Section: State Of the Artmentioning

confidence: 99%

Method for clustering and identification of objects in laser scanning point clouds using dynamic logic

Milanov

Badenko

Yadykin

et al. 2021

Int J Adv Manuf Technol

View full text Add to dashboard Cite

show abstract

“…Важливим є дослідження сучасних підходів та методів аналізу відеопотоку та реалізація системи для пошуку оригіналу відео за допомогою аналізу його фрагменту, а також оцінити можливі проблеми та складності у створенні цієї системи [16]. Серед задач аналізу відео можна виділити класифікацію (визначення, до якого класу або категорії належить відео за його змістом), тегування (пошук набору тегів, що описують зображення), виявлення послідовностей (пошук характерних послідовностей кадрів на відео, які характеризують певний процес, знаходження певних дій), виявлення аномалій (пошук відео в наборі, які містять ознаки, які відрізняють їх від більшості інших подібних відео послідовностей), виокремлення ок-ремих об'єктів у кадрі [2]. Методи машинного навчання успішно застосовують у багатьох галузях.…”

Section: вступunclassified

“…На перший погляд, більше шарів -краще, але через проблему зникаючого градієнта ваги моделей перші шари не можуть бути коректно оновлені через зворотне розповсюдження градієнта помилок. Під час тестування та дослідження роботи різних архітектурних моделей CNN було визначено, що найкращі показники визначення характеристик зображення, а також показники ефективності виявлено для архітектури ResNet50 [2].…”

Section: результати дослідження та їх обговоренняunclassified

“…Чим більше змінюється поточний кадр, тим більше ключових кадрів потрібно виділити, навіть якщо поточний кадр не довгий. Навпаки, навіть при тривалому знімку, якщо картинка в основному незмінна, ми повинні витягти менше ключових кадрів[2]. Якщо поточне зображення камери повністю чорне, ми не повинні витягувати жодних ключових кадрів.…”

unclassified

See 1 more Smart Citation

Система Ідентифікації Оригіналу Відео За Його Фрагментом З Використанням Згорткових Нейронних Мереж

Melnyk¹,

Bazylevych²

2021

SBUNFU

View full text Add to dashboard Cite

Розглянуто основні сучасні та популярні підходи до вирішення задач розпізнавання ознак зображень і відео. Встановлено переваги та недоліки актуальних методів оброблення візуальної інформації, а також сучасні невирішені проблеми, пов'язані із цим сегментом робіт. Спираючись на сучасний стан досліджень з цієї предметної області, запропоновано нову систему, призначення якої "навчитись" ідентифікувати відео за його фрагментом, враховуючи характеристики зображеного у відеоряді. Першим етапом аналізу відео є його розбиття на окремі кадри, враховуючи зміну ентропії, колірної схеми та структурні відмінності сцени. Спираючись на сучасні методи, реалізовано алгоритм перетворення відео в набір кадрів. Виявлено, що компактне представлення відео у вигляді набору ключових кадрів дає змогу виділити основні контекстні характеристики. Враховуючи сучасні методи визначення характеристик зображень та ефективність машинного навчання, вирішено застосувати згорткові нейронні мережі для визначення векторних представлень. Під час вибору коректної архітектури та моделі нейронної мережі здійснено порівняльний аналіз ефективності їх роботи з використанням бази ImageNet. В наступних етапах, роботу із відео буде представлено у вигляді маніпуляції із векторами характеристик кожного кадру. Запропоновано спосіб пошуку збігу фрагментів, враховуючи оцінку кута між векторами представлень кадрів. Для покращення оптимізації пошуку розглянуто способи застосування методів індексації векторного простору кадрів. Варто застосувати цей підхід оптимізації, щоб уникнути різкої деградації ефективності пошуку із збільшенням бази. Унаслідок виконаної роботи реалізовано програмну систему у вигляді вебаплікації, яка демонструє пошук відео за його фрагментом. Проте це тільки прототип для візуалізації процесу. Під час проведення експериментів оцінено вплив та залежність довжини відео, його роздільної здатності та обсягу тестової бази від ефективності процесу пошуку. Передусім ця робота є актуальною через цінність досліджень в напрямку розвитку методів оброблення та аналізу відеоконтенту. Виявлено, що ця система має подальший розвиток та право на існування, якщо врахувати майбутні оптимізації пошуку та покращення вилучення дескрипторів.

show abstract

“…The huge volume of unstructured video data from a plethora of cameras at railway stations and airports requires a radically new approach to their processing. This issue is touched upon in [13]. The NMF/DL method can potentially cope with this due to its performance.…”

mentioning

confidence: 99%

Method for Clustering and Identification of Elements of Real Engineering Sites on The Basis of Dynamic Logic

Perlovsky

2020

BJSTR

View full text Add to dashboard Cite

Currently there is a contradiction between availability of various new equipment, which provides a stream of digital video data, in particular in the form of point clouds from mobile laser scanning, and the lack of adequate efficient methods of information extraction and analysis. This project is aimed at resolving this contradiction on the basis of neural modeling field theory and dynamic logic (DL) proposed by L. I. Perlovsky. The main result of the project will be a method of extracting information from digital video data in the form of hybrid clouds of mobile laser scanning data points for their analysis based on neural modeling field theory and DL. The success of this project depends on the successful integration of approaches from various fields of science and technology (interdisciplinarity): artificial intelligence, pattern and object recognition, logic, algorithm theory. The significance of the development of the proposed method is to create a fundamental theoretical basis for new application algorithms and software in the field of autonomous driving, "smart city" projects, ensuring safety for sites of various purposes, etc. The scientific novelty of the proposed method is that it will solve, by a fairly new method, the relevant problem of extracting and analyzing information from a not particularly traditional type of digital video data represented by a hybrid cloud of laser scanning points. This will allow to significantly expand the existing boundaries of knowledge in the field of extraction and analysis of information from various digital video data. The main hypothesis of the research is that the new method based on L. I. Perlovsky's neural modeling field theory and DL will improve the performance of relevant calculations and close the existing gaps in the use of various digital video data. Short CommunicationDigital image and video processing are one of the most resource-intensive tasks and at the same time -important and relevant, closely related to the problem of artificial intelligence (AI) and modeling of cognition. Its frequent combinatorial complexity complicates the already difficult task: partition and recognize -partition video data (video image) into meaningful objects and recognize their essence, classify them. Mathematical logic offers to solve recognition problems by iterating over all known images and comparing them with the presented one. Even with a modestly sized set of options, the number of combinations to compare would be huge. At the same time, there are many separate methods and concepts in this field, often used together: decision trees, support vector method, convolutional neural networks, deep learning, K-means, latent Dirichlet allocation, etc. L. I. Perlovsky has developed an original approach to cognition modeling based on the theory of neural modeling fields (NMF) and dynamic logic (DL) [1-3] that we propose for analyzing various digital video data. While ordinary logic operates with precise statements like "this is a chair", DL is a vague-to-crisp process.DL implements...

show abstract

Key frame extraction for video summarization using local description and repeatability graph clustering

Cited by 37 publications

References 27 publications

Method for clustering and identification of objects in laser scanning point clouds using dynamic logic

Method for clustering and identification of objects in laser scanning point clouds using dynamic logic

Система Ідентифікації Оригіналу Відео За Його Фрагментом З Використанням Згорткових Нейронних Мереж

Method for Clustering and Identification of Elements of Real Engineering Sites on The Basis of Dynamic Logic

Contact Info

Product

Resources

About