Data organization in video surveillance systems using deep learning

Abstract

In this paper we propose to organize information in video surveillance systems by grouping the video tracks, which contain identical faces. Aggregation of the features of individual frames extracted using deep convolutional neural networks are used in order to obtain a descriptor of video track. The tracks with identical faces are grouped using the known face verification algorithms and clustering methods. We experimentally compare frame aggregation methods using the YouTubeFaces dataset and contemporary neural networks (VGGFace, VGGFace2, LightenedCNN). It is shown that the most accurate video-based face verification is achieved with the L2-normalization of average unnormalized features of individual frames of each video track. Finally, we demonstrate that the best video grouping is obtained by sequential and rank-order clustering methods.

Open-set face identification with automatic detection of out-of-distribution images

“…На данный момент времени существуют работы, демонстрирующие повышение точности моделей машинного обучения за счет удаления входных примеров, которые в большой степени влияют на качество основной модели [19]. Поскольку глубокие нейронные сети показывают высокие результаты в широком спектре приложений [20], они также используются для обнаружения редких данных. В одной из первых таких работ представлен простой подход, который использует вероятности из распределений softmax на выходе заданной нейронной сети [21].…”