Evaluating supervised learning approaches for spatial-domain multi-focus image fusion

Abstract

La fusión de imágenes genera una imagen que combina las características más relevantes de un conjunto de imágenes de la misma escena adquiridas con diferentes cámaras o configuraciones. La Fusión de Imágenes Multifoco (MFIF) parte de un conjunto de imágenes con diferente distancia focal para generar una imagen con una profundidad de campo extendida. Lo que constituye una solución al problema de la profundidad de campo limitada en la configuración de un sistema óptico. La literatura muestra una amplia variedad de trabajos que abordan este problema. Las transformaciones de dominios y el análisis de bloques de píxeles son la base de los principales enfoques propuestos. En este trabajo se presenta una evaluación de diferentes sistemas de aprendizaje supervisado aplicados a MFIF, incluyendo k-vecinos más cercanos, análisis discriminante lineal, redes neuronales y máquinas de soporte vectorial. El método inicia con dos imágenes de la misma escena, pero con diferentes distancias focales que se dividen en regiones rectangulares. El objetivo principal del sistema de clasificación, que está basado en aprendizaje de máquina, es elegir las partes de ambas imágenes que deben estar en la imagen fusionada para obtener una imagen completamente enfocada. Para la cuantificación del enfoque se utilizaron las métricas más populares propuestas en la literatura como: la Energía Laplaciana, el Laplaciano Modificado por Suma y el Gradiente de Energía, entre otras. La evaluación del método propuesto incluye la fase de prueba de los clasificadores y las métricas de calidad de fusión utilizadas comúnmente en la investigación, tales como la fidelidad de la información visual y la característica de información mutua. Los resultados muestran que el concepto de clasificación automática puede abordar satisfactoriamente el problema MFIF.

Multi-Sensor Image Fusion Using Optimized Support Vector Machine and Multiscale Weighted Principal Component Analysis

“…With the development of neural networks, researchers are devoted to introducing deep learning into image fusion, especially the field of multi-focus image fusion, which can model as a pixel classification task [15][16][17][18][19]. In recent years, image fusion methods based on deep learning models have emerged and shown great development potential in some situations [20,21].…”

“…Considering the tradeoff of calculated quantity and fusion performance, shallow machine learning methods also have some superiorities in image fusion because these methods require limited computing resources and fewer training samples. The support vector machine (SVM), which can be regarded as a classical shallow learning model with a hidden layer, is normally trained by using some extracted features to distinguish the focused and unfocused regains that are employed for generating fusion decisions [18,19]. Because of the lack of feature extraction capability for the shallow machine learning model, it is necessary to employ a given feature extraction method to present the image features (such as texture, structure, and edge), which has great significance on the improvement of image fusion performance.…”