An unsupervised multi‐focus image fusion method based on Transformer and U‐Net

Jin, Xin; Xi, Xiuliang; Zhou, Ding; Ren, Xiubao; Yang, Jie; Jiang, Qian

doi:10.1049/ipr2.12668

Cited by 16 publications

(10 citation statements)

References 59 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…The transformer model has been used in many machine translation projects with good results in recent years [22]. Transformers do not require RNNs to perform their decoding task; they use only the attention mechanism.…”

Section: Related Workmentioning

confidence: 99%

Integration of the latent variable knowledge into deep image captioning with Bayesian modeling

Barati

Farsi

Mohamadzadeh

2023

IET Image Processing

View full text Add to dashboard Cite

Automatic image captioning systems assign one or more sentences to images to describe their visual content. Most of these systems use attention-based deep convolutional neural networks and recurrent neural networks (CNN-RNN-Att). However, they must optimally use latent variables and side information within the image concepts. This study aims to integrate a latent variable into image captioning using CNN-RNN-Att. A Bayesian modeling framework is used for this work. As an instance of a latent variable, High-Level Semantic Concepts (HLSCs) of tags are used to implement the proposed model. The Bayesian model output interpretation is to localize the entire image description process and breaks it down into sub-problems. Thus, a baseline descriptor subnet is trained independently for each sub-problem, and it is the only expert in captioning for a given HLSC. The final output is the caption derived from the subnet; its HLSC is closest to the image content. The results indicate that CNN-RNN-Att applied to data localized using HLSCs improves the captioning accuracy of the proposed method, which can be compared to the latest state-of-the-art and most accurate captioning systems.

show abstract

Section: Related Workmentioning

confidence: 99%

Integration of the latent variable knowledge into deep image captioning with Bayesian modeling

Barati

Farsi

Mohamadzadeh

2023

IET Image Processing

View full text Add to dashboard Cite

show abstract

“…Inspired by non-local (Wang et al, 2018 ) approaches, some methods (Chen et al, 2016 ; Liu et al, 2017 ; Ding et al, 2018 ; Li et al, 2019 ; Hou et al, 2020 ; Pal et al, 2022 ) use attentional mechanisms to establish connections between image contexts. Transformer architectures also achieve good results in semantic segmentation, focusing on multi-scale feature fusion (Zhang et al, 2020 ; Chen et al, 2021 ; Wang et al, 2021 ; Xie et al, 2021 ; Jin et al, 2022a , b , c , 2023 ), and contextual feature aggregation (Liu et al, 2021 ; Strudel et al, 2021 ; Yan et al, 2022 ). For example, SETR (Zheng et al, 2021 ) uses the transformer framework to serialize images to achieve a fully attention-based feature representation encoder.…”

Section: Related Workmentioning

confidence: 99%

Few-shot segmentation with duplex network and attention augmented module

et al. 2023

Self Cite

View full text Add to dashboard Cite

Establishing the relationship between a limited number of samples and segmented objects in diverse scenarios is the primary challenge in few-shot segmentation. However, many previous works overlooked the crucial support-query set interaction and the deeper information that needs to be explored. This oversight can lead to model failure when confronted with complex scenarios, such as ambiguous boundaries. To solve this problem, a duplex network that utilizes the suppression and focus concept is proposed to effectively suppress the background and focus on the foreground. Our network includes dynamic convolution to enhance the support-query interaction and a prototype match structure to fully extract information from support and query. The proposed model is called dynamic prototype mixture convolutional networks (DPMC). To minimize the impact of redundant information, we have incorporated a hybrid attentional module called double-layer attention augmented convolutional module (DAAConv) into DPMC. This module enables the network to concentrate more on foreground information. Our experiments on PASCAL-5i and COCO-20i datasets suggested that DPMC and DAAConv outperform traditional prototype-based methods by up to 5–8% on average.

show abstract

“…Önerilen Çalışma(Gradyan) MI 𝑄 𝑄 / STD MST-SR [32] 5,15 0,76 0,74 57,42 FusionGAN [33] 3,5 0,5 0, 37 48,35 ECNN [16] 6,15 0,8072 0,75 57,51 CNN [14] 5,96 0,8084 0,7618 57,46 QB [34] 5,55 0,7827 0,7446 57,5385 IFCNN [21] 4,8797 0,7292 0,7296 57,5502 U-NET [35] 6,1358 0,5642 0,6382 X U2Fusion [36] 7,82 X 0,75 57,52 Bouzos vd. [37] 7,36 0,7557 0,7143 X Li vd.…”

Section: Yang Vd Metriği (𝑄 )mentioning

confidence: 99%

CNN ve SVM yöntemleriyle çoklu-odaklı görüntü birleştirmede yeni bir hibrit yaklaşım

AYMAZ

2023

Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi

View full text Add to dashboard Cite

Çoklu-odaklı görüntü birleştirme, aynı sahnenin farklı odak değerlerine sahip iki veya daha fazla görüntüsünün birleştirilerek tüm-odaklı bir görüntü oluşturulmasıdır. Tüm-odaklı görüntü oluşturulurken temel amaç kaynak görüntülerdeki doğru odak bilgisinin maksimum seviyede birleştirilmiş görüntüye aktarılmasıdır. Önerilen çalışmada, bu amaç doğrultusunda yeni bir hibrit yaklaşım önerilmektedir. Bu yaklaşım, görüntülerden çıkarılan önemli özelliklerin sınıflandırılması ve etkili füzyon kuralları ile birleştirilmesine dayanmaktadır. Özellik çıkarımında, özgün olarak tasarlanan ve basit sistemlerde dahi kolaylıkla çalışabilen bir CNN mimarisi kullanılmaktadır. Çıkarılan özellikler, SVM sınıflandırıcısına verilmekte ve özellik vektörünün odaklı ya da odaksız olarak sınıflandırılması sağlanmaktadır. Sınıflandırma işlemleri sonrasında her bir kaynak görüntü için ikili karar haritaları oluşturulmaktadır. Bu karar haritalarının yanında, önerilen çalışmanın özgün yönlerinden birisi de kararsız bölgelere ait haritaların da çıkarılmasıdır. Bu bölgeler, sınıflandırıcının özellik vektörlerini tam olarak sınıflandıramadığı odaklı bölgelerden odaksız bölgelere geçiş noktalarından oluşmaktadır. Görüntü birleştirmede en önemli konulardan birisi de füzyon kuralının seçimidir. Önerilen çalışmada, sınıflandırıcının kesin olarak karar verebildiği noktalar doğrudan birleştirilmiş görüntüye aktarılırken, kararsız bölgeler için iki alternatif füzyon kuralı kullanılmaktadır. Bunlar gradyan-tabanlı ve laplas-tabanlı füzyon kurallarıdır. Çalışmada her bir füzyon kuralı için, füzyon kurallarının birleştirmeye etkisi gözlemlenmektedir. Sonuç olarak, önerilen çalışmanın performansı objektif performans metrikleriyle değerlendirilmektedir. Sonuçlar incelendiğinde, çalışmanın basit sistemlerde çalışabilen etkili bir füzyon aracı olduğu görülmektedir.

show abstract

An unsupervised multi‐focus image fusion method based on Transformer and U‐Net

Cited by 16 publications

References 59 publications

Integration of the latent variable knowledge into deep image captioning with Bayesian modeling

Integration of the latent variable knowledge into deep image captioning with Bayesian modeling

Few-shot segmentation with duplex network and attention augmented module

CNN ve SVM yöntemleriyle çoklu-odaklı görüntü birleştirmede yeni bir hibrit yaklaşım

Contact Info

Product

Resources

About