Characterization and classification of semantic image-text relations

Abstract

The beneficial, complementary nature of visual and textual information to convey information is widely known, for example, in entertainment, news, advertisements, science, or education. While the complex interplay of image and text to form semantic meaning has been thoroughly studied in linguistics and communication sciences for several decades, computer vision and multimedia research remained on the surface of the problem more or less. An exception is previous work that introduced the two metrics Cross-Modal Mutual Information and Semantic Correlation in order to model complex image-text relations. In this paper, we motivate the necessity of an additional metric called Status in order to cover complex image-text relations more completely. This set of metrics enables us to derive a novel categorization of eight semantic image-text classes based on three dimensions. In addition, we demonstrate how to automatically gather and augment a dataset for these classes from the Web. Further, we present a deep learning system to automatically predict either of the three metrics, as well as a system to directly predict the eight image-text classes. Experimental results show the feasibility of the approach, whereby the predict-all approach outperforms the cascaded approach of the metric classifiers.

Liên Kết Logic Ngữ Nghĩa Trong Văn Bản Đa Phương Thức: So Sánh Giữa Người Việt Và Người Mỹ

“…Tương tự như đối với kiểu liên kết tương đồng, kiểu liên kết tương phản này cũng chưa được giải thích và minh họa bằng ví dụ rõ ràng trong mô hình phân loại các kiểu liên kết của Martinec và Salway [9] và van Leeuwen [20]. Một số nghiên cứu về liên kết hình ảnh -ngôn bản trong các thể loại (genre) khác nhau gần đây đã phân tích kiểu liên kết này kỹ hơn [12,22].…”

“…Như vậy, chúng ta có thể thấy toàn văn bản đã được mở rộng từ chuyện chờ xem đội Anh đá bóng sang chuyện ăn mít: Chúng tôi ngồi chờ đội của nước Anh đá bóng. Chúng tôi thấy sốt ruột ghê và chúng tôi đã ăn mít như thế này đây.Tóm lại, giống như trong thể loại văn học và báo chí[12,22], trong thể loại giao tiếp hằng ngày như văn bản đa phương thức trên Facebook của người Mỹ và người Việt, liên kết mở rộng cũng được sử dụng để bổ sung thông tin có liên quan vào mạch chính của câu chuyện được kể, dẫn dắt người đọc sang một ý mới có liên quan. Trong kiểu liên kết này, hình ảnh thường được sử dụng để mở rộng thông tin trình bày trong ngôn bản.…”

“…Ngược lại, người Mỹ thường chọn khai triển, chi tiết hóa những tham thể hay quá trình họ đang trình bày. Nói cách khác, người Mỹ có xu hướng chọn phân tích sâu những yếu tố họ đang đề cập để phát triển ý trong phát ngôn của mình hơn mở rộng ý theo hướng liên quan.Mặc dù liên kết mở rộng được sử dụng trong các thể loại văn học cũng như truyền thông bằng tiếng Anh[12,22], nhưng sự khác nhau rõ nét về cách sử dụng liên kết này giữa người Việt và người Mỹ trong thể loại văn bản giao tiếp thường ngày này cho thấy đặc điểm văn hóa của hai nhóm khách thể nghiên cứu. Sự khác nhau này là một bằng chứng thực nghiệm cho giả thiết về sự khác nhau trong tư duy cũng như trong cách tổ chức và trình bày ý tưởng trong các văn bản nói và viết của người phương Đông, cụ thể là người Việt và người nói tiếng Anh bản ngữ.…”

“…Tuy nhiên, trong một phát ngôn đa phương thức, việc sử dụng các biện pháp tu từ như liên tưởng, ẩn dụ, hoán dụ và tương phản đôi khi gây khó khăn cho người đọc trong việc nắm bắt nội dung mà người viết muốn diễn đạt. Hiện tượng này Otto và cs [12]. gọi là "semantic gap" (tạm dịch là khoảng cách ngữ nghĩa).…”

AnANet: Modeling Association and Alignment for Cross-modal Correlation Classification

“…However, none of these studies propose any predictive models for cross-modal correlation categories. Recently, researchers pay more attention to the prediction of the cross-modal correlation categories and expand the existing classification system based on image specificity [13], emotion [14], interrelation metrics [15,16], parallel and non-parallel [17], contextual and semiotic relations [18], visual content contribution [19], etc. They annotate data and train models to predict the cross-modal correlation category around the following tasks: multimodal regression [13] or multimodal classification [14,15,16,17,18,19].…”