The Similarity Metric

Li, Ming; Chen, Xin; Li, Xin; Ma, Bin; Vitányi, Paul M. B.

doi:10.1109/tit.2004.838101

Cited by 896 publications

(765 citation statements)

References 41 publications

Supporting

Mentioning

741

Contrasting

Unclassified

Order By: Relevance

“…Một tiếp cận khác là sử dụng các độ đo giữa các đối tượng được biểu diễn bởi các chuỗi ký tự như [1], [3], [4], [2], [9]. Tuy nhiên các tiếp cận này đều có một điểm yếu chung là chúng phân tích các đối tượng một cách độc lập với các đặc điểm của chúng, tức là chúng phân tích đồng thời tất cả các đặc điểm của đối tượng và xác định sự tương đồng giữa các cặp đối tượng thông qua sự giống nhau nhiều nhất trong số các cặp đặc điểm mà hai đối tượng cùng chia sẻ.…”

Section: Giới Thiệuunclassified

See 1 more Smart Citation

Độ Đo Google Trong Tích Hợp Dữ Liệu

Trình¹,

Thuỵ²,

Hiếu³

2016

Fair - Nghiên Cứu Cơ Bản Và Ứng Dụng Công Nghệ Thông Tin 2015

View full text Add to dashboard Cite

Từ khóa -Độ đo Google, tích hợp dữ liệu/tri thức. I. GIỚI THIỆUKhi chữ viết được phát minh, con người có một công cụ tốt để mô tả các đối tượng bằng cách biểu diễn các đối tượng bằng một chuỗi các ký tự. Tuy nhiên do sự linh hoạt của ngôn ngữ nên cùng một đối tượng có thể được biểu diễn bằng nhiều chuỗi ký tự khác nhau và ngược lại một chuỗi ký tự cũng có thể biểu diễn nhiều đối đượng khác nhau. Do đó việc xem xét các đối tượng từ các chuỗi ký tự cần được xem xét trong ngữ cảnh cụ thể. Một bài toán (ngược) được đặt ra là nếu chúng ta có hai chuỗi ký tự, tìm ngữ cảnh mà hai chuỗi ký tự này biểu diễn các đối tượng có quan hệ gần nhau nhất. Bài toán này có nhiều ứng dụng trong xử lý ngôn ngữ tự nhiên, phân cụm dữ liệu, học máy,… Trong bài này chúng ta sẽ xem xét một trong các cách để trả lời cho câu hỏi này.Hằng ngày có hơn một tỷ lượt người dùng Internet với hàng tỷ comment trên các mạng xã hội, tweeter và hàng triệu các tài liệu được xuất bản trên đó. Internet trở thành một kho dữ liệu khổng lồ về các đối tượng ở tất cả các ngôn ngữ và trong vô vàn các ngữ cảnh khác nhau. Với quy mô cực lớn của Internet, con người không thể tìm kiếm các đối tượng một cách thủ công thông qua các đường link. Thay vào đó chúng ta sử dụng các máy tìm kiếm để hỗ trợ cho việc này, chúng ta chỉ cần gửi các truy vấn và máy tìm kiếm sẽ trả lại các kết quả tìm được. Một trong các máy tìm kiếm mạnh mẽ nhất trên Internet hiện nay là Google. Google hỗ trợ cho cả người dùng qua giao diện người dùng và các nhà phát triển thông qua giao diện API. Các thông tin kết quả mà Google trả về khá chi tiết và đủ cơ sở để chúng ta có thể xây dựng một độ đo như sẽ trình bày trong các mục phía sau.Trong các công trình nghiên cứu trước đây, một trong các hướng nghiên cứu chính để so sánh các các từ hay cụm từ là sử dụng tần suất xuất hiện của chúng trong các văn bản để xây dựng các độ đo sự tương đồng Tuy nhiên các tiếp cận này đều có một điểm yếu chung là chúng phân tích các đối tượng một cách độc lập với các đặc điểm của chúng, tức là chúng phân tích đồng thời tất cả các đặc điểm của đối tượng và xác định sự tương đồng giữa các cặp đối tượng thông qua sự giống nhau nhiều nhất trong số các cặp đặc điểm mà hai đối tượng cùng chia sẻ. Với cách tiếp cận này, các đối tượng được so sánh trực tiếp với nhau và do đó chỉ phù hợp để đạt được các tri thức về chính các đối tượng đó mà không quan tâm đến thông tin chung về sự tương đồng này. Trong bài báo này chúng tôi giới thiệu một cách tiếp cận mới nhằm lấy được các thông tin ý nghĩa hơn về sự tương đồng giữa các đối tượng thông qua ngữ nghĩa Google. Cụ thể là chúng tôi sử dụng các tên của đối tượng và thông qua máy tìm kiếm Google để thu được thông tin về đối tượng từ vô số các người dùng web trong các ngữ cảnh khác nhau, qua đó thống kê tần suất xuất hiện của các tên đối tượng khi chúng xuất hiện riêng rẽ và xuất hiện cùng nhau để có thể xác định một cách định lượng sự tương đồng giữa các đối tượng này.Trong bài báo cơ sở lý thuyết được trình bày trong Mục II, trong đó các khái niệm chính được đề cập gồm có: Độ ph...

show abstract

Section: Giới Thiệuunclassified

“…Khoảng cách thông tin được chuẩn hóa có một số tính chất thú vị và nó cũng được chứng minh là một metric (chi tiết xem tại [4]). …”

Section: E(x Y) + E(y Z) ≥ E(x Z)unclassified

Độ Đo Google Trong Tích Hợp Dữ Liệu

Trình¹,

Thuỵ²,

Hiếu³

2016

Fair - Nghiên Cứu Cơ Bản Và Ứng Dụng Công Nghệ Thông Tin 2015

View full text Add to dashboard Cite

show abstract

“…K(x|y * ) is computed analogously. Thus, we may follow [8] and define the universal similarity metric as…”

Section: The Google Distancementioning

confidence: 99%

Clustering Pairwise Distances with Missing Data: Maximum Cuts Versus Normalized Cuts

Poland

Zeugmann

2006

Lecture Notes in Computer Science

View full text Add to dashboard Cite

Abstract. Clustering algorithms based on a matrix of pairwise similarities (kernel matrix) for the data are widely known and used, a particularly popular class being spectral clustering algorithms. In contrast, algorithms working with the pairwise distance matrix have been studied rarely for clustering. This is surprising, as in many applications, distances are directly given, and computing similarities involves another step that is error-prone, since the kernel has to be chosen appropriately, albeit computationally cheap. This paper proposes a clustering algorithm based on the SDP relaxation of the max-k-cut of the graph of pairwise distances, based on the work of Frieze and Jerrum. We compare the algorithm with Yu and Shi's algorithm based on spectral relaxation of a norm-k-cut. Moreover, we propose a simple heuristic for dealing with missing data, i.e., the case where some of the pairwise distances or similarities are not known. We evaluate the algorithms on the task of clustering natural language terms with the Google distance, a semantic distance recently introduced by Cilibrasi and Vitányi, using relative frequency counts from WWW queries and based on the theory of Kolmogorov complexity.

show abstract

“…Recently, research has applied derivations of Kolmogorov complexity ( ( )) in order to measure image similarity because its they provide a universal distance measure [10]. First proposed by M. Li et al, Normalized Compression Distance (NCD) quantifies object similarity by calculating the compressed sizes of two strings and their concatenation [10].…”

Section: Introductionmentioning

confidence: 99%

“…In [10], [11], [4], normalized compression distance (NCD) has been shown to yield promising results in constructing phylogeny trees, detecting plagiarism, clustering music, and performing handwriting recognition. These results demonstrate the generality and robustness of NCD when comparing one dimensional data.…”

Section: Introductionmentioning

confidence: 99%

Effect of Image Linearization on Normalized Compression Distance

Mortensen

Wu²,

Furst

et al. 2009

Communications in Computer and Information Science

View full text Add to dashboard Cite

Abstract. Normalized Information Distance, based on Kolmogorov complexity, is an emerging metric for image similarity. It is approximated by the Normalized Compression Distance (NCD) which generates the relative distance between two strings by using standard compression algorithms to compare linear strings of information. This relative distance quantifies the degree of similarity between the two objects. NCD has been shown to measure similarity effectively on information which is already a string: genomic string comparisons have created accurate phylogeny trees and NCD has also been used to classify music. Currently, to find a similarity measure using NCD for images, the images must first be linearized into a string, and then compared. To understand how linearization of a 2D image affects the similarity measure, we perform four types of linearization on a subset of the Corel image database and compare each for a variety of image transformations. Our experiment shows that different linearization techniques produce statistically significant differences in NCD for identical spatial transformations.

show abstract

The Similarity Metric

Cited by 896 publications

References 41 publications

Độ Đo Google Trong Tích Hợp Dữ Liệu

Độ Đo Google Trong Tích Hợp Dữ Liệu

Clustering Pairwise Distances with Missing Data: Maximum Cuts Versus Normalized Cuts

Effect of Image Linearization on Normalized Compression Distance

Contact Info

Product

Resources

About