GIẢI THUẬT tSVM CHO PHÂN LỚP PHI TUYẾN TẬP DỮ LIỆU LỚN

Abstract

TÓM TẮT- I. GIỚI THIỆUGiải thuật cây quyết định [Breiman et al., 1984], [Quinlan, 1993] và máy học véc-tơ hỗ trợ (Support Vector Machines -SVM [Vapnik, 1995]) được cộng đồng khám phá tri thức và khai thác dữ liệu bình chọn là hai trong top 10 giải thuật khai thác dữ liệu phổ biến và hiệu quả [Wu & Kumar, 2009]. Ưu điểm của mô hình cây quyết định là giải thuật huấn luyện đơn giản, nhanh, xử lý được cả dữ liệu rời rạc và liên tục, luật quyết định rút trích từ mô hình cây quyết định dễ hiểu với chuyên gia về dữ liệu. Trong khi đó, giải thuật máy học véc-tơ hỗ trợ sử dụng các hàm hạt nhân (kernel function), cung cấp các mô hình có độ chính xác rất cao cho các vấn đề phân lớp và hồi quy phi tuyến trong thực tế. Các ứng dụng thành công của SVM đã được công bố trong nhiều lĩnh vực khác nhau như nhận dạng mặt người, phân lớp văn bản và tin-sinh học [Guyon, 1999]. Mặc dù có được những ưu điểm kể trên, giải thuật huấn luyện một mô hình SVM có độ phức tạp cao so với giải thuật huấn luyện mô hình cây quyết định do phải giải bài toán quy hoạch toàn phương (quadratic programming). Độ phức tạp tối thiểu của giải thuật huấn luyện mô hình SVM là bậc 2 của số lượng phần tử dữ liệu [Platt, 1999]. Do đó, cần thiết phải có những cải tiến để giải thuật học SVM có thể xử lý được các tập dữ liệu với kích thước lớn.Trong bài viết, chúng tôi đề xuất giải thuật mới tSVM là giải thuật lai của giải thuật cây quyết định và máy học SVM để tận dụng được ưu điểm của cả hai lớp giải thuật học này. Giải thuật tSVM có thể huấn luyện mô hình chính xác như giải thuật SVM gốc nhưng có độ phức tạp thấp hơn. Để đạt được cả hai mục tiêu này, giải thuật tSVM sử dụng máy học cây quyết định để phân hoạch nhanh tập dữ liệu lớn thành k phân vùng được gọi là nút lá. Các nút lá có nhãn (lớp) của các phần tử thuần nhất (giống nhau) được gán nhãn giống như giải thuật cây quyết định, sử dụng khi phân lớp. Với các nút lá có nhãn các phần tử không thuần nhất, giải thuật tSVM huấn luyện song song các mô hình SVM phi tuyến cục bộ, mỗi mô hình dùng để phân lớp dữ liệu cục bộ dữ liệu của nút lá. Kết quả thực nghiệm trên các tập dữ liệu của UCI [Lichman, 2013] và 3 tập dữ liệu nhận dạng ký tự viết tay [Lecun et al., 1989], [Lecun et al., 1998], [van der Maaten, 2009] và tập dữ liệu phân lớp ảnh [Geusebroek et al., 2005] cho thấy giải thuật tSVM cho kết quả phân lớp nhanh, chính xác khi so sánh với giải thuật SVM chuẩn như LibSVM [Chang & Lin, 2011].Phần còn lại của bài viết được tổ chức như sau. Chúng tôi sẽ trình bày tóm tắt giải thuật máy học véc-tơ hỗ trợ trong phần 2. Giải thuật tSVM được trình bày trong phần 3. Kết quả thực nghiệm sẽ được trình bày trong phần 4. Các nghiên cứu liên quan được thảo luận trong phần 5 trước khi kết luận và hướng phát triển được trình bày trong phần 6. II. MÁY HỌC VÉC-TƠ HỖ TRỢXét ví dụ phân lớp nhị phân tuyến tính đơn giản được mô tả như hình 1, với m phần tử x 1 , x 2 , …, x m trong không gian n chiều (thuộc tính) với nhãn (lớp) của các phần tử tương ứng là y 1 , y 2 , …, y m có giá trị 1 (lớp dương) hoặc giá trị -1 (lớp âm). Giải thu...