Learning Deep Architectures for AI

Abstract

Theoretical results suggest that in order to learn the kind of complicated functions that can represent highlevel abstractions (e.g. in vision, language, and other AI-level tasks), one may need deep architectures. Deep architectures are composed of multiple levels of non-linear operations, such as in neural nets with many hidden layers or in complicated propositional formulae re-using many sub-formulae. Searching the parameter space of deep architectures is a difficult task, but learning algorithms such as those for Deep Belief Networks have recently been proposed to tackle this problem with notable success, beating the state-of-the-art in certain areas. This paper discusses the motivations and principles regarding learning algorithms for deep architectures, in particular those exploiting as building blocks unsupervised learning of single-layer models such as Restricted Boltzmann Machines, used to construct deeper models such as Deep Belief Networks.

Deep Learning: Ứng Dụng Cho Dự Báo Lưu Lượng Nước Đến Hồ Chứa Hòa Bình

“…Deep learning là một tập các thuật toán học máy với ý tưởng xây dựng mô hình dữ liệu có mức độ trừu tượng cao dựa trên các dữ liệu có mức độ trừu tượng hóa thấp hơn, bằng cách phân lớp dữ liệu và các biến đổi phi tuyến [3].…”

“…Các mô hình học sâu có kiến trúc tương tự mạng nơron nhưng dựa trên cách tiếp cận khác, với ý tưởng cơ bản là dữ liệu tại mỗi lớp sẽ có mức độ trừu tượng hóa (khái quát) cao hơn bằng cách tổ hợp các dữ liệu có mức trừu tượng hóa thấp ở lớp trước [3]. Hình 4 biểu diễn một mô hình học sâu tiêu biểu [9] sử dụng trong nhận dạng mặt người, trong đó dữ liệu đầu vào của mạng có thể là dữ liệu ở dạng thô nhất là các điểm ảnh RGB (thậm chí không cần qua tiền xử lý).…”

Pre-Trained Deep Neural Network Using Sparse Autoencoders and Scattering Wavelet Transform for Musical Genre Recognition

“…Deep learning takes advantage of unlabeled data to learn a good representation of the features space [2] -each layer representing another abstraction of the features pre-trained from a previous layer. Layer-wise, bottom-up pre-training (one layer at a time) is possible by incorporating Restrictive Boltzman Machines (RBM) or Autoencoders (AE) [3].…”

Two-Layer Contractive Encodings with Shortcuts for Semi-supervised Learning

“…One hypothesis by Bengio et al [1,2] on why the greedy layer-wise pretraining helps in semi-supervised learning is that stacking of unsupervised neural networks disentangles factors of variations and that the untangled representations make discriminative learning easier. With only a linear mapping, followed by a non-linear transfer function, the complexity of the local recodings is limited, however.…”

“…While networks with a single-possibly very widehidden layer suffice in principle, deep networks-having multiple hidden layers-can be much more efficient. Without proper initialization or regularization it is, however, difficult to achieve good generalization with deep MLPs (see, e.g., [1]). …”