SensCapsNet: Deep Neural Network for Non-Obtrusive Sensing Based Human Activity Recognition

Abstract

This research was funded by Vietnam Ministry of Science and Technology under grant number DTDLCN-16/18 ''Automated Respiration Symptoms monitoring and Abnormal Human Activity Detection Using the Internet of Things''. ABSTRACT Recently, the recent advancement of deep learning with the capacity to perform automatic highlevel feature extraction has achieved promising performance for sensor-based human activity recognition (HAR). Among different deep learning methods, Convolutional Neural Network (CNN) and Long Short Term Memory (LSTM) have been widely adopted. However, scalar outputs and pooling in CNN only allow to get the invariance but not the equivariance. The capsule networks (CapsNet) with the vector output and routing by agreement is able to capture the equivariance. In this paper, we propose a method for recognizing human activity from wearable sensors based on a capsule network named SensCapsNet. The architecture of SensCapsNet is designed to be suitable for spatial-temporal data coming from wearable sensors. Experimental results show that the proposed network outperforms CNN and LSTM methods. The performance of the proposed CapsNet architecture is assessed by altering dynamic routing between capsule layers. The proposed SensCapsNet yields improved accuracy values of 77.7% and 70.5% for 1 routing on two testing datasets in comparison with the baseline methods based on CNN and LSTM that yields the F1score of 67.7% and 69.2% for the first dataset and 65.3% and 67.6% for the second dataset respectively. Moreover, even several human activity datasets are available, privacy invasion and obtrusive concerns have not been carefully taken in to consideration in dataset building. Toward to build a non-obstructive sensing based human activity recognition method, in this paper, a dataset named 19NonSens is designed and collected from twelve subjects wearing e-Shoes and a smart watch to perform 19 activities under multiple contexts. This dataset will be made publicity available. Finally, thanks to the promising results obtained by the proposed method, we develop a life logging application which achieves a real-time computation and the accuracy rate greater than 80% for 5 common upper body activities. INDEX TERMS Human activity recognition, capsule net, wearable sensors.

A Mixed-Perception Approach for Safe Human–Robot Collaboration in Industrial Automation

“…Deep neural networks are extremely effective in feature extraction and learning complex patterns [67]. Recurrent neural networks (RNN) such as long short-term memory network approaches (LSTM) are frequently used in research for processing time series and sequential data [68][69][70][71].…”

Phát hiện hoạt động bất thường của người bằng mạng học sâu tích chập kết hợp mạng bộ nhớ dài ngắn

“…Hai phương pháp tiếp cận phổ biến để giải quyết bài toán vận động bất thường là: sử dụng cảm biến được tích hợp vào môi trường [6] và cảm biến đeo trên người [4,5,22]. Trong cách tiếp cận thứ nhất thì các cảm biến hình ảnh như camera số được thiết đặt để quan sát các hoạt động hàng ngày của người [7] hoặc cảm biến định danh (RFID) được gắn vào trong các vật dụng trong nhà để phát hiện người sử dụng những vật dụng nào, từ đó suy diễn ra các hoạt động hàng ngày và vận động bất thường của người mất trí nhớ tạm thời [1,23].…”

“…Aran và đồng sự [4] Giả sử = , ∈ 1, .., 3 tương ứng với 3 loại cảm biến: gia tốc, con quay hồi chuyển, và từ trường. Với cảm biến , nó tạo ra một phép đo theo thời gian, các phép đo có thể được biểu thị bằng đối với ma trận cho các giá trị đo với ( ) là chiều của vectơ cho các dấu thời gian (time stamps), ( ) là kích thước cho mỗi phép đo (ví dụ: các phép đo dọc theo trục , , đối với cảm biến), ( ) là số phép đo.…”

“…Kiến trúc của mạng con tích chập hợp nhất tương tự như mạng con tích chập riêng lẻ. Bộ lọc 2 được chúng tôi sử dụng với ( , 4) để học các tương tác giữa các cảm biến với đầu ra (4) .. , sau đó bộ lọc 1 với (1, 5) và (1, 6) được áp dụng ở mức độ nâng cao hơn trên (5) .. , (6) .. . Đối với mỗi lớp tích chập, CNN-LSTM học với 64 bộ lọc và sử dụng ReLU làm hàm kích hoạt.…”

Body Temperature Monitoring for Regular COVID-19 Prevention Based on Human Daily Activity Recognition

“…Tools such as machine learning (ML) and deep learning (DL) act as core learning algorithms, allowing raw data on human activity recognition to be generalized in various domains after training and testing. Wearable sensing devices typically combine embedded systems with inertial, physiological or environmental sensors to identify ambulation, exercise and daily activities, thus enabling HAR technology not only to perform monitoring and activity prediction but also to provide personalized service and decision support under certain circumstances [4,[9][10][11][12][13][14][15][16][17].…”