Eating Activity Monitoring in Home Environments Using Smartphone-based Video Recordings

Abstract

Food intake monitoring plays an important role in personal dietary systems. Existing video based eating activity monitoring systems typically use recordings taken with an identical device in a single laboratory setting. In contrast, we explore videos recorded using smartphones for recognizing eating gestures in home environments. For this purpose, we collected 20 eating sessions from 14 participants using different smartphones. Specifically, the data is labelled into eating and no-eating classes. To recognize eating activity from video we have employed three deep learning approaches namely, 3D CNN, SlowFast network, and CNN-LSTM. Our approach has achieved the best F1score of 0.560 with SlowFast network when evaluated using the Leave-One-Subject-Out (LOSO) scheme. Our preliminary results suggest that the video-based food intake monitoring can be used in home environments. However, our models failed to recognize the eating activity when the user tends to bend to pick food from the plate. More videos with such eating styles need to be incorporated in training data to enhance the performance.

Innovation in Nutrition: Artificial Intelligence Supported Personalized Nutrition: Advances in Diagnosis and Treatment

“…11 YZ hastalıkların riskini tahmin etmede, teşhis ve tedavisinde; beslenmenin takibinde ve kişiselleştirilmesinde kullanılmaktadır (Şekil 2). 8,[13][14][15] Dijital ikiz projesi (DİP), geçmişi izleme, bugünü izleme ve geleceği tahmin etme yeteneği ile bir nesnenin veya kişinin sanal olarak yeniden oluşturulmasıdır. 16 Bu proje ile hastalık oluşumu ve hastalıkların karmaşık etkileşimleri zamana duyarlı bir simülasyonu gerçekleştirilebilmektedir.…”

“…Videoların YZ algoritmalarıyla analiz edilmesiyle yemek yeme alışkanlıklarının doğru bir şekilde tespit edildiği görülmüştür. 8 Başka bir çalışmada; akıllı telefon uygulaması aracılığıyla uygulanan kişiselleştirilmiş beslenme programının sporcuların beslenme programına uyumunu artırdığı ve verilen önerileri takip etme konusunda motive ettiği anlaşılmıştır. 23 Hem akıllı saat hem de kulak içi mikrofon kullanarak besin tüketim davranışları izlenebilmektedir.…”

“…YZ'nin bireylere/hastalara kişiselleştirilmiş beslenme sunmak için veri toplanmasında, verilerinin analizinde, tedavi önerilerinde daha da gelişeceği düşünülmektedir. 5,8 Kişiselleştirilmiş beslenmede YZ kullanımı oldukça hızlı bir şekilde hayatımızda yer almaya başlamıştır. Bu derlemede, akıllı telefon uygulamaları, akıllı saatler ve elektronik giysiler gibi pek çok alanda kişiselleştirilmiş beslenmeye destek olan YZ kullanımı hakkında bilgi verilecektir.…”

Drinking Gesture Detection Using Wrist-Worn IMU Sensors with Multi-Stage Temporal Convolutional Network in Free-Living Environments

“…Bite detection has been widely investigated using various sensors. Cameras have been used to detect bites [14], [15] and food types [7] by analyzing video signals. Acoustic sensors can be used for this task through processing chewing sounds [8].…”