Identifikasi Alfabet Bahasa Isyarat Indonesia dengan Menggunakan Convolutional LSTM

Abstract

Bagi orang dengan gangguan pendengaran, bahasa isyarat Indonesia sangat penting dikarenakan mereka dapat berkomunikasi dengan menggunakan isyarat tangan yang menunjukkan arti tertentu. Namun, karena beberapa konsep tidak memiliki isyarat khusus, maka harus diuraikan menggunakan huruf alfabet. Biasanya seseorang akan merasa sulit ketika berkomunikasi dengan orang yang memiliki gangguan pendengaran dan tidak mengenal bahasa isyarat. Oleh karena itu, diperlukan suatu model yang dapat mengenali bahasa isyarat untuk membantu pemula yang belajar bahasa isyarat berbasis abjad. Tujuan dari penelitian ini adalah untuk mengembangkan model pengenalan bahasa isyarat Indonesia (BISINDO) dari data timeseries berupa video yang terdiri dari 26 kategori dengan menggunakan metode convolutional LSTM. Metode ini merupakan inovasi dalam dunia deep learning yang menggabungkan Long-Short Term Memory (LSTM) dan Convolutional Neural Network (CNN). Penelitian ini menggunakan model convolutional LSTM 2D dengan arsitektur yang sudah direncanakan. Hasil menunjukkan bahwa model memiliki tingkat akurasi model sekitar 68%, menggambarkan kemampuan yang signifikan dalam memprediksi gerakan alfabet dalam Bahasa Isyarat Indonesia (BISINDO). Namun, perlu ketahui bahwa terdapat 32% kemungkinan prediksi yang tidak tepat, perlunya penelitian yang lebih mendalam untuk mengatasi kerumitan variasi gerakan dalam bahasa isyarat