Setiap santriwati yang tinggal di pesantren wajib menggunakan hijab. Untuk melakukan control dan monitoring penggunaan hijab di pesantren saat ini masih dilakukan secara manual oleh pihak keamanan. Proses control dan monitoring yang dilakukan secara manual ini membutuhkan waktu dan proses yang lama serta membutuhkan sumber daya manusia yang banyak. Untuk membantu mengatasi permasalahan yang ada, maka dibutuhkan sistem yang dapat memonitoring pemakaian hijab secara otomatis. Pada penelitian ini diusulkan menggunakan metode MASK RCNN untuk mendeteksi objek wanita yang tidak berhijab dan wanita yang berhijab dari gambar digital. Dataset yang digunakan pada penelitian ini terdapat 3 kategori yaitu wanita berhijab syar’i, wanita berhijab tidak syar’i, dan wanita tidak berhijab yang memiliki 4 class yaitu wajah, rambut, hijab syar’i, hijab non syar’i. Proses yang dilakukan pada metode tersebut terdapat 2 tahapan yaitu data training dan data testing. Data training yang digunakan adalah 1500 citra digital setiap kategori berjumlah 500 citra digital dan data testing yaitu digunakan 150 gambar setiap kategori berjumlah 50 gambar. Model ini dilatih dengan metode MASK RCNN data training memperoleh epoch 30 dengan nilai loss 0,1770, nilai val_loss 0,1745 dan waktu 473s 946ms/step. Hasil eksperimen menunjukkan bahwa metode yang diusulkan dapat mendeteki hijab syar’i dengan tingkat akurasi 96%, hijab tidak syar’i dengan tingkat akurasi 96 % dan tidak berhijab dengan tingkat akurasi 94%.