Menurut ILO, setiap tahun ada lebih dari 250 juta kecelakaan di tempat kerja. Penyebab kecelakaan sebanyak 80% dikarenakan kelalaian yang dilakukan oleh pekerja yaitu perilaku tidak aman seperti tidak memakai APD. Perlunya pengawasan terhadap pekerja merupakan hal penting dalam mengurangi kecelakaan kerja. Namun pengawasan tersebut masih manual, sehingga akan memakan waktu lama. Metode yang dapat digunakan untuk pengenalan objek pada citra helmet dan vest keselamatan adalah deeplearning. YOLOv2 merupakan salah satu model deep learning yang dapat digunakan untuk pengenalan objek. Mengingatnya permasalahan tersebut, maka perlu dibuat sistem deteksi helmet dan vest secara realtime berbasis web flask. Tahapan pada penelitian ini diantara lain data acquisition atau pengumpulan data citra. selanjutnya data exprolation atau anotasi data citra, selanjutnya dilakukan Modelling atau training data, dan proses terakhir yaitu deployment menggunakan flask. sistem yang telah dibuat berhasil mendeteksi tidak menggunakan helmet dan vest keselamatan dengan bounding box merah dan menggunakan helmet dan vest keselamatan dengan bounding box hijau dengan akurasi rata rata 81.60% dan memiliki nilai avg loss 0.173 dan nilai validasi mAP (mean Average Precision) 76.68%