Deteksi dan tracking wajah merupakan salah satu bidang yang terus berkembang dalam berbagai aplikasi seperti sistem keamanan, biometric, maupun aplikasi lainnya. Akan tetapi deteksi dan pelacakan wajah dapat menjadi masalah yang kompleks ketika dilakukan secara real time. Beberapa masalah yang muncul di antaranya kebergantungan hasil deteksi terhadap cahaya dan keberagamaan citra latar belakang. Dalam artikel ini, kami hadirkan metode baru untuk mengatasi masalah tersebut dengan menggunakan filter warna HSL (Hue, Saturation, Luminance) dikombinasikan dengan partikel filter. Filter warna HSL akan mendeteksi wajah berdasarkan warna kulit dengan cara mengatur thresshold pada tiap komponen warna H, S, dan L. Proses selanjutnya adalah melacak wajah yang sudah terdeteksi dengan menggunakan partikel filter. Sebagai inisialisasi, partikel akan disebar secara random di sekitar wajah yang terdeteksi untuk kemudian dihitung bobot tiap partikel berdasarkan jarak tiap partikel terhadap posisi wajah. Bobot tiap partikel akan di-resampling untuk mendapatkan sebaran partikel baru yang memungkinkan partikel dengan bobot yang besar terpilih beberapa kali. Sementara partikel dengan bobot yang relatif rendah akan hilang dengan sendirinya. Sebaran partikel baru akan berada di sekitar wajah yang sedang dilacak. Proses terakhir dari satu siklus partikel filter adalah proses estimasi posisi wajah yang dilacak yang dilakukan dengan merata-ratakan posisi tiap partikel hasil resampling. Hasil pengujian menunjukkan ratarata kesalahan pelacakan posisi wajah menggunakan jumlah partikel filter 100, 200, dan 500 pada sumbu X dan Y berturut-turut adalah (1.25; 1.02), (0.86; 0.81), dan (0.59; 0.57).