Most of the smoke detection system these days still using sensors that have to receive specific particles before it could give a warning. But, this system takes some time to react and quite difficult to place in spacious room or the outdoor. To overcome this, there is some research that build smoke detection system using many kind video processing technique that could provide early warning. In this research, wavelet energy was used to detect smoke in the video. To determine candidate blocks in a frame that contain smoke, this research performed background subtraction and color analysis based on HSV color space. Then implementing spatial analysis and spatio-temporal analysis by using wavelet energy method and accumulative motion orientation to detect the smoke. This system using combination of dataset from previous research [1], downloaded from various sources and selfmade dataset. Based on testing process using those dataset, this system reaches 91.05% accuracy for block-level and 72.22% accuracy for frame-level.Keywords: Accumulative motion orientation, smoke detection, spatial analysis, spatio-temporal analysis, video processing, wavelet energy Abstrak Sebagian besar sistem deteksi asap saat ini masih menggunakan sensor yang akan menangkap partikel tertentu sebelum dapat memberi peringatan. Namun, sistem ini membutuhkan waktu yang cukup lama untuk bereaksi dan sulit jika dipasang di ruang luas ataupun terbuka. Untuk mengatasi kekurangan ini, banyak dilakukan penelitian yang membangun sistem deteksi asap menggunakan berbagai teknik video processing yang dapat lebih menjamin untuk memberi peringatan dini. Dalam penelitian ini, digunakan metode wavelet energy untuk mendeteksi asap pada video. Untuk menentukan kandidat blok pada frame yang mengandung asap, dilakukan background subtraction dan analisa warna berdasarkan model HSV. Lalu digunakan metode wavelet energy pada spatial analysis dan spatio-temporal analysis serta metode accumulative motion orientation untuk mendeteksi asap. Dataset yang digunakan pada sistem yang dibangun merupakan kombinasi dari dataset penelitian sebelumnya [1], unduhan dari berbagai sumber serta dataet yang dibangun secara mandiri. Berdasarkan pengujian yang dilakukan menggunakan dataset tersebut, sistem ini menghasilkan tingkat akurasi sebesar pada level blok sebesar 91.05% dan tingkat akurasi pada level frame sebesar 72.22%.