Buah zaitun merupakan tanaman produk hortikultura rumpun oleaceae dengan genus Olea yang memiliki berbagai macam jenis dan fitur yang unik. Satu dari sekumpulan species Olea yang ditemukan di wilayah tropis dan subtropis yang menjadikan tanaman subur dan melimpah. Hasil panen yang sangat melimpah sebanding dengan kebutuhan pasar. Pemanenan produk secara acak membuat pemilihan produk pasca panen sangat penting dalam mengelompokkan jenis buah zaitun. Sehingga perlu adanya sistem yang dapat mengklasifikasi secara otomatis. Sebelumnya sudah ada penelitian yang diusulkan untuk mengklasifikasi buah zaitun dengan akurasi yang cukup tinggi. Namun kecepatan yang diperlukan butuh waktu yang sangat lama karena menggunakan model pretrained yang begitu kompleks. Oleh karena itu, penelitian ini bertujuan untuk melakukan klasifikasi buah zaitun dengan waktu yang lebih cepat dan akurasi yang tidak kalah dari sebelumnya. Metode yang akan digunakan adalah Convolutional Neural Network (CNN) dengan rangkaian arsitektur sendiri. Hasil dari penelitian ini mendapatkan akurasi sebesar 92% dengan 30 epoch.