Permainan batu, gunting, dan kertas sangat populer di seluruh dunia. Permainan ini biasanya dimainkan saat sedang berkumpul untuk mengundi ataupun hanya bermain untuk mengetahui yang menang dan yang kalah. Namun, perkembangan zaman dan teknologi mengakibatkan orang dapat berkumpul secara virtual. Untuk bisa melakukan permainan ini secara virtual, penelitian ini membuat model klasifikasi citra untuk membedakan objek tangan yang menunjuk batu, kertas, dan gunting. Performa metode klasifikasi merupakan hal yang harus diperhatikan dalam kasus ini. Salah satu metode klasifikasi citra yang populer adalah Convolutional Neural Network (CNN). CNN adalah salah satu jenis neural network yang biasa digunakan pada data klasifikasi citra. CNN terinspirasi dari jaringan syaraf manusia. Algoritma ini memiliki 3 tahapan yang dipakai, yaitu convolutional layer, pooling layer, dan fully connected layer. Uji coba 5-Fold cross validation klasifikasi objek tangan yang menunjuk citra batu, kertas, dan gunting menggunakan CNN pada penelitian ini menghasilkan rata-rata akurasi sebesar 97.66%.