Bahasa Isyarat Indonesia adalah isyarat kata yang awalnya diambil dari isyarat yang disampaikan oleh anak tunarungu. Bahasa isyarat adalah hal yang biasa bagi orang tuli dan bisu, tetapi tidak asing bagi orang biasa. Untuk itu diperlukan perantara alternatif yang dapat menjadi penerjemah antara penyandang tunarungu dan tuna wicara sertamasyarakat biasa. Penelitian ini bertujuan untuk mengklasifikasikan sistem isyarat bahasa Indonesia menggunakan metode Convolutional Neural Network dengan arsitektur VGG (Visual Geometric Group)-16 dan Alexnet. Data terdiri dari huruf A sampai dengan huruf Z yaitu 320 data uji, 1600 data latih, dan 320 data validasi, dan data akan diubah ukurannya menjadi ukuran 224 x 224 piksel, dilanjutkan dengan grayscale dan augmentasi. Hasil pengujian VGG-16 menunjukkan bahwa klasifikasi menggunakan VGG-16 dengan optimasi Adam mendapatkan tingkat akurasi tertinggi, yaitu 99,32% untuk setiap huruf, 91,18% untuk keseluruhan. Sedangkan hasil klasifikasi menggunakan VGG-16 dengan optimasi SGD mendapatkan tingkat akurasi terendah, yaitu 98,85% untuk setiap huruf dan 84,96% untuk keseluruhan. Sedangkan dari hasil pengujian AlexNet terlihat bahwa hasil klasifikasi menggunakan AlexNet dengan Adam optimizer mendapatkan tingkat akurasi tertinggi, yaitu 99,16% untuk setiap huruf dan 89,04% untuk keseluruhan. Sedangkan hasil klasifikasi menggunakan AlexNet dengan pengoptimal SGD mendapatkan tingkat akurasi terendah, yaitu 97,33% untuk setiap huruf dan 68,33% untuk keseluruhan.