Pengendalian kualitas produksi lembaran baja dengan persepsi visual manusia sering kali terjadi kesalahan dan membutuhkan waktu yang lebih lama. Implementasi deep learning dalam pengendalian kualitas produksi lembaran baja dapat memiliki akurasi yang baik dan dilakukan secara real-time. Klasifikasi jenis cacat permukaan pada lembaran baja merupakan hal yang penting dalam pengendalian kualitas produksi lembaran baja secara otomatis. Dengan mengklasifikasikan jenis cacat menggunakan deep learning dapat mengidentifikasi dan menghilangkan penyebab terjadinya cacat saat produksi lembaran baja dengan cepat. Penelitian ini bertujuan untuk mengendalikan kualitas produksi lembaran baja secara otomatis melalui klasifikasi jenis cacat permukaan menggunakan Convolutional Neural Network (CNN). Model CNN yang digunakan pada penelitian ini yaitu CNN dengan transfer learning dari 5 pre-trained model Resnet50, VGG-16, VGG-19, Inception V3, dan Xception. Terdapat 6 jenis cacat permukaan yang diklasifikasikan yaitu crazing, inclusion, pitted, patches, rolled, dan scratch. Penelitian dimulai dengan pengambilan data citra lembaran baja yang memiliki cacat permukaan. Jumlah citra yang digunakan dalam penelitian ini yaitu 1.800 citra terdiri dari 1.152 data pelatihan, 288 data validasi, dan 360 data pengujian. Selanjutnya dilakukan preprocessing yaitu normalisasi, augmentasi, dan one-hot encoding. Setelah preprocessing dilakukan pelatihan dan validasi menggunakan transfer learning dari 5 pre-trained model. Model hasil pelatihan digunakan pada tahap pengujian. Hasil pelatihan dan validasi menunjukkan bahwa Xception memiliki kinerja terbaik karena nilai akurasi pelatihan dan validasi tertinggi, nilai loss pelatihan dan validasi terendah, serta GAP validasi dan loss terendah. Hasil pengujian menunjukkan bahwa transfer learning dari pre-trained model Xception memiliki kinerja terbaik dengan akurasi sebesar 98%.