Olahraga memiliki jumlah yang banyak dan semakin bertambah dari waktu ke waktu. Banyak orang yang suka menyaksikan perlombaan atau turnamen olahraga di lapangan secara langsung. Berkat kemajuan teknologi, kini turnamen olahraga bisa disaksikan secara digital melalui video tanpa perlu menontonnya secara langsung di lapangan. Klasifikasi video perlu dilakukan untuk membedakan banyaknya video olahraga saat ini ke dalam kategori olahraga yang sesuai dengan kontennya. Penelitian ini mengklasifikasikan video olahraga berjenis Baseball, Basketball, Boxing, Gymnastic, Hockey, Swimming, Tennis, Volleyball, dan Wrestling berdasarkan citra berbasis konten. Klasifikasi dilakukan dengan konten citra sebagai fitur, kemudian dilakukan proses segmentasi superpixel dan superpixel colorization pada citra untuk membentuk model. Model dibentuk menggunakan metode CNN dengan arsitektur ResNet-50. Berbagai jumlah segmentasi superpixel digunakan sebagai perbandingan dalam pembentukan model untuk mendapatkan hasil yang terbaik yaitu 25.000 dengan tingkat rata-rata accuracy 0,97; precision 0,87; dan recall 0,86 sehingga digunakan untuk pengujian video olahraga. Hasil pengujiannya yaitu segmentasi superpixel bisa digunakan untuk mengklasifikasikan video olahraga dengan baik dengan tingkat rata-rata accuracy 0,91; precision 0,64; dan recall 0,61, walaupun terdapat beberapa olahraga yang memiliki hasil yang kurang baik seperti basketball dan wrestling.