Perkembangan teknologi yang semakin besar dan pemakaian smartphone yang meningkat saat ini menjadi peluang bagi organisasi untuk dimanfaatkan dalam dunia pembelajaran. Learning Management System hadir untuk membantu guru dan murid dapat berinteraksi secara real-time dan kebanyakan LMS berbentuk website. Evaluasi usability LMS berbasis smartphone dibutuhkan agar pengguna dapat menggunakan dengan mudah. Penelitian ini bertujuan untuk mendapatkan evaluasi usability LMS berbasis smartphone dengan kriteria efisiensi, efektivitas, satisfaction, dan eror sehingga diketahui faktor apa saja yang harus diperbaiki. Evaluasi dilakukan dengan memberikan skenario task sesuai dengan fitur yang ada di LMS Ruangguru, Quipper, dan Zenius. Metode yang digunakan meliputi performance measurement, Single Ease Question (SEQ), kuesioner System Usability Scale (SUS), dan Post-Study System Usability Questionnaire (PSSUQ). Berdasarkan hasil penelitian secara keseluruhan, Zenius dan Ruangguru mempunyai nilai akhir SUS dan PSSUQ yang lebih tinggi dari Quipper. Pada kriteria efisiensi, responden lebih cepat menyelesaikan task dengan Zenius daripada Ruangguru dan Quipper. Tingkat kesuksesan Ruangguru dan Zenius lebih tinggi dari Quipper. Nilai lostness dan eror yang dihasilkan di Zenius lebih kecil daripada Ruangguru dan Quipper. Hasil penelitian ini adalah evaluasi dan komparasi usability yang dapat digunakan sebagai acuan perbaikan di masa yang akan datang.