Ung thư da hiện đang là một trong các loại bệnh phổ biến nhất với tỉ lệ người mắc bệnh ngày càng cao. Chính vì vậy, việc dự đoán sớm các loại bệnh ngoài da hiện đang được các nhà nghiên cứu trên thế giới quan tâm đặc biệt là trong các cuộc thi phân loại bệnh ngoài da ISIC của các năm 2017, 2018, 2019 và 2020. Trong bài báo này, chúng tôi đề xuất một cách tiếp cận mới hiệu quả nhằm giải quyết bài toán nhận dạng bệnh ngoài da dựa trên quá trình tự chưng cất kiến thức. Phương pháp của chúng tôi khai thác và tối thiểu hóa sự khác biệt giữa hai phân bổ xác suất từ hai phiên bản khác nhau của cùng một ảnh đầu vào. Kết quả thử nghiệm được thực hiện với mạng ResNet-50 cho thấy cách tiếp cận chúng tôi đề xuất vượt trội hơn so với các phương pháp hiện đại được đề xuất gần đây trên các bộ dữ liệu chuẩn chẳng hạn như HAM10000, ISIC 2017 và ISIC 2019. Cụ thể, phương pháp của chúng tôi đạt 0,987 AUC trên bộ dữ liệu HAM10000 và 0,960 AUC, 0,901 độ chính xác, 0,910 độ nhạy và 0,866 độ đặc hiệu trên bộ dữ liệu ISIC 2017.