Perkembangan layanan mobile banking menghadirkan tantangan baru dalam memahami kepuasan dan ketidakpuasan pengguna melalui ulasan di platform digital. Penelitian ini bertujuan untuk menganalisis sentimen pengguna aplikasi mobile banking Bank Sulselbar dengan menggunakan metode klasifikasi Decision Tree berbasis SMOTE. Ulasan yang diperoleh dari google play store dengan jumlah keseluruhan setelah dilakukan pembersihan nilai NaN pada pelabelan berjumlah 1.626 data. Hasil evaluasi model Decision Tree, pada rasio 80:20 sebelum penerapan metode SMOTE diperoleh akurasi sebesar 81%, namun nilai f1-score keseluruhan kelas menunjukkan ketidakseimbangan, di mana model cenderung
lebih akurat dalam mengenali kelas mayoritas. Setelah penerapan SMOTE, akurasi menurun menjadi 74%, tetapi nilai f1-score meningkat berada pada rentang 40% hingga 85%, yang menunjukkan peningkatan keseimbangan kinerja model dalam mengenali setiap kelas sentimen. Sedangkan pada 10-fold cross validation, akurasi yang diperoleh sebelum SMOTE mencapai 82%, meskipun nilai f1-score keseluruhan masih belum seimbang. Setelah penerapan SMOTE akurasi menurun menjadi 77% dengan peningkatan f1-score pada rentang 43% hingga 86%, yang
mengindikasikan hasil yang lebih stabil dan seimbang antar kelas. Dengan demikian, penerapan SMOTE pada rasio 80:20 dan 10-fold cross validation terbuktimampu meningkatkan keseimbangan antar kelas serta memperbaiki kemampuan model dalam mengenali kelas minoritas. Selain itu, evaluasi menggunakan 10-fold cross validation menunjukkan kinerja model yang lebih stabil dan representatif terhadap keseluruhan data
The development of mobile banking services presents new challenges in understanding user satisfaction and dissatisfaction through reviews on digital platforms. This study aims to analyze user sentiment toward the Bank Sulselbar mobile banking application using a Decision Tree classification method based on SMOTE. Reviews obtained from the Google Play Store with a total number of 1,626
data points after cleaning NaN values in the labeling. Evaluation results of the Decision Tree model, with an 80:20 ratio before applying the SMOTE method, the accuracy reached 81%. However, the overall F1-score across classes indicated an imbalance, showing that the model was more accurate in recognizing the majority class. After applying SMOTE, accuracy decreased to 74%, but the F1-score
improved, ranging from 40% to 85%, indicating better balance in the model’s performance across sentiment classes. In the 10-fold cross-validation evaluation, the model achieved an accuracy of 82% before applying SMOTE, although the overall F1-score remained unbalanced. After applying SMOTE, accuracy decreased to 77%, but the F1-score increased, ranging from 43% to 86%, suggesting more stable and balanced results across classes. Thus, applying SMOTE in both the 80:20 ratio and 10-fold cross-validation proved effective in improving class balance and enhancing the model’s ability to recognize minority classes. Furthermore, the 10-fold cross-validation evaluation demonstrated a more stable and representative model performance across the entire dataset.