Sentiment Analysis of User Reviews of Purwokerto Station Using TF-IDF and the Random Forest Method

Abstract

User reviews on Google Maps serve as a valuable source of information for evaluating the service quality of public facilities, including train stations. This study aims to analyze the sentiment of user reviews for Purwokerto Station using the Random Forest algorithm and to identify dominant Bigrams within each sentiment class to provide insights for station management. The dataset was obtained by scraping Google Maps, yielding 2,232 reviews after data cleaning. The research process involved sentiment labeling based on ratings; text preprocessing (cleaning, case folding, tokenization, non-standard word normalization, stopword removal, and single-token deduplication); and feature extraction using Bigram-based Term Frequency–Inverse Document Frequency (TF–IDF). The dataset was split into 80% training data and 20% testing data, then classified using the Random Forest algorithm. Results indicate that the model achieved 90.16% accuracy on the test data. However, evaluation revealed that while the model excelled at recognizing the positive class, it struggled to identify negative and neutral classes; this was evidenced by a Macro F1-score of 0.32 and precision, recall, and F1-score values ​​of 0.00 for both the negative and neutral classes. This outcome was driven by an imbalanced data distribution, causing the model to lean toward predicting reviews as positive. Bigram analysis showed that the phrase "clean and comfortable"  dominated positive sentiment, whereas phrases such as "waiting room" and "ticket counter staff" more frequently in negative sentiment. ABSTRAK (Bahasa Indonesia) Ulasan pengguna pada platform Google Maps menjadi salah satu sumber informasi yang dapat dimanfaatkan untuk mengevaluasi kualitas pelayanan suatu fasilitas publik, termasuk stasiun kereta api. Penelitian ini bertujuan menganalisis sentimen ulasan pengguna Stasiun Purwokerto menggunakan algoritma Random Forest serta mengidentifikasi Bigram yang dominan pada setiap kelas sentimen sebagai bahan evaluasi bagi pengelola stasiun. Dataset diperoleh melalui scraping Google Maps dan menghasilkan 2.232 ulasan setelah melalui proses pembersihan data. Tahapan penelitian meliputi pelabelan sentimen berdasarkan rating, preprocessing text yang terdiri atas cleaning, case folding, tokenizing, normalisasi kata tidak baku, stopword removal, dan duplikasi token tunggal, kemudian dilanjutkan dengan ekstraksi fitur menggunakan Term Frequency–Inverse Document Frequency (TF–IDF) berbasis Bigram. Dataset dibagi menjadi data pelatihan sebesar 80% dan data pengujian sebesar 20%, kemudian diklasifikasikan menggunakan algoritma Random Forest. Hasil penelitian menunjukkan bahwa model memperoleh akurasi sebesar 90,16% pada data pengujian. Namun, hasil evaluasi juga menunjukkan bahwa model memiliki kemampuan yang sangat baik dalam mengenali kelas positif, tetapi belum mampu mengidentifikasi kelas negatif dan netral, yang ditunjukkan oleh nilai Macro F1-score sebesar 0,32 serta nilai precision, recall, dan F1-score sebesar 0,00 pada kedua kelas tersebut. Kondisi tersebut dipengaruhi oleh distribusi data yang tidak seimbang sehingga model cenderung memprediksi ulasan ke kelas positif. Analisis Bigram menunjukkan bahwa frasa bersih nyaman mendominasi sentimen positif, sedangkan frasa seperti ruang tunggu dan petugas loket lebih banyak muncul pada sentimen negatif. Penelitian ini menunjukkan bahwa representasi TF–IDF Bigram mampu menangkap konteks frasa yang membedakan setiap kategori sentimen serta memberikan informasi mengenai aspek pelayanan yang paling sering diapresiasi maupun dikeluhkan oleh pengguna.