Skripsi/Tugas Akhir
Implementasi dan Evaluasi Model Bert untuk Analisis Sentimen Publik Terhadap Pemindahan Ibu Kota Negara pada Platform X
ABSTRAK
Penelitian ini mengimplementasikan dan mengevaluasi performa IndoBERT dan IndoBERTweet dalam analisis sentimen publik terhadap kebijakan pemindahan Ibu Kota Negara (IKN) di platform X. Dataset yang digunakan berasal dari Repositori Ilmiah Nasional (RIN), terdiri dari 12.520 tweet terkait UU No. 3 Tahun 2022 yang telah dilabeli secara manual menjadi sentimen positif, netral, atau negatif. Model dievaluasi menggunakan metrik akurasi, F1-score, dan ROC-AUC. Hasil menunjukkan bahwa IndoBERTweet lebih unggul, dengan akurasi 79.3%, F1-score 79.2%, dan ROC-AUC 0.873, dibandingkan IndoBERT yang hanya mencapai akurasi 77,4%, F1-Score 76.5% dan ROC-AUC 0.809. IndoBERTweet juga lebih stabil dalam pembelajaran dan lebih efektif dalam menangani ketidakseimbangan kelas, sementara IndoBERT cenderung bias terhadap sentimen negatif dan memiliki tingkat kesalahan lebih tinggi pada kelas netral. Keunggulan IndoBERTweet berasal dari strategi pre-training yang lebih spesifik untuk teks media sosial, sehingga lebih baik dalam memahami bahasa informal, singkatan, dan slang yang umum di platform X. Dengan hasil tersebut, IndoBERTweet lebih direkomendasikan untuk analisis sentimen di media sosial. Penelitian selanjutnya dapat mengeksplorasi optimasi preprocessing.
Kata Kunci: Implementasi Model BERT, Fine-Tuning, Pretraining Model NLP, Klasifikasi Sentimen, Pemindahan IKN
ABSTRACT
This study implements and evaluates the performance of IndoBERT and IndoBERTweet in public sentiment analysis regarding the relocation policy of Indonesia’s capital city (IKN) on the X platform. The dataset used originates from the National Scientific Repository (RIN), consisting of 12,520 tweets related to Law No. 3 of 2022, which have been manually labeled into positive, neutral, or negative sentiments. The models are evaluated using accuracy, F1-score, and ROC-AUC metrics. The results indicate that IndoBERTweet outperforms IndoBERT, achieving an accuracy of 79.3%, an F1-score of 79.2%, and a ROC-AUC of 0.873, compared to IndoBERT, which attained an accuracy of 77.4%, an F1-score of 76.5%, and a ROC-AUC of 0.809. IndoBERTweet also demonstrates more stable learning and is more effective in handling class imbalance, whereas IndoBERT tends to be biased toward negative sentiment and exhibits a higher error rate in the neutral class. IndoBERTweet’s superiority stems from its pre-training strategy, which is specifically tailored for social media text, making it more adept at understanding informal language, abbreviations, and slang commonly found on the X platform. Based on these findings, IndoBERTweet is recommended for sentiment analysis on social media. Future research may explore the optimization of preprocessing techniques.
Keywords: Implementation of the BERT Model, Fine-Tuning, NLP Pretraining, Sentiment Classification, Capital City Relocation
Tidak ada salinan data
Universitas DIPA Makassar
NPP 7371142D1000002
Jln. Perintis Kemerdekaan KM.9
Telp. (0411)587194
Hotline: +6281228221994
WhatsApp Admin: +6281342092072
e-Mail: perpustakaan@undipa.ac.id
© 2025 — Perpustakaan UNDIPA Makassar - SLiMS