PERBANDINGAN GPT-3 DAN PALM-2 DENGAN PENDEKATAN EXPERT JUDGEMENT DAN BERTSCORE UNTUK MENGHASILKAN KONTEN KEBUDAYAAN INDONESIA

JULIAN, DEDEK (2024) PERBANDINGAN GPT-3 DAN PALM-2 DENGAN PENDEKATAN EXPERT JUDGEMENT DAN BERTSCORE UNTUK MENGHASILKAN KONTEN KEBUDAYAAN INDONESIA. Other thesis, Universitas Bina Darma.

	Text bab 0.pdf Download (918kB)
	Text bab 1.pdf Download (308kB)
	Text laporan hasil_compressed (1)-dikompresi.pdf Restricted to Repository staff only Download (3MB)
	Text dapus.pdf Download (356kB)
	Text artikel.pdf Restricted to Repository staff only Download (641kB)

Abstract

Budaya lokal Indonesia perlahan dihiraukan oleh masyarakat, hal tersebut termasuk dampak dari perkembangan teknologi yang semakin pesat, contohnya Tari Adat daerah yang semakin jarang terlihat karena minimnya minat masyarakat. Untuk itu, budaya lokal harus terus dilestarikan agar tidak terjadi kepunahan, hal ini sejalan dengan salah satu tujuan Sustainable Development Goals (SDGs) yaitu mempromosikan dan menjaga warisan budaya dunia dan warisan alam dunia. Penelitian ini menguji coba penggunaan kecerdasan buatan melalui Large Language Model GPT-3 dan PaLM-2 untuk menghasilkan konten Tari Adat Kota Palembang, yang kemudian diukur kebenaran informasi yang dihasilkan dan evaluasi fine tuning menggunakan dataset yang valid melalui pendekatan Expert Judgement dan BERTScore. Tahapan penelitian dimulai dari penyiapan model, validasi informasi, pengumpulan dataset, pengujian fine tuning model, hingga evaluasi model. Hasil penelitian menunjukan bahwa konten yang dihasilkan masih mengandung informasi yang tidak valid berdasarkan penilaian ahli dimana GPT-3 menghasilkan 16 poin informasi yang tidak sesuai, sementara PaLM-2 menghasilkan 5 poin informasi yang tidak sesuai. Untuk pelatihan dataset baru (fine tuning) didapati bahwa model bahasa GPT-3 mampu mempelajari dataset dengan lebih cepat yaitu dengan waktu selama 50 menit dan biaya sebesar Rp 27.000, sementara PaLM-2 membutuhkan waktu selama 2 jam 10 menit dan biaya sebesar Rp 1.377.204. Untuk hasil evaluasi pelatihan dataset, GPT-3 juga lebih unggul dengan nilai rata-rata seluruh skor mencapai 0,85205. Sementara PaLM-2 Tuned Model mendapat rata-rata seluruh skor sejumlah 0,78942. Dalam hal ini, GPT-3 Tuned Model lebih unggul 8%.

Actions (login required)

View Item