Cungkil Topik Tersembunyi: Bagaimana AI Menghuraikan Dokumen Panjang dalam Minit

Penulis: : Muhammad Izzat Farid Bin Musaddin
Pegawai Penyelidik, Pusat Pengurusan ICT,
Institut Penyelidikan dan Pembangunan Pertanianan Malaysia (MARDI)

Pernahkah anda terpaksa membaca dokumen yang menjangkau lebih 100 halaman? Memang lumrah untuk rasa tawar hati apabila diminta mengekstrak sebanyak mungkin maklumat daripada teks yang panjang lebar. Situasi ini sering dihadapi oleh pelajar universiti yang sedang menumpukan perhatian pada Projek Tahun Akhir mereka, di mana mereka perlu mencari dan memahami maklumat daripada penulisan yang panjang dan terperinci. Penyelidik dan golongan profesional turut berdepan dengan cabaran yang sama apabila menangani laporan panjang, dokumentasi teknikal, atau kertas akademik. Walaupun tugas membaca dokumen sebegini sering kali tidak dapat dielakkan, bagaimana jika ada cara untuk memahaminya sebelum anda meluangkan masa untuk membacanya secara menyeluruh?

Di sinilah Kecerdasan Buatan (AI) memainkan peranan penting. Walaupun AI digunakan secara meluas dan merangkumi pelbagai jenis data input seperti teks, imej, video, dan suara, ia amat berkesan dalam mengekstrak maklumat berguna daripada data berbentuk teks. Apabila menyentuh tentang pemahaman fail PDF atau dokumen secara umum, AI membantu pembaca melangkaui struktur luaran semata-mata, seperti tajuk utama atau isi kandungan dan menuju ke arah pemahaman semantik. Dalam erti kata lain, ia membolehkan pembaca menangkap maksud sebenar sesebuah dokumen sebelum melaburkan masa untuk membacanya secara penuh.

Peranan NLP dan Pemodelan Topik

Dalam bidang kecerdasan buatan, terdapat satu cabang khusus yang dikenali sebagai NLP (Natural Language Processing), iaitu Pemprosesan Bahasa Tabii, yang memberi tumpuan kepada analisis dan pentafsiran teks. Bergantung pada jenis pemahaman yang dicari oleh seseorang pembaca, NLP menawarkan beberapa teknik:

• Rumusan Automatik (Summarization)
• Model Bahasa Besar (Large Language Models / LLM)
• Pemodelan Topik (Topic Modeling)

Walaupun LLM kini mendapat perhatian meluas kerana peranannya dalam memacu alatan AI generatif seperti ChatGPT, persoalan yang lebih penting untuk ditanya ialah: Apakah yang sebenarnya anda ingin capai daripada analisis dokumen tersebut?

Artikel ini mengupas mengapa pemodelan topik menjadi kaedah pilihan utama. Pemodelan topik ialah satu teknik yang mengenal pasti topik atau kategori di dalam sesebuah dokumen dengan menganalisis corak penggunaan perkataan. Berbanding dengan tugasan generatif (seperti menulis semula teks), pemodelan topik menawarkan gambaran keseluruhan semantik pada peringkat tinggi tentang apa yang cuba disampaikan oleh penulis dalam dokumen mereka. Dengan memanfaatkan konsep koheren (kejelekitan) untuk mengelompokkan istilah dan konsep yang berkaitan menjadi topik yang bermakna, pemodelan topik membantu pembaca memahami idea-idea utama dalam sesebuah dokumen dengan sangat pantas.

Perbezaan Pendekatan Model: LDA vs BERTopic

Setiap kumpulan kata yang dihasilkan oleh algoritma pemodelan topik ini akan diwakili sebagai satu topik tersendiri.

i- Latent Dirichlet Allocation (LDA): Beberapa model klasik seperti LDA memerlukan jumlah topik ditetapkan terlebih dahulu sebelum analisis dijalankan. Sebagai contoh, jika anda menetapkan jumlah tetap kepada 10 topik, algoritma akan memaksa model untuk mengeluarkan tepat 10 keputusan. Perkara ini boleh menyebabkan berlaku pertindihan maklumat (redundancy) sekiranya topik sebenar yang wujud dalam dokumen tersebut sebenarnya lebih sedikit.

ii- BERTopic: Model yang lebih moden seperti BERTopic pula memberi tumpuan kepada penekanan hubungan semantik antara perkataan dan frasa, bukannya sekadar bergantung pada kekerapan perkataan semata-mata. Melalui pendekatan ini, jumlah topik yang dihasilkan adalah lebih jelas dan unik, di mana setiap satu dikaitkan dengan set istilah yang tersendiri.

Walau apa jua pendekatan yang digunakan, pemodelan topik akhirnya sangat membantu dalam memahami intisari dokumen yang panjang dan kompleks. Walaupun fail PDF sering digunakan sebagai contoh dalam konteks ini, teknik yang sama boleh diaplikasikan secara meluas pada pelbagai format dokumen teks yang lain.

Memahami Output Melalui Visualisasi

Selepas menentukan model pilihan, langkah seterusnya adalah untuk memvisualisasikan output yang diperoleh daripada pelaksanaan algoritma tersebut, seperti yang dapat dilihat dalam gambar di atas. Salah satu teknik biasa dan paling berkesan untuk mentafsir data ini adalah dengan mengekstrak perkataan teratas (top-N words) yang dikenal pasti bagi setiap topik, lalu diplotkan ke dalam bentuk graf bar. Visualisasi ini membolehkan kita melihat dengan jelas perkataan apa yang kerap muncul dalam sesuatu topik tertentu.

Gambar di atas menunjukkan satu awan perkataan (word cloud) yang mengandungi pelbagai perkataan yang dipaparkan dalam saiz yang berbeza-beza. Seperti yang dapat dilihat, perkataan ‘Teamwork’ (Kerja Berpasukan) merupakan perkataan terbesar yang terdapat dalam graf tersebut. Ini bermakna keseluruhan topik berkisar tentang kerja berpasukan. Satu lagi contoh boleh dilihat dalam gambar berikut.

Perkataan yang menonjol dalam awan perkataan tersebut ialah ‘Imagine’ (Bayangkan), ‘Explore’ (Teroka), ‘Inspire’ (Ilhamkan) dan ‘World’ (Dunia), yang menggambarkan tumpuan terhadap kreativiti serta cara pandang yang berani dan berwawasan ke hadapan umpama melihat dunia dengan minda yang terbuka.

Kesimpulannya, beban membaca dokumen yang menjangkau ratusan halaman tidak lagi perlu menjadi suatu tugas yang menakutkan. Melalui pemodelan topik, Kecerdasan Buatan membantu pembaca memahami tema utama sesebuah dokumen dengan pantas, lalu membolehkan mereka menumpukan masa dan tenaga pada bahagian yang benar-benar penting. Walaupun setiap pendekatan sama ada LDA mahupun BERTopic mempunyai kelebihan tersendiri, matlamat akhirnya tetap sama: menjadikan maklumat lebih mudah dicapai dan difahami.

Kredit foto utama-crawlspider

Rujukan

1. Rahman, T. F. A., Said, R. F. M., Buja, A. G., & Nayan, N. M. (2024). Topic modelling analysis of depression therapy text: a preliminary study. Journal of Computing Research and Innovation, 9(1). https://doi.org/10.24191/jcrinn.v9i1.401
2. Khodeir, N., & Elghannam, F. (2024). Efficient topic identification for urgent MOOC Forum posts using BERTopic and traditional topic modeling techniques. Education and Information Technologies, 30(5), 5501–5527. https://doi.org/10.1007/s10639-024-13003-4