Survivorship Bias dalam Data: Apa yang Tidak Kita Lihat Mungkin Lebih Penting

Penulis: Fakhrul Syahmi
Konsultan Data (Sains Data & Analisis)

Dalam analisis data, kita sering memberi perhatian kepada apa yang terdapat di dalam dataset. Berapa banyak syarikat yang berjaya? Pelaburan mana yang memberikan pulangan terbaik? Apakah ciri pelajar yang memperoleh keputusan cemerlang? Apakah strategi yang digunakan oleh usahawan berjaya?

Namun, terdapat satu soalan yang jarang ditanyakan: siapakah yang tidak lagi berada dalam dataset tersebut?

Soalan ini membawa kita kepada satu konsep penting dalam statistik dan analisis data yang dikenali sebagai survivorship bias. Bias ini berlaku apabila analisis hanya tertumpu kepada individu, organisasi atau objek yang berjaya melepasi sesuatu proses pemilihan, manakala mereka yang gagal, tersingkir atau tidak lagi dapat diperhatikan tidak diambil kira.

Akibatnya, data yang kelihatan lengkap sebenarnya mungkin hanya menceritakan sebahagian daripada cerita.

Kisah Pesawat yang Pulang dari Medan Perang

Antara contoh paling terkenal berkaitan survivorship bias datang daripada Perang Dunia Kedua.

Ketika perang berlangsung, pihak tentera Amerika Syarikat mahu mengurangkan kehilangan pesawat akibat tembakan musuh. Penyelidik mengkaji pesawat yang berjaya kembali daripada misi dan memerhatikan bahagian yang paling banyak mempunyai kesan tembakan.

Secara intuitif, penyelesaian yang kelihatan paling munasabah ialah menambah perisai pada bahagian yang mempunyai paling banyak lubang peluru.

Ahli statistik Abraham Wald melihat masalah tersebut secara berbeza. Beliau menyedari bahawa data yang sedang dianalisis hanya datang daripada pesawat yang berjaya kembali.

Pesawat yang terkena tembakan pada bahagian tertentu tetapi masih mampu pulang sebenarnya memberikan satu maklumat penting. Kerosakan pada bahagian tersebut mungkin tidak cukup kritikal untuk menjatuhkan pesawat.

Sebaliknya, bahagian yang hampir tidak mempunyai kesan tembakan pada pesawat yang kembali mungkin merupakan bahagian yang paling penting untuk dilindungi. Pesawat yang terkena tembakan pada kawasan kritikal tersebut berkemungkinan tidak pernah kembali dan oleh itu tidak muncul dalam data yang sedang diperhatikan.

Kajian Mangel dan Samaniego mengenai kerja Wald menjelaskan bagaimana masalah kebolehmandirian pesawat ini dianalisis menggunakan data yang diperoleh daripada pesawat yang terselamat.

Inilah inti pati survivorship bias. Kadangkala maklumat paling penting bukan berada dalam data yang kita miliki, tetapi dalam data yang tidak sempat kita lihat.

Apabila Hanya yang Berjaya Direkodkan

Bayangkan kita ingin mengkaji faktor kejayaan perniagaan.

Kita mengumpulkan data daripada 500 syarikat yang telah beroperasi lebih daripada sepuluh tahun. Hasil analisis menunjukkan bahawa kebanyakan syarikat tersebut mempunyai pengasas yang berani mengambil risiko, melabur secara agresif dan berkembang dengan cepat.

Adakah ini membuktikan bahawa strategi agresif menyebabkan kejayaan? Belum tentu.

Mungkin terdapat ribuan syarikat lain yang menggunakan strategi sama tetapi telah ditutup selepas dua atau tiga tahun. Disebabkan syarikat tersebut tidak lagi aktif, datanya lebih sukar diperoleh dan akhirnya tidak dimasukkan dalam analisis.

Dataset kita akhirnya dipenuhi dengan syarikat yang berjaya bertahan.

Kajian dalam bidang keusahawanan menunjukkan bahawa firma yang gagal tidak lama selepas ditubuhkan cenderung kurang diwakili dalam data berbanding firma yang berjaya dan berkembang. Keadaan ini boleh menghasilkan gambaran yang terlalu positif tentang faktor yang dikaitkan dengan kejayaan perniagaan.

Kesimpulan seperti “usahawan berjaya sentiasa berani mengambil risiko besar” mungkin sebenarnya dipengaruhi oleh siapa yang masih wujud untuk ditemu bual.

Pelaburan Juga Tidak Terkecuali

Survivorship bias menjadi masalah besar dalam analisis prestasi pelaburan.

Katakan seseorang ingin menilai prestasi dana pelaburan sepanjang 20 tahun. Jika analisis hanya menggunakan dana yang masih beroperasi pada penghujung tempoh tersebut, dana yang telah ditutup atau digabungkan dengan dana lain mungkin hilang daripada dataset.

Masalahnya ialah dana yang hilang bukan semestinya hilang secara rawak.

Dana yang mempunyai prestasi buruk lebih berkemungkinan ditutup atau digabungkan. Jika dana tersebut tidak dimasukkan dalam pengiraan, purata prestasi industri boleh kelihatan lebih tinggi daripada keadaan sebenar.

Elton, Gruber dan Blake menunjukkan bahawa kehilangan dana daripada sampel boleh menimbulkan masalah apabila menilai prestasi kerana dana yang hilang cenderung mempunyai prestasi yang lebih lemah.

Carhart dan rakan-rakan turut menunjukkan bahawa kesan survivorship bias terhadap prestasi dana boleh meningkat apabila tempoh sampel menjadi semakin panjang. Dalam kajian mereka, bias tahunan meningkat daripada sekitar 0.07 peratus bagi sampel satu tahun kepada kira-kira 1 peratus bagi sampel melebihi 15 tahun.

Perbezaan tersebut mungkin kelihatan kecil, tetapi dalam analisis pelaburan jangka panjang, ia boleh menghasilkan kesimpulan yang sangat berbeza.

Masalah Sebenar Ialah Proses Pemilihan Data

Dari perspektif data analytics, survivorship bias sebenarnya berkait rapat dengan persoalan tentang bagaimana sesuatu dataset terbentuk.

Data tidak muncul secara automatik.

Sebelum satu baris data sampai kepada seorang penganalisis, terdapat proses yang menentukan siapa yang direkodkan, siapa yang kekal, siapa yang keluar dan siapa yang langsung tidak dapat diperhatikan.

Bayangkan sebuah universiti mahu mengkaji faktor yang mempengaruhi pencapaian pelajar dengan hanya menganalisis pelajar tahun akhir.

Dataset tersebut mungkin menunjukkan bahawa pelajar yang masih berada di universiti mempunyai corak kehadiran dan prestasi tertentu. Namun, bagaimana dengan pelajar yang berhenti pada tahun pertama atau kedua?

Jika objektif kajian adalah untuk memahami kejayaan akademik secara keseluruhan, mengecualikan kumpulan tersebut boleh mengubah kesimpulan.

Dalam bahasa statistik, keadaan seperti ini berkait dengan masalah pemilihan sampel dan kehilangan pemerhatian yang tidak berlaku secara rawak. Kebarangkalian sesuatu rekod berada dalam dataset boleh berkait dengan pemboleh ubah yang sebenarnya ingin kita kaji.

Itulah sebabnya mempunyai data yang banyak tidak semestinya menyelesaikan masalah. Satu juta rekod yang berat sebelah masih merupakan satu juta rekod yang berat sebelah.

Bagaimana Data Analyst Boleh Mengesannya?

Sebelum memulakan analisis, seorang penganalisis bukan sahaja perlu bertanya “apa yang ada dalam data ini?”, tetapi juga “bagaimana data ini dikumpulkan?”

Beberapa persoalan penting perlu diperiksa.

Adakah dataset hanya mengandungi pelanggan yang masih aktif? Adakah pekerja yang telah berhenti masih terdapat dalam rekod? Adakah produk yang tidak lagi dijual telah dikeluarkan daripada sistem? Adakah syarikat yang bankrap masih terdapat dalam pangkalan data? Adakah kajian kepuasan pelanggan hanya melibatkan mereka yang memilih untuk menjawab?

Pertanyaan seperti ini membantu kita memahami proses pemilihan yang berlaku sebelum analisis bermula.

Jika rekod lama tersedia, analisis sebaiknya merangkumi kedua-dua kumpulan yang masih bertahan dan yang telah keluar. Dalam analisis pelanggan, misalnya, pelanggan yang telah berhenti menggunakan perkhidmatan sebenarnya amat penting jika organisasi mahu membangunkan model ramalan customer churn.

Membuang rekod mereka bermakna kita mungkin sedang membuang contoh paling berguna untuk memahami mengapa pelanggan meninggalkan organisasi.

Apa yang Tidak Ada Juga Merupakan Data

Dalam dunia yang semakin bergantung kepada dashboard, kecerdasan buatan dan pembelajaran mesin, perhatian sering diberikan kepada saiz dataset, bilangan pemboleh ubah dan kecanggihan algoritma.

Namun, model yang canggih tidak mampu membetulkan persoalan asas tentang siapa yang tidak termasuk dalam data.

Jika data latihan hanya mewakili mereka yang terselamat daripada sesuatu proses pemilihan, model juga akan mempelajari dunia berdasarkan golongan tersebut. Ia mungkin memberikan ramalan yang kelihatan tepat dalam dataset tetapi gagal apabila berhadapan dengan populasi sebenar.

Survivorship bias mengingatkan kita bahawa analisis data bukan sekadar mengira apa yang boleh dilihat.

Kadangkala tugas paling penting seorang penganalisis adalah mencari apa yang hilang.

Pesawat yang tidak kembali, syarikat yang telah ditutup, dana yang telah dibubarkan, pelanggan yang telah pergi dan pelajar yang tidak menamatkan pengajian mungkin tidak muncul pada dashboard hari ini.

Namun, apabila kita cuba memahami mengapa sesuatu berjaya atau gagal, mereka mungkin merupakan pemerhatian yang paling penting.

Dalam analisis data, ketiadaan sesuatu rekod tidak semestinya bermaksud ia tidak relevan. Kadangkala, data yang tidak kelihatan itulah yang mampu mengubah keseluruhan kesimpulan.

Rujukan

Brown, S. J., Goetzmann, W., Ibbotson, R. G., & Ross, S. A. (1992). Survivorship bias in performance studies. The Review of Financial Studies, 5(4), 553-580. https://doi.org/10.1093/rfs/5.4.553.

Carhart, M. M., Carpenter, J. N., Lynch, A. W., & Musto, D. K. (2002). Mutual fund survivorship.
The Review of Financial Studies, 15(5), 1439-1463. https://doi.org/10.1093/rfs/15.5.1439.

Elton, E. J., Gruber, M. J., & Blake, C. R. (1996). Survivor bias and mutual fund performance. The Review of Financial Studies, 9(4), 1097-1120. https://doi.org/10.1093/rfs/9.4.1097.

Mangel, M., & Samaniego, F. J. (1984). Abraham Wald’s work on aircraft survivability. Journal of the American Statistical Association, 79(386), 259-267.
https://doi.org/10.1080/01621459.1984.10478038.

Rohleder, M., Scholz, H., & Wilkens, M. (2011). Survivorship bias and mutual fund performance: Relevance, significance, and methodical differences. Review of Finance, 15(2), 441-474. https://doi.org/10.1093/rof/rfq023.