Dari Signifikan ke Bermakna: Ukuran Efek, Replikasi, dan Nalar Kausal dalam Penelitian Pendidikan

Author	:	Tabrani ZA
Affiliation	:	Universitas Islam Negeri Ar-Raniry, Banda Aceh, Indonesia
Corresponding Email	:	tabraniza@scadindependent.org

ABSTRACT

Esai ini melanjutkan “Angka dan Makna” dengan menggeser pertanyaan dari paradigma mana yang dipilih menuju bagaimana angka semestinya dibaca agar sungguh menghasilkan pengetahuan. Bila esai sebelumnya menimbang perang paradigma, metode campuran, dan dua penyakit dalam penelitian kita, kegelisahan esai ini lebih teknis sekaligus lebih filosofis: mengapa begitu banyak skripsi, tesis, dan artikel kuantitatif berakhir dengan kalimat “terdapat pengaruh yang signifikan”, tetapi hampir tidak pernah menjawab seberapa besar pengaruh itu, apakah temuan itu dapat diulang, dan apakah hubungan yang ditemukan sungguh hubungan sebab-akibat. Dengan menimbang kritik Jacob Cohen terhadap ritual uji signifikansi, proyek replikasi besar dari Open Science Collaboration, kerangka validitas dari William Shadish, Thomas Cook, dan Donald Campbell, sintesis ukuran efek dari John Hattie, serta revolusi nalar kausal yang dipopulerkan Judea Pearl, esai ini membedakan tiga pertanyaan yang sering dicampuradukkan: apakah ada hubungan, seberapa besar hubungan itu, dan mengapa hubungan itu terjadi. Merujuk Persuit Epistemology of Islamic Studies, kajian penulis tentang integrasi KKNI, SNPT, dan paradigma integrasi-interkoneksi, serta penelitian di Jurnal Ilmiah Peuradeun tentang peningkatan kompetensi dosen, esai ini berargumen bahwa penelitian kuantitatif di perguruan tinggi Islam perlu bergerak dari mengejar signifikansi menuju membangun pemahaman yang bermakna, jujur, dan dapat diuji ulang.

Keywords: Uji signifikansi; Ukuran efek; Replikasi; Validitas; Kausalitas; Penelitian pendidikan

KEY POINTS

• “Signifikan” secara statistik tidak sama dengan penting, besar, atau bermakna.
• Cohen mengkritik uji signifikansi yang dijalankan sebagai ritual tanpa pemahaman.
• Proyek replikasi besar memperlihatkan bahwa banyak temuan yang diterbitkan tidak dapat diulang.
• Shadish, Cook, dan Campbell menawarkan kerangka validitas untuk menimbang kekuatan klaim kausal.
• Hattie memperlihatkan pentingnya ukuran efek untuk membandingkan besarnya pengaruh dalam pendidikan.
• Pearl mengingatkan bahwa sebab-akibat tidak dapat disimpulkan dari data saja tanpa model kausal yang jelas.

— — — ARTICLE — — —

Kalimat yang Selalu Sama

Dalam “Angka dan Makna”, kita telah menimbang perang paradigma antara kuantitatif dan kualitatif, lahirnya metode campuran sebagai jalan ketiga, serta dua penyakit dalam penelitian kita: memilih metode sebelum merumuskan pertanyaan, dan memakai angka tanpa memahami makna di baliknya. Kita menyimpulkan bahwa pertanyaanlah yang menentukan jalan.

Esai ini hendak masuk lebih dalam ke wilayah angka itu sendiri. Siapa pun yang pernah membimbing atau menguji skripsi kuantitatif di fakultas pendidikan mengenal kalimat yang hampir selalu muncul di bagian kesimpulan: “Terdapat pengaruh yang signifikan antara variabel X terhadap variabel Y.” Kalimat ini diucapkan dengan bangga dalam sidang, seolah-olah ia adalah puncak penemuan.

Persoalannya kemudian adalah bahwa kalimat itu, sendirian, hampir tidak mengatakan apa-apa yang berguna. Ia tidak mengatakan seberapa besar pengaruhnya. Ia tidak mengatakan apakah pengaruh itu cukup penting untuk mengubah praktik. Ia tidak mengatakan apakah temuan itu akan muncul lagi bila penelitian diulang. Dan sering kali, ia bahkan tidak dapat mengatakan apakah X sungguh menyebabkan Y, atau keduanya hanya bergerak bersama karena faktor lain. Di sinilah letak problem mendasarnya: kita telah menjadikan “signifikan” sebagai tujuan, padahal ia hanyalah salah satu alat yang sangat terbatas.

Ritual Signifikansi

Jacob Cohen, statistikawan dan psikolog yang sangat berpengaruh, menulis sebuah artikel dengan judul yang jenaka sekaligus tajam: bumi itu bulat (p < 0,05) (Cohen, 1994). Dalam artikel ini, ia mengkritik cara uji signifikansi hipotesis nol dijalankan dalam ilmu-ilmu sosial. Menurutnya, uji ini sering disalahpahami. Banyak peneliti mengira bahwa nilai p yang kecil menunjukkan bahwa hipotesisnya benar, atau bahwa pengaruh yang ditemukan besar. Padahal nilai p hanya mengatakan seberapa mungkin data seperti itu muncul bila hipotesis nol benar.

Cohen juga menunjukkan bahwa hipotesis nol, yaitu bahwa pengaruhnya tepat nol, hampir selalu keliru dalam dunia nyata. Hampir semua variabel dalam ilmu sosial saling berhubungan sedikit banyak. Akibatnya, dengan sampel yang cukup besar, hampir setiap hubungan akan tampak “signifikan”, betapapun kecil dan tidak pentingnya. Sebaliknya, dengan sampel kecil, pengaruh yang sungguh penting dapat tampak “tidak signifikan”.

Kritik Cohen mengarah pada satu anjuran yang sederhana tetapi mendasar: laporkan ukuran efek dan interval kepercayaan, bukan hanya nilai p. Ukuran efek mengatakan seberapa besar pengaruhnya. Interval kepercayaan mengatakan seberapa yakin kita akan besarnya pengaruh itu. Keduanya jauh lebih berguna bagi pengambil keputusan daripada sekadar pernyataan “signifikan” atau “tidak signifikan”.

Bayangkan dua penelitian tentang metode pembelajaran tahfiz. Penelitian pertama, dengan seribu santri, menemukan bahwa metode baru meningkatkan hafalan secara signifikan, tetapi rata-rata hanya bertambah setengah ayat per pekan. Penelitian kedua, dengan dua puluh santri, menemukan bahwa metode lain meningkatkan hafalan rata-rata lima ayat per pekan, tetapi hasilnya “tidak signifikan” karena sampelnya kecil dan variasinya besar. Bila kita hanya membaca nilai p, kita akan memilih metode pertama. Bila kita membaca ukuran efek dan interval kepercayaan, kita akan menyadari bahwa metode kedua mungkin jauh lebih menjanjikan dan layak diteliti lebih lanjut dengan sampel yang lebih besar.

Krisis Replikasi

Pada tahun 2015, sekelompok besar peneliti yang tergabung dalam Open Science Collaboration menerbitkan hasil proyek yang mengguncang dunia psikologi (Open Science Collaboration, 2015). Mereka mencoba mengulang seratus penelitian yang telah diterbitkan di jurnal-jurnal psikologi terkemuka. Hasilnya mengejutkan: hanya sekitar sepertiga hingga separuh dari temuan itu yang berhasil direplikasi, tergantung pada kriteria yang dipakai. Ukuran efek dalam penelitian ulangan rata-rata hanya sekitar setengah dari ukuran efek dalam penelitian aslinya.

Temuan ini tidak berarti bahwa semua penelitian yang gagal direplikasi adalah penipuan. Ada banyak alasan sebuah temuan tidak muncul lagi: perbedaan konteks, perbedaan sampel, atau memang temuan aslinya hanya kebetulan. Tetapi proyek ini memperlihatkan bahwa ilmu yang sehat membutuhkan replikasi, dan bahwa satu penelitian, betapapun signifikan hasilnya, belum cukup untuk dijadikan dasar kebijakan.

Bagi penelitian pendidikan di Indonesia, pelajaran ini sangat penting. Kita jarang melakukan penelitian replikasi, karena ia dianggap kurang orisinal. Akibatnya, banyak temuan yang hanya didukung oleh satu penelitian kecil di satu sekolah dikutip berulang kali seolah-olah telah terbukti. Padahal, dalam tradisi ilmu hadis, sebuah riwayat yang hanya didukung oleh satu jalur periwayatan diperlakukan dengan lebih hati-hati daripada riwayat yang didukung oleh banyak jalur yang independen. Prinsip yang sama dapat diterapkan pada temuan penelitian: temuan yang telah direplikasi oleh banyak peneliti di banyak konteks lebih layak dipercaya daripada temuan tunggal.

Empat Jenis Validitas

William Shadish, Thomas Cook, dan Donald Campbell, dalam karya klasik tentang rancangan eksperimen dan kuasi-eksperimen, menawarkan kerangka untuk menimbang kekuatan sebuah klaim kausal (Shadish et al., 2002). Mereka membedakan empat jenis validitas.

Validitas kesimpulan statistik bertanya apakah hubungan antara variabel sungguh ada dan seberapa kuat. Validitas internal bertanya apakah hubungan itu sungguh hubungan sebab-akibat, atau dapat dijelaskan oleh faktor lain. Validitas konstruk bertanya apakah variabel yang diukur sungguh mewakili konsep yang dimaksud. Dan validitas eksternal bertanya apakah temuan itu dapat digeneralisasi ke orang, tempat, dan waktu yang lain.

Kerangka ini sangat berguna untuk memeriksa penelitian kita. Sebuah skripsi yang menemukan bahwa “motivasi belajar berpengaruh signifikan terhadap prestasi” mungkin memiliki validitas kesimpulan statistik yang baik. Tetapi bagaimana dengan validitas internalnya? Apakah motivasi sungguh menyebabkan prestasi, ataukah prestasi yang baik justru meningkatkan motivasi, ataukah keduanya dipengaruhi oleh dukungan keluarga? Bagaimana dengan validitas konstruknya? Apakah angket dengan dua puluh butir sungguh mengukur motivasi, atau hanya mengukur kecenderungan menjawab secara sosial diinginkan? Dan bagaimana dengan validitas eksternalnya? Apakah temuan di satu sekolah di Banda Aceh berlaku juga di dayah di pedalaman?

Pertanyaan-pertanyaan ini tidak dimaksudkan untuk melumpuhkan penelitian, tetapi untuk membuatnya lebih jujur. Penelitian yang baik tidak harus sempurna dalam keempat validitas, tetapi ia harus menyadari kekuatan dan kelemahannya, lalu menyatakannya dengan terbuka.

Bagian “keterbatasan penelitian” dalam skripsi dan artikel kita sering ditulis secara formalitas, misalnya dengan kalimat bahwa “penelitian ini hanya dilakukan di satu sekolah”. Kerangka Shadish, Cook, dan Campbell mengajak kita menulis bagian itu dengan lebih serius: menyebut ancaman validitas yang paling mungkin, menjelaskan bagaimana ancaman itu dapat memengaruhi kesimpulan, dan menyarankan rancangan yang lebih kuat bagi penelitian berikutnya. Dengan cara itu, keterbatasan tidak lagi menjadi pengakuan yang memalukan, melainkan sumbangan bagi kemajuan penelitian.

Ukuran Efek dan Perbandingan

John Hattie, peneliti pendidikan dari Selandia Baru, melakukan salah satu upaya sintesis terbesar dalam penelitian pendidikan. Dalam Visible Learning, ia mengumpulkan lebih dari delapan ratus meta-analisis tentang faktor-faktor yang memengaruhi prestasi belajar, lalu membandingkan ukuran efek masing-masing (Hattie, 2009). Ia menunjukkan bahwa hampir semua intervensi pendidikan memiliki pengaruh positif. Karena itu, pertanyaan yang penting bukan apakah sebuah intervensi berpengaruh, tetapi apakah pengaruhnya cukup besar dibandingkan dengan intervensi lain.

Karya Hattie tentu tidak lepas dari kritik. Para ahli statistik mempersoalkan cara ia menggabungkan meta-analisis yang sangat beragam, dan sebagian pendidik khawatir bahwa peringkat ukuran efek dapat disederhanakan menjadi resep yang mekanis. Kritik-kritik ini sah dan perlu diperhatikan. Tetapi gagasan pokok Hattie tetap berharga: dalam pendidikan, kita perlu bertanya bukan hanya “apakah berpengaruh?” tetapi “seberapa besar, dibandingkan dengan apa?”

Nalar Kausal

Judea Pearl, ilmuwan komputer peraih Turing Award, bersama Dana Mackenzie menulis The Book of Why, yang memperkenalkan revolusi dalam cara berpikir tentang sebab-akibat (Pearl & Mackenzie, 2018). Pearl berargumen bahwa statistik tradisional terlalu lama menghindari bahasa sebab-akibat, dengan berlindung di balik semboyan bahwa korelasi bukan kausalitas. Semboyan itu benar, tetapi tidak cukup. Kita memang membutuhkan cara untuk menimbang klaim kausal, dan cara itu tidak dapat diperoleh dari data saja.

Pearl memperkenalkan apa yang ia sebut tangga kausalitas. Anak tangga pertama adalah asosiasi: melihat bahwa dua hal bergerak bersama. Anak tangga kedua adalah intervensi: bertanya apa yang terjadi bila kita mengubah sesuatu. Anak tangga ketiga adalah kontrafaktual: bertanya apa yang akan terjadi seandainya keadaan berbeda. Sebagian besar penelitian korelasional di bidang pendidikan berhenti di anak tangga pertama, tetapi kesimpulannya sering diucapkan dalam bahasa anak tangga kedua: “X berpengaruh terhadap Y”, seolah-olah mengubah X akan mengubah Y.

Untuk naik ke anak tangga yang lebih tinggi, menurut Pearl, peneliti harus berani merumuskan model kausal secara eksplisit, misalnya melalui diagram yang menunjukkan bagaimana variabel-variabel saling memengaruhi. Model ini berasal dari pengetahuan, teori, dan nalar peneliti, bukan dari data. Data kemudian dipakai untuk menguji dan memperkirakan model itu. Dengan kata lain, penelitian kuantitatif yang baik tidak dapat menghindari pemikiran teoretis dan filosofis. Di sinilah metodologi kuantitatif bertemu kembali dengan filsafat ilmu yang kita bahas dalam esai-esai sebelumnya. Angka tidak pernah berbicara sendiri; ia selalu dibaca melalui kerangka yang dibangun oleh peneliti. Yang membedakan peneliti yang jujur dari yang tidak bukan ada atau tidaknya kerangka itu, melainkan kesediaannya untuk menyatakan kerangka itu secara terbuka sehingga dapat diperiksa dan dikritik oleh orang lain.

Tiga Pertanyaan yang Berbeda

Dari uraian ini, kita dapat membedakan tiga pertanyaan yang sering dicampuradukkan dalam penelitian kuantitatif. Pertanyaan pertama: apakah ada hubungan? Uji signifikansi dapat membantu menjawabnya, dengan segala keterbatasannya. Pertanyaan kedua: seberapa besar hubungan itu? Ukuran efek dan interval kepercayaan diperlukan untuk menjawabnya. Pertanyaan ketiga: mengapa hubungan itu terjadi, dan apakah ia hubungan sebab-akibat? Ini membutuhkan rancangan penelitian yang tepat, model kausal yang eksplisit, dan sering kali juga data kualitatif yang menjelaskan mekanismenya.

Penelitian yang matang menyadari pertanyaan mana yang sedang ia jawab, dan tidak mengklaim lebih dari yang dapat didukung oleh rancangan dan datanya. Kejujuran semacam ini sejalan dengan adab ilmiah yang telah lama kita kenal: tidak berkata melampaui apa yang diketahui.

Implikasi bagi Kita

Dalam Persuit Epistemology of Islamic Studies, saya berargumen bahwa setiap metode membawa asumsi epistemologis yang perlu disadari (Tabrani ZA, 2015). Statistik inferensial bukan alat netral yang dapat dipakai tanpa berpikir; ia membawa asumsi tentang peluang, tentang populasi, dan tentang hubungan antara sampel dan kenyataan. Peneliti yang memakai statistik tanpa memahami asumsinya sedang membangun rumah di atas fondasi yang tidak ia kenal.

Kajian kami tentang integrasi KKNI, SNPT, dan paradigma integrasi-interkoneksi dalam pengembangan kurikulum di perguruan tinggi keagamaan Islam menekankan pentingnya capaian pembelajaran yang jelas dan terukur (Faisal et al., 2021). Bila capaian pembelajaran program studi mencakup kemampuan meneliti, maka kemampuan membaca angka secara kritis harus menjadi bagian dari capaian itu, bukan sekadar kemampuan menjalankan perangkat lunak statistik.

Sebuah penelitian di Jurnal Ilmiah Peuradeun tentang peningkatan kompetensi dosen untuk mendorong inovasi dan kreativitas dalam pembelajaran memperlihatkan pentingnya pengembangan kapasitas dosen secara berkelanjutan (Riza et al., 2024). Literasi statistik yang kritis adalah salah satu kompetensi yang perlu dikembangkan, karena dosenlah yang membimbing mahasiswa dalam merancang dan menafsirkan penelitian.

Beberapa langkah praktis dapat diusulkan. Pertama, setiap penelitian kuantitatif diwajibkan melaporkan ukuran efek dan interval kepercayaan, bukan hanya nilai p. Kedua, pembimbing dan penguji membiasakan diri bertanya tentang keempat jenis validitas. Ketiga, penelitian replikasi dihargai sebagai sumbangan yang sah bagi ilmu. Keempat, mahasiswa dilatih menggambar model kausal sebelum mengumpulkan data, agar mereka menyadari asumsi-asumsi yang mereka bawa.

Penutup: Angka yang Jujur

Angka memiliki daya pikat yang besar. Ia tampak objektif, pasti, dan ilmiah. Tetapi angka yang dibaca tanpa pemahaman dapat menyesatkan sama seperti kata-kata yang diucapkan tanpa pemahaman. “Signifikan” bukan sinonim dari “benar”, “penting”, atau “menyebabkan”.

Penelitian kuantitatif yang bermakna adalah penelitian yang jujur tentang apa yang dapat dan tidak dapat dikatakan oleh angkanya: seberapa besar pengaruh yang ditemukan, seberapa yakin kita akan temuan itu, apakah ia dapat diulang, dan sejauh mana ia mendukung klaim sebab-akibat. Kejujuran semacam ini bukan hanya tuntutan metodologis, tetapi juga tuntutan moral, karena dari angka-angka itulah guru, sekolah, dan pemerintah mengambil keputusan yang memengaruhi kehidupan banyak orang.

References

Cohen, J. (1994). The Earth Is Round (p < .05). American Psychologist, 49(12), 997–1003. https://doi.org/10.1037/0003-066X.49.12.997

Faisal, M., Tabrani ZA, Siswanto, R., Hayati, H., & Darojat, J. (2021). The Integration of KKNI, SNPT, and the Integration-Interconnection Paradigm in Curriculum Development at PTKI. Jurnal Ilmiah Peuradeun, 9(2). https://doi.org/10.26811/peuradeun.v9i2.528

Hattie, J. (2009). Visible Learning: A Synthesis of Over 800 Meta-Analyses Relating to Achievement. London: Routledge.

Open Science Collaboration. (2015). Estimating the Reproducibility of Psychological Science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716

Pearl, J., & Mackenzie, D. (2018). The Book of Why: The New Science of Cause and Effect. New York: Basic Books.

Riza, S., Syarif, M., Mardatillah, F., Salam, A. J., Khafidah, W., & Yusuf, M. (2024). Improving Lecturer Competence to Encourage Innovation and Creativity in Learning. Jurnal Ilmiah Peuradeun, 12(1), 249–272. https://doi.org/10.26811/peuradeun.v12i1.1078

Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Boston: Houghton Mifflin.

Tabrani ZA. (2015). Persuit Epistemology of Islamic Studies: Buku Dua Arah Baru Metodologi Studi Islam. Yogyakarta: Penerbit Ombak.